Ugrás a tartalomra
AI Hungary

Alap 7. fejezet a 12-ből

Hogyan tanul?

A gép tudását senki nem írta bele: szövegeket olvasott, és közben gyakorolt. Betanítottunk két modellt ugyanazon a versen, egy kicsit és egy nagyobbat, és félretettük, mit írtak tanulás közben. Tedd időrendbe a szövegeiket!

Nézd, ahogy tanul

1. feladat az 5-ből

Kis modell: 821 ezer szám

Koppints a szövegekre abban a sorrendben, ahogy szerinted a gép írta őket. Ha meggondoltad magad, újabb koppintással leveheted a számot.

Ezek valódi szövegek: két modell írta őket, amelyeket mi tanítottunk be Arany János Toldi-trilógiáján, a kisebbet 2 perc 45 másodperc, a nagyobbat 2 perc 3 másodperc alatt. A szövegeken nem változtattunk, csak az elejüket mutatjuk.

Mit láttál az előbb?

A gép úgy tanul, hogy letakarjuk előle a szöveg következő betűjét, és megtippeltetjük vele. Ha téved, egy kicsit igazítunk a számain, hogy legközelebb jobban tippeljen. Aztán jön a következő betű, és ez ismétlődik, nagyon sokszor.

A kis modellünk 20 000 ilyen lépést tett meg. Közben nagyjából 376-szor annyi szöveget olvasott, mint amennyi a teljes Toldi-trilógia: ugyanazokat a sorokat újra meg újra.

Mit tud a nagyobb modell?

A nagyobb modell ugyanazt a verset olvasta, de 13-szor annyi számból áll, mint a kicsi. Több számban több minta fér el, ezért kevesebb olvasásból is többre jut. A verset csak 94-szer olvasta végig, mégis kevesebb kitalált szót ír, mint a kicsi.

Csodát ettől sem várhatunk: egyetlen versből nem lehet megtanulni magyarul. Ha a nagyobb modellt tovább tanítjuk, egyszerűen magolni kezdi a verset. A próbáinkon ilyenkor új szövegen már nem tippelt jobban, hanem rosszabbul.

Nézd végig a tanulást

Itt a két modell szövegeit látod, mindkettőt a tanulása tizenegy pillanatában. Mindegyik szöveg ugyanazzal a sorsolással készült, ezért csak attól térnek el, hogy melyik modell írta, és az addig mennyit tanult.

Melyik modell tanulását nézed?

2 perc 45 másodperc tanulás után

Eddig nagyjából 376-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.

A tippjeinek hibája : a kiinduló hiba 37%-a

Vigasztalan egy kis lábát, hogy ne mondhatja, Maga esethálnak az egész kapta, Vajda erős szál, rá, hogy elébb volt, - Nagy felhős, foglalt bús kapuit illik. Addig elhalt - mint az utól arcára, Iszonyú harcolva szemét pr

A sáv azt mutatja, mekkorát téved a gép, amikor olyan szöveg következő betűjét tippeli, amelyet tanulás közben nem látott. Ez is valódi, mért adat.

És a nagy modellek?

A mi nagyobb modellünk is csak 10,8 millió számból áll, 484 ezer betűnyi szöveget olvasott, és betűnként tippel. Ezért csak a szöveg formáját tanulta meg: a sorai versnek hangzanak, de értelmük nincs.

A csevegőprogramok mögött álló modellek ugyanígy tanulnak, csak más léptékben. Több milliárd számból állnak, könyvtárnyi szöveget olvasnak el, és a tanításuk hetekig vagy hónapokig tart számítógépek ezrein. Ennyi gyakorlásból már nemcsak a szavak formája áll össze, hanem az is, hogy mi miről szól.

Mekkorák a legújabb modellek?

A legnagyobb modellek méretét ma már ezermilliárdokban mérik. A táblázatban olyan modellek állnak a mieink mellett, amelyekről a készítőik elárulták, hány számból állnak. A ChatGPT, a Claude és a Gemini mögött álló modellek méretét a cégek nem közlik.

Modellek mérete és tanítási ideje
Modell Hány számból áll Meddig tanult
A mi kis modellünk 821 ezer 2 perc 45 másodperc
A mi nagyobb modellünk 10,8 millió 2 perc 3 másodperc
Llama 3.1 Meta, 2024 405 milliárd kb. 3 hónap, több mint 16 ezer videokártyán (becslés)
DeepSeek-V3 DeepSeek, 2024 671 milliárd kb. 2 hónap, 2 ezer videokártyán
DeepSeek-V4-Pro DeepSeek, 2026 1650 milliárd nem közölték
Kimi K3 Moonshot AI, 2026 2800 milliárd nem közölték
A ChatGPT, a Claude és a Gemini modelljei nem közölték nem közölték

A sávok a modellek méretét mutatják, ugyanazon a léptéken. A mi két modellünk sávja nem maradt le: ezen a léptéken nem látszik.

A nagy modellek adatait a készítőik közölték, a „becslés” jelzésű tanítási idő független kutatóktól származik. A számok gyorsan avulnak, mi ekkor néztük meg őket: 2026. november.

Források:

A Kimi K3 nagyjából 260 ezerszer annyi számból áll, mint a mi nagyobb modellünk.

A tanítás is más lépték. A mi modelljeink két-három percig tanultak, a nagy modellek két-három hónapig, több ezer videokártyán egyszerre. A kutatók becslése szerint ez az idő is évről évre nő.