Alap 7. fejezet a 12-ből
Hogyan tanul?
A gép tudását senki nem írta bele: szövegeket olvasott, és közben gyakorolt. Betanítottunk két modellt ugyanazon a versen, egy kicsit és egy nagyobbat, és félretettük, mit írtak tanulás közben. Tedd időrendbe a szövegeiket!
Nézd, ahogy tanul
1. feladat az 5-ből
Kis modell: 821 ezer szám
Koppints a szövegekre abban a sorrendben, ahogy szerinted a gép írta őket. Ha meggondoltad magad, újabb koppintással leveheted a számot.
6,8 másodperc tanulás után
tanulás előtt
2 perc 45 másodperc tanulás után
1 másodperc tanulás után
Tanulás előtt a gép csak összevissza betűket ír. Először azt veszi észre, mely betűk gyakoriak, és hogy a szavakat szóköz választja el. Aztán jönnek a szótagok és a sorok, végül a valódi szavak.
2. feladat az 5-ből
Kis modell: 821 ezer szám
Koppints a szövegekre abban a sorrendben, ahogy szerinted a gép írta őket. Ha meggondoltad magad, újabb koppintással leveheted a számot.
6,8 másodperc tanulás után
2 perc 45 másodperc tanulás után
1,8 másodperc tanulás után
25 másodperc tanulás után
A két korai szöveget könnyű elhelyezni, a két későit nehéz, mert a gép egyre lassabban javul. Az első másodpercekben minden lépés sokat számít, a végén percek alatt is alig változik a szövege.
3. feladat az 5-ből
Nagyobb modell: 10,8 millió szám
Koppints a szövegekre abban a sorrendben, ahogy szerinted a gép írta őket. Ha meggondoltad magad, újabb koppintással leveheted a számot.
2 perc 3 másodperc tanulás után
20 másodperc tanulás után
50 másodperc tanulás után
2,7 másodperc tanulás után
A nagyobb modell ugyanazt az utat járja be: zagyvaság, szótagok, sorok, szavak. Csak kevesebb olvasásból jut el odáig, mert több számban több mintát tud megjegyezni.
4. feladat az 5-ből
Mindkét szöveg a tanulás végén készült, ugyanazzal a sorsolással. A nagyobb modellnél szinte minden szó valódi, a kisebb több szót maga talál ki: itt például azt, hogy „leki” és „falutás”.
5. feladat az 5-ből
Nehéz volt? Nem véletlen: értelmes mondatot egyik sem ír. A nagyobb modell szavai valódiak, de a mondatai nem állnak össze. Ehhez mindkettő túl kicsi, és túl keveset olvasott.
Ezek valódi szövegek: két modell írta őket, amelyeket mi tanítottunk be Arany János Toldi-trilógiáján, a kisebbet 2 perc 45 másodperc, a nagyobbat 2 perc 3 másodperc alatt. A szövegeken nem változtattunk, csak az elejüket mutatjuk.
Mit láttál az előbb?
A gép úgy tanul, hogy letakarjuk előle a szöveg következő betűjét, és megtippeltetjük vele. Ha téved, egy kicsit igazítunk a számain, hogy legközelebb jobban tippeljen. Aztán jön a következő betű, és ez ismétlődik, nagyon sokszor.
A kis modellünk 20 000 ilyen lépést tett meg. Közben nagyjából 376-szor annyi szöveget olvasott, mint amennyi a teljes Toldi-trilógia: ugyanazokat a sorokat újra meg újra.
Mit tud a nagyobb modell?
A nagyobb modell ugyanazt a verset olvasta, de 13-szor annyi számból áll, mint a kicsi. Több számban több minta fér el, ezért kevesebb olvasásból is többre jut. A verset csak 94-szer olvasta végig, mégis kevesebb kitalált szót ír, mint a kicsi.
Csodát ettől sem várhatunk: egyetlen versből nem lehet megtanulni magyarul. Ha a nagyobb modellt tovább tanítjuk, egyszerűen magolni kezdi a verset. A próbáinkon ilyenkor új szövegen már nem tippelt jobban, hanem rosszabbul.
Nézd végig a tanulást
Itt a két modell szövegeit látod, mindkettőt a tanulása tizenegy pillanatában. Mindegyik szöveg ugyanazzal a sorsolással készült, ezért csak attól térnek el, hogy melyik modell írta, és az addig mennyit tanult.
tanulás előtt
Még semmit nem olvasott.
VigOO„Ú)zAtÉKPW:(xiAlRf,ÚsáE-PDÜáÜŐŐi.Hí;ögőE sőögaeú;úh:lVJr…alG-eevxRkt‚-«!ŐrPI…ŐŰesAÓ")UüB,őr!”)ÓPás.eM‚ŰuÜŰHG!plDTpaí)űyjÜhG', fo…ep!ö(búlUk…i.bcsxl?ml‚cWŐdsyO… xp)Ó”g-Á,KKúi)RÖ…DNŰb'AWmÉŐmmI‚rlÜ?KÚSóheÁIh‚áÖtvRPSV…
0,6 másodperc tanulás után
Eddig 409 600 betűt olvasott.
iggal hz enePianái »ás,tsáh- kéás eisHí egy sőogaes;th letrnale-eeviekt -«tnrat-zees errUá ,őrárJ gys.rjaŰgérn etleTearntyelhes, !okegáö(zéleka . Jsil ml‚olédsyni Oeji,g-l, asi ogy,N k' WmenyzI, …r k' óreréhaá Nvalegy
1 másodperc tanulás után
Eddig nagyjából 2-szer annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyal hodenegy agyily mesáha kénételyem m a, sőngak:; A letrnalememvi kt, öttelt bela varUle, ráre -ás. Mel, m jata Tenértyelessz fokegyötaz, ka mi,sil mitolldszágelelingy vat, nogyes kiralenyet, Véranekeerdátártvalegy
1,8 másodperc tanulás után
Eddig nagyjából 4-szer annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyala két erátagyily mesázt kénétel, S m sz sőlgaka; holetrnalememviköt, ött. Ezelvik rále, ráre Pás."Ma vérn apa Tadértyelhesz fokegyötaz, ka mbes, csa földsoni ekázógy vat, Azén, ha hallint fély konaretértártvalegy
3,5 másodperc tanulás után
Eddig nagyjából 8-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyal hogy erindi ilás, szekikébb miszíteg későng. ; holtt naz - miseltt ötte szon s virál. Márt - szegy vér jet iTedérte messze, Hegyöt úleka mics, csapollds nisek megel, Kinteg nt kisz, int félő koharet, fártval, Mi
6,8 másodperc tanulás után
Eddig nagyjából 15-ször annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigy harodt egy a királynyál; De szerét csak mindja, az legérna, Kemvi kaprát vagy sza virály, rára - Rérje vért az öTedvelyen eszi, Hegyöttölek is csily levelyszág Keri, - vagy elén, haly mennek, Vért a herd fárolya fur
13 másodperc tanulás után
Eddig nagyjából 28-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigagy hátul a feledves, szekikény minden, Toldi gazdal a csásal, emvitét, s nem - Veszet szemért, hogy elébe vagy kiTadítja Messze, keztötté, ki micsint levetik; S kellőt legesen éj, ha halli megredt. Toldi fárom a fut
25 másodperc tanulás után
Eddig nagyjából 56-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyon az egész várig, messze képéten. S mind sőt azt; hol aranyos evi kaptat; Meg a világ le, rá, kességen vérr kélet; Melyen esze, kezdött leke magyar maga, Hogy elébbb nem a már készüléssen, Isten kezére dolgott a fut
41 másodperc tanulás után
Eddig nagyjából 94-szer annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyázatok, hogy minden, szerelemben, Hogy a magyarok; hol arral, ember tudja; Pedig a király, rá, hogy elég, mi béket; Melyen esze, kezdött leke maga legények. Mintha meg a szível késő férje. Ismert a közt hagytak egy
1 perc 23 másodperc tanulás után
Eddig nagyjából 188-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigasztalan egy királyné szemében: Gondola szeméből személyére lemenve. Körülne a bajnok rá királynál? Nem most kezdi, amit jőnek, fogadása; Aztán bizony levelet nagy szót lelkemel: De a halál megrepülnek erdőben, Hanem
2 perc 45 másodperc tanulás után
Eddig nagyjából 376-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigasztalan egy kis lábát, hogy ne mondhatja, Maga esethálnak az egész kapta, Vajda erős szál, rá, hogy elébb volt, - Nagy felhős, foglalt bús kapuit illik. Addig elhalt - mint az utól arcára, Iszonyú harcolva szemét pr
tanulás előtt
Még semmit nem olvasott.
áigOO„Ú).ddÉKP-:(ggA»Rf,.sáE-őDÜáőcGi.Hí;ögőK sőRg’e«;.h:l–Jr…aÁ"-e-viRkUd-«!ŰrP.…zŰJr Ó")UüB,őr!rJÓPáR.rM‚ŰBsCHGFclDTfNí)űyj.hGA, fo…K"!ö(búlUkKc.bcsRó?ÁU‚fWDds)O… xV)ÓógüÁ.KFúiJRR…DNFb'AWmÉiyzI‚r.KrKÚSóheÁdhÁáKNvRPSV».
0,8 másodperc tanulás után
Eddig 163 840 betűt olvasott.
áiggalÚ)z eŰeP aagiAláf,nsáE- klás eosHí;eg sőögaes;th aarnale-eeviektnö«tnr t-znes Ór Ul ,őr!rJ Pás.eMnŰ,s n etl T aí)lyenhes, ,o eptö(zúleka b,sil?ml‚o ldsyni ee)Óóg Á, ase R Ds l'AWlÉn zI,rlr sÚSóhetd táInvale„u
2,7 másodperc tanulás után
Eddig nagyjából 2-szer annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyal hodenerigy i ly meszekikénételyemel sz sőngaka; A letánalememvi k mörttelt bela va Uál, Máre -ás. Mal, m feta Tenértyelőssz fokegyötaz, Ki besil mitolédszágyepál, - Alesi von, ha haleny I, Vorany heréhagyivalegy
5,2 másodperc tanulás után
Eddig nagyjából 4-szer annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyal hodenegy vágy mi, sáha kénét iszígegy mitögak: Kolletrnalememvi k m öttelt bela va sze, rárt - sérja véra kéleTedértyelőssz fokegyöta leka mbes, Rult fedszát ekán, - vat, cogy, ha halli m félőraneke téhagyivalegy
10 másodperc tanulás után
Eddig nagyjából 8-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyalarád, egy agyily leszzt kénétel. S m az sőngaka; haletrnalememiszk meg nel. Ma virále, ráre - sérja vérn apa Tenérty nessz fokeg! (Mileka mbesil mivolldszátel: Migy vat inegy, ha hallinet, Vérazoke t hagyivalegy
20 másodperc tanulás után
Eddig nagyjából 15-ször annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyal hogy egyen is mintelhen ént minde; Hagyatogak az a mirnak, em is tutát; Peren s virál mere, Melsén a vért kélen az lyenem hisogyatta, Azka mi, ilomlt kidenni egyi, Kinyes nem nem aramány csülvek haret, Rártval a r
30 másodperc tanulás után
Eddig nagyjából 23-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyal az elészek is mint az is áltol, Szegye sők az az állal az - evis turát; Pedig a vírnák, rágy Pásra nagy szere Tányal, Messze, keztötbe, kapábas, csaporban nem - Míg a sem nem és körömben csalát. S herd a kivelel a
40 másodperc tanulás után
Eddig nagyjából 30-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigat a két egy királynék, ha képet, Mintha késő gazdal magar az - minden, Könnye-belü valam ideg a sászerné, MegszakToldi felhet, fogadtak úlnak; Az ily level, mintha meg lesz indul, Meghalli megreveszték tért szemény r
50 másodperc tanulás után
Eddig nagyjából 38-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigasztak elébb vágtam innek is áltol, S mint sőt azt; hogy rabló-ember tudja; Pedig a világ mért a györgy meg szerlen; Melyen esze, kezdött leke magába? Mintha már egy bence a mellő, Meghalli megrendűlt a tért szemény r
1 perc 14 másodperc tanulás után
Eddig nagyjából 56-szor annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigazán két egy kis lát, szekerencse: Híre a magyarok; hol arany - mint tudja; Parancs erős hadrá, hogy elég, mi balra; Tudom, esze, kegyelmét kapuba illő; Egy szám egy bajnok, mint ez a halál megyen? Úgy erdőt szemét pa
2 perc 3 másodperc tanulás után
Eddig nagyjából 94-szer annyi szöveget olvasott, mint amennyi a teljes tanítószöveg.
Vigyáz az ellen: "hisz', nem is áltok, Szegény ő gazdag lesz nagy-e? is tudom; Parancsolt süvegek, hogy elég sem bal Toldi?" Lesz fogja ötvennek a csillagos barát; Kereste valami éjjel arra nyelvén, Kit herceg az után r
A sáv azt mutatja, mekkorát téved a gép, amikor olyan szöveg következő betűjét tippeli, amelyet tanulás közben nem látott. Ez is valódi, mért adat.
És a nagy modellek?
A mi nagyobb modellünk is csak 10,8 millió számból áll, 484 ezer betűnyi szöveget olvasott, és betűnként tippel. Ezért csak a szöveg formáját tanulta meg: a sorai versnek hangzanak, de értelmük nincs.
A csevegőprogramok mögött álló modellek ugyanígy tanulnak, csak más léptékben. Több milliárd számból állnak, könyvtárnyi szöveget olvasnak el, és a tanításuk hetekig vagy hónapokig tart számítógépek ezrein. Ennyi gyakorlásból már nemcsak a szavak formája áll össze, hanem az is, hogy mi miről szól.
Mekkorák a legújabb modellek?
A legnagyobb modellek méretét ma már ezermilliárdokban mérik. A táblázatban olyan modellek állnak a mieink mellett, amelyekről a készítőik elárulták, hány számból állnak. A ChatGPT, a Claude és a Gemini mögött álló modellek méretét a cégek nem közlik.
| Modell | Hány számból áll | Meddig tanult |
|---|---|---|
| A mi kis modellünk | 821 ezer | 2 perc 45 másodperc |
| A mi nagyobb modellünk | 10,8 millió | 2 perc 3 másodperc |
| Llama 3.1 Meta, 2024 | 405 milliárd | kb. 3 hónap, több mint 16 ezer videokártyán (becslés) |
| DeepSeek-V3 DeepSeek, 2024 | 671 milliárd | kb. 2 hónap, 2 ezer videokártyán |
| DeepSeek-V4-Pro DeepSeek, 2026 | 1650 milliárd | nem közölték |
| Kimi K3 Moonshot AI, 2026 | 2800 milliárd | nem közölték |
| A ChatGPT, a Claude és a Gemini modelljei | nem közölték | nem közölték |
A sávok a modellek méretét mutatják, ugyanazon a léptéken. A mi két modellünk sávja nem maradt le: ezen a léptéken nem látszik.
A nagy modellek adatait a készítőik közölték, a „becslés” jelzésű tanítási idő független kutatóktól származik. A számok gyorsan avulnak, mi ekkor néztük meg őket: 2026. november.
Források:
A Kimi K3 nagyjából 260 ezerszer annyi számból áll, mint a mi nagyobb modellünk.
A tanítás is más lépték. A mi modelljeink két-három percig tanultak, a nagy modellek két-három hónapig, több ezer videokártyán egyszerre. A kutatók becslése szerint ez az idő is évről évre nő.