Alap 2. fejezet a 12-ből
Szövegből darabok
Te szavakat látsz, a gép nem. Mielőtt bármit kezdene a mondatoddal, apró darabokra vágja, és csak ezekkel a darabokkal dolgozik. Nézzük meg, hány darabra vágja a szavakat!
Vágjunk bele!
1. szó az 5-ből
alma
A rövid, gyakori szavakat a gép egyben ismeri. Egy ilyen darabot hívnak tokennek: a gép ezekből rakja össze a szöveget.
2. szó az 5-ből
kutya
A darabok nem szótagok, és önmagukban nem jelentenek semmit. A gép a rengeteg elolvasott szövegből jegyezte meg, mely betűsorok állnak gyakran egymás mellett.
3. szó az 5-ből
számítógép
Minél ritkábban látott a gép egy betűsort, annál apróbb darabokra esik szét nála a szó.
4. szó az 5-ből
computer
Ugyanaz a szó angolul egyetlen darab. A gép sokkal több angol szöveget olvasott, mint magyart, ezért az angol szavak nagy részét egyben ismeri.
5. szó az 5-ből
megszentségteleníthetetlen
A gép darabonként dolgozik, és a használatát is darabonként mérik. A hosszú, ragozott magyar szavak ezért több munkát jelentenek neki, mint az angolok.
A darabolás valódi: az OpenAI o200k_base tokenizálója (a GPT-4o modellcsalád ezt használja). Más modellek máshol vághatnak.
Mit láttál az előbb?
A gép nem szavakban és nem is betűkben gondolkodik, hanem a kettő közötti darabokban. Ezeket tokennek hívják. Ami gyakran szerepelt a gép olvasmányaiban, az egyben marad. Ami ritka, az szétesik.
Ugyanaz a mondat magyarul és angolul
A különbség egész mondatoknál is megmarad. Ugyanaz a mondat magyarul 14 darab, angolul 9.
A macska az ablakpárkányon alszik.
The cat is sleeping on the windowsill.
Ezért lehet a gép magyarul egy kicsit lassabb és drágább: a szolgáltatók a darabok száma szerint mérik a használatot, és a magyar szövegből több darab lesz.
Próbáld ki a saját szövegeddel
61 karakter, 21 darab
Szia! Írd be ide a saját nevedet vagy egy kedvenc mondatodat.
A daraboló a böngésződben fut, a szöveged nem kerül el a gépedről. Az első használatkor nagyjából 1 MB-ot tölt le.