Ugrás a tartalomra
AI Hungary

Alap 2. fejezet a 12-ből

Szövegből darabok

Te szavakat látsz, a gép nem. Mielőtt bármit kezdene a mondatoddal, apró darabokra vágja, és csak ezekkel a darabokkal dolgozik. Nézzük meg, hány darabra vágja a szavakat!

Vágjunk bele!

1. szó az 5-ből

alma

A darabolás valódi: az OpenAI o200k_base tokenizálója (a GPT-4o modellcsalád ezt használja). Más modellek máshol vághatnak.

Mit láttál az előbb?

A gép nem szavakban és nem is betűkben gondolkodik, hanem a kettő közötti darabokban. Ezeket tokennek hívják. Ami gyakran szerepelt a gép olvasmányaiban, az egyben marad. Ami ritka, az szétesik.

Ugyanaz a mondat magyarul és angolul

A különbség egész mondatoknál is megmarad. Ugyanaz a mondat magyarul 14 darab, angolul 9.

Magyarul 14 darab

A macska az ablakpárkányon alszik.

Angolul 9 darab

The cat is sleeping on the windowsill.

Ezért lehet a gép magyarul egy kicsit lassabb és drágább: a szolgáltatók a darabok száma szerint mérik a használatot, és a magyar szövegből több darab lesz.

Próbáld ki a saját szövegeddel

61 karakter, 21 darab

Szia! Írd be ide a saját nevedet vagy egy kedvenc mondatodat.

A daraboló a böngésződben fut, a szöveged nem kerül el a gépedről. Az első használatkor nagyjából 1 MB-ot tölt le.