Ugrás a tartalomra
AI Hungary

Hogyan pontosan? 1. fejezet a 12-ből

Egy nagyon jó szótippelő

Az alapszinten egy szót választottál, és megnézted, mekkora esélyt adott rá a modell. Most fordítsuk meg: a modell minden lépésben az összes lehetséges folytatásnak ad egy esélyt, és ezek együtt mindig pontosan 100%-ot tesznek ki. Oszd szét te a 100%-ot, aztán nézd meg, hogyan osztotta szét egy valódi modell.

Oszd szét a 100%-ot

1. mondatsor, 1. mondat a 4-ből

Magyarország fővárosa …

Mekkora eséllyel folytatja a modell ezekkel a szavakkal? Oszd szét a 100%-ot.

  • 0%
  • 0%
  • 0%
  • Minden más szó együtt 100%

Amit nem osztasz ki, az a többi szóé marad.

Ezek valódi, mért esélyek. Egy szabadon letölthető modellt (Gemma 4, 12 milliárd számból áll, tömörített változat) megkértünk, hogy folytassa a mondatot, és kiszámoltuk, mekkora eséllyel kezdi az egyes szavakkal. A százalékokat egészre kerekítettük. Ez a modell kicsi, és magyarul gyengén tud; egy másik modell más számokat adna.

Mit láttál az előbb?

A modell válasza egy lépésben nem egy szó, hanem egy teljes elosztás: minden lehetséges folytatás kap valamennyit a 100%-ból. Ha a mondat egyértelmű, szinte az egész egyetlen szóra jut. Ha sokféleképp folytatható, az esély sok szó között oszlik szét.

Azt is láttad, hogy az esély nem az igazságot méri. Azt mutatja meg, mit írna le a modell, és ez a kis modell néha olyat is leírna, ami magyarul hibás. Hogy a „valószínű” és az „igaz” miért nem ugyanaz, arról a 8. fejezet szól.

Tényleg szavakat tippel?

Nem egészen. A modell a szöveget kisebb darabokra, úgynevezett tokenekre vágja. Egy rövid, gyakori szó egyetlen token, egy hosszabb vagy ritkább szó több darabból áll. A modell mindig a következő darabot tippeli meg, és egy szó esélye a darabjai esélyének a szorzata.

Az 1. mondatsorban ezt láttad: „A macska felugrott az”. Utána így állt össze az „asztalra” szó esélye:

A második lépésben a modell 6,9% eséllyel nem az „al”, hanem az „ál” darabot választja. Abból lesz az „asztálra”, amely a játékban a „minden más szó” között bújt meg.

A tokenekről a 2. fejezet szól.

Hány lehetőség közül választ?

A játékban három-négy szót láttál. A valóságban a modell minden lépésben több tízezer lehetséges tokennek ad esélyt. A legtöbbé elenyészően kicsi; ezek együtt adták a „minden más szó” sort.

Hogyan mértük?

A modell nem mondja meg egyben egy szó esélyét, csak a következő darabét. Ezért végigjártuk a legvalószínűbb darabok útjait, amíg a szó véget nem ért, és az út mentén összeszoroztuk az esélyeket. A nagyon valószínűtlen utakat nem követtük: ami rajtuk van, az is a „minden más szó” sorba került.