Ugrás a tartalomra
AI Hungary

Mélyvíz 1. fejezet a 12-ből

Egy nagyon jó szótippelő

A modell nem százalékokban gondolkodik. Az utolsó rétege minden tokenhez kiszámol egy nyers pontszámot, és csak ezután lesz belőlük valószínűség. Ez a fejezet ezt az utolsó lépést mutatja meg.

Ez a játék még készül

Pontszámokból esélyek

Csúszkákkal állítod a modell nyers pontszámait, és figyeled, hogyan lesz belőlük valószínűség.

Honnan jönnek a százalékok?

A nyers pontszámot logitnak hívják. Lehet negatív is, és a pontszámok összege semmit sem jelent. A softmax függvény csinál belőlük valószínűségeket:

esély(i) = exp(pontszám(i)) / Σ exp(pontszám(j))

A softmax két dolgot biztosít: minden esély pozitív, és az összegük 1. A nagyobb pontszámú tokenek aránytalanul nagy részt kapnak, ezért tud egy szó ennyire kiemelkedni.

Nézd meg egy valódi modellen

A Transformer Explainer a böngésződben futtat egy kisebb, angol nyelvű modellt, és megmutatja a számítás minden lépését.