Mélyvíz 1. fejezet a 12-ből
Egy nagyon jó szótippelő
A modell nem százalékokban gondolkodik. Az utolsó rétege minden tokenhez kiszámol egy nyers pontszámot, és csak ezután lesz belőlük valószínűség. Ez a fejezet ezt az utolsó lépést mutatja meg.
Ez a játék még készül
Pontszámokból esélyek
Csúszkákkal állítod a modell nyers pontszámait, és figyeled, hogyan lesz belőlük valószínűség.
Honnan jönnek a százalékok?
A nyers pontszámot logitnak hívják. Lehet negatív is, és a pontszámok összege semmit sem jelent. A softmax függvény csinál belőlük valószínűségeket:
esély(i) = exp(pontszám(i)) / Σ exp(pontszám(j))
A softmax két dolgot biztosít: minden esély pozitív, és az összegük 1. A nagyobb pontszámú tokenek aránytalanul nagy részt kapnak, ezért tud egy szó ennyire kiemelkedni.
Nézd meg egy valódi modellen
A Transformer Explainer a böngésződben futtat egy kisebb, angol nyelvű modellt, és megmutatja a számítás minden lépését.