Från token till förutsägelse
Uppmärksamhetsmikroskopet Följ hur en förenklad transformer väljer ut information från tidigare token, blandar representationer och räknar fram en sannolik nästa token. Pausa, välj en token och undersök varje steg.
Exempel Pronomen och referenser Följ hur modellen kan koppla pronomenet ”det” till tidigare ord i meningen.
Exempel Samma ord, ny betydelse Jämför hur samma token får olika sammanhang i två olika meningar.
Exempel Negation Se hur ett litet ord som ”inte” kan förändra den lokala kontexten.
Välj den token du vill undersöka
0 Djuret1 gick2 inte3 över4 vägen5 eftersom6 det7 var8 trött
Tokenens representation
”det” på position 6
Uppmärksamhetshuvud Referenser Relationer Lokalt sammanhang Aktiveringsflöde
Djuret gick inte över vägen eftersom det var trött ny kontextvektor Viktig begränsning: Det här är en förenklad, pedagogisk modell. Uppmärksamhetsvikter är ett sätt att inspektera en del av beräkningen, men de är inte en fullständig förklaring av modellens ”tänkande”. Query, key och value är matematiska roller, inte medvetna frågor eller mänskliga minnen.