05 Vorlesung 5 Quiz: Im Inneren des Transformers

Ein Transformer gibt pro Forward Pass genau ein Token aus. Um eine Antwort mit 500 Token zu erzeugen, durchläuft das Modell den Forward Pass 500 Mal — wobei es jedes Mal seine eigene Ausgabe an die Eingabe anhängt und alles erneut durchrechnet. Es gibt keinen “Zusammenfassungs-Head”, keine parallele Mehr-Token-Ausgabe, kein eingebautes Beam-Search-Ranking. Die auto-regressive Schleife ist es, die aus “ein Token nach dem anderen” eine vollständige Antwort macht.

Eine Token-ID ist ein Name, keine Zahl. Multipliziert man ID 11140 mit einem Gewicht, ergibt sich eine bedeutungslose Größe — es gibt keinen Sinn, in dem “Token 11141” eine Einheit “mehr” wäre als “Token 11140”. Das Embedding-Lookup wandelt jede ID in eine Zeile von d reellen Zahlen um, die addiert, skalarmultipliziert und differenziert werden können. Das ist auch der Grund, warum die Embedding-Matrix gelernt wird: Der Gradientenabstieg formt die Zeilen so, dass semantisch ähnliche Token in ähnlichen Richtungen landen. One-Hot-Codierung ist eine (sehr verschwenderische) Möglichkeit, IDs stetig zu machen, aber gelernte Embeddings dominieren sie.

Das Embedding ist der erste Eindruck des Modells von jedem Token, unabhängig vom Kontext. Das Unterscheiden von river bank (Flussufer) und savings account (Sparkonto) ist die Aufgabe der nachfolgenden Schichten — und der Mechanismus, der das leistet, ist Attention. Attention zieht Informationen von benachbarten Token in die Repräsentation jedes Tokens, sodass eine bank-Zeile, die auf river geachtet hat, an einem anderen Punkt im Embedding-Raum landet als eine bank-Zeile, die auf account geachtet hat. Die Tokenisierung weist beiden dieselbe ID zu, das Positional Encoding fügt nur ein Positionssignal hinzu, und Fine-Tuning ist nicht der Weg, auf dem ein vortrainiertes Modell Polysemie zur Inferenzzeit auflöst.

Das Skalarprodukt ist a · b = ||a|| ||b|| cos(theta): eine einzelne Zahl, die “stimmen die beiden Vektoren in der Richtung überein” mit “wie lang sind sie” kombiniert. Groß und positiv, wenn beide in ähnliche Richtungen zeigen, null bei Rechtwinkligkeit, negativ bei Gegensätzlichkeit. Diese Identität gilt in jeder Dimension. Die Kosinus-Ähnlichkeit entfernt die Längen, um ein reines Winkelmaß zu liefern. Das Skalarprodukt ist keine Distanz, nicht der Winkel selbst und nicht nur ||a|| ||b|| (das ignoriert die Richtung völlig) — es ist der Skalar, mit dem Attention bewertet, “wie relevant ist Key j für Query i” in einer einzigen Zahl pro Paar.

Dies ist die tragende Unterscheidung der Vorlesung: Attention sammelt, das FFN verarbeitet. Attention ist die einzige Operation im gesamten Transformer, die es einem Token erlaubt, Informationen von anderen Token zu lesen. Das FFN ist ein MLP pro Position — dieselben Gewichte werden Zeile für Zeile angewendet, niemals werden Zeilen kombiniert. Ohne Attention wäre das Modell 96 gestapelte MLPs, die parallel auf jedem Token operieren, wobei kein Token jemals ein anderes sieht. Ohne das FFN würden Informationen umhergeleitet, aber niemals umgeformt. Residuals tragen Informationen durch die Tiefe, aber sie vermischen nicht über Positionen hinweg.

Q/K/V entkoppeln “wer hört auf wen” von “was wird übertragen”. Die Query stellt eine Frage; Keys bewerben Inhalt für den Abgleich; Values liefern das eigentliche Signal, das aus einem ausgewählten Token herausfließt. Ein Token kann Relevanz aus einem Grund bewerben (sein Key) und aus einem anderen nützliche Information tragen (sein Value) — diese Entkopplung ist es, die Attention seine Ausdruckskraft verleiht. K und V werden durch verschiedene gelernte Projektionen W_K und W_V erzeugt, sie werden also nicht identisch berechnet, und es gibt keinen zusätzlichen Normalisierungsschritt für K. Beide werden im Training und in der Inferenz gleichermaßen verwendet.

Jeder Eintrag von Q K^T ist eine Summe von d komponentenweisen Produkten. Bei Standard-Initialisierung hat jedes Produkt Varianz 1, sodass die Summe Varianz d und eine typische Größenordnung sqrt(d) hat. Wird diese Größenordnung in einen Softmax eingespeist, kollabiert die Verteilung auf einen einzelnen Gewinner, und der Gradient zu allen anderen Einträgen stirbt ab. Die Division durch sqrt(d) stellt Eingaben mit konstanter Größenordnung wieder her, sodass der Softmax in seinem informativen Bereich bleibt. Das ursprüngliche Paper von Vaswani et al. (2017) hat dies ausdrücklich hervorgehoben. Es ist keine Normalisierung auf [-1, 1] (das wäre die Kosinus-Ähnlichkeit, die die Längen vollständig entfernt); die Eigenschaft “Zeilensumme gleich eins” stammt vom Softmax selbst, nicht von der Division.

Die Maske M innerhalb von softmax((Q K^T + M) / sqrt(d)) setzt jeden Eintrag oberhalb der Diagonale auf -unendlich, was nach der Exponentialfunktion zu 0 wird. Das Ergebnis: Die Query an Position i kann auf Keys an den Positionen 1, …, i achten, aber nicht auf i+1, …, T. Das ist es, was das Modell zwingt, das nächste Token vorherzusagen, ohne es anzuschauen — ohne die Maske würde die parallele Trainingsschleife Position i das Ground-Truth-Token an Position i+1 lesen lassen, und der Loss würde auf null kollabieren. Die Maske ist Teil der Architektur, kein Fensterungsverfahren — jede Position sieht ihr volles kausales Präfix, nicht nur die letzten k Token. Ein Token achtet sehr wohl auf sich selbst.

H Heads haben jeweils Q, K, V der Form d × d_h mit d_h = d/H. Ausmultipliziert: H × 3 × d × d_h = 3 d^2 — exakt das Single-Head-Budget, nur umgeordnet in H parallele, schmalere Unterräume. Die wirklich neuen Parameter bei Multi-Head sind die Ausgabeprojektion W_O der Form d × d, die die Heads wieder zusammenmischt und ein zusätzliches d^2 beiträgt. Gesamt pro Attention-Sub-Block: 4 d^2. Die FFN-Parameteranzahl ist unabhängig von der Anzahl der Heads.

Dies ist das Permutations-Äquivarianz-Lemma: für jede Permutation P gilt Attention(P X) = P · Attention(X). Jede Ausgabe- zeile hängt nur davon ab, welche Token beteiligt sind, niemals davon, wo sie sitzen. Die Menge der paarweisen Scores ist identisch zwischen den beiden Sätzen — dieselbe Multimenge von Token, dieselbe Menge von Paaren. Ohne ein Positionssignal ist ein Transformer ein sehr teures Bag-of-Words-Modell. Deshalb wird E_pos (oder RoPE) hinzugefügt: Die Eingabe X + E_pos ist nicht mehr permutations-äquivariant, und das Modell kann endlich “cat sat on mat” von “mat sat on cat” unterscheiden. Residual- Verbindungen bewahren Information, können aber nicht wiederherstellen, was von Anfang an nie da war.

Pro Block: Attention sind 4 d^2, das FFN sind 8 d^2 (W_1 ist d × 4d und W_2 ist 4d × d, jeweils 4 d^2), Layer Norm ist ~ 4d — vernachlässigbar. Etwa zwei Drittel der Gewichte jedes Blocks sitzen also im FFN. Über den gesamten Stack von GPT-3 sind das zig Milliarden Parameter, die der Transformation pro Token, abseits von Attention, gewidmet sind. Die Interpretierbarkeits-Sichtweise lautet “Attention ist Routing; FFN ist Speicher” — das meiste von dem, was wir “das Wissen des Modells” nennen, liegt in diesen FFN- Gewichten, nicht in der Attention. Die Embedding-Matrix wird mit dem Output-Head geteilt und ist nicht pro Block vorhanden.

Dies ist die architektonische Pointe von Kapitel 13. Gehen Sie jedes Gewicht durch: Embedding V × d, Attention W_Q / W_K / W_V / W_O der Form d × ·, FFN d × 4d und 4d × d, Layer Norm in R^d. Keines von ihnen hängt von T ab. T lebt nur in den Aktivierungsformen — H_l der Form T × d, die Score-Matrix S der Form T × T — die bei jeder Eingabe neu berechnet werden. Das Modell ist formuniform in T, und genau das macht einen Transformer zu einem Modell, das über Eingabelängen hinweg generalisiert, statt zu einem anderen Modell pro Länge. Gewichte ändern ihre Größe nicht; Padding ermöglicht keine beliebige Länge; es gibt nur ein einziges θ.

Von allen Sub-Schichten in einem Transformer-Block skaliert nur Attention quadratisch mit T. Die Score-Matrix Q K^T der Form T × T bildet das Skalarprodukt jeder Query mit jedem Key — T^2 Einträge — und das anschließende Mischen A V ist ebenfalls O(T^2 · d). Alles andere ist linear in T: Das FFN wendet seine Gewichte Zeile für Zeile mit O(T · d^2) an (eine Verdopplung von T verdoppelt lediglich die Kosten — sie vervierfacht sie nicht); das Embedding-Lookup ist O(T · d) — V taucht nicht auf, weil jedes Lookup einfach eine Zeile indiziert; Layer Norm normalisiert innerhalb jeder Zeile mit O(T · d). Die Sichtweise der Vorlesung ist, dass T × T “der einzige Ort im gesamten Forward Pass ist, an dem T quadratisch in einer Aktivierung auftaucht” — und es ist eine Aktivierung, bei jeder Eingabe frisch berechnet, kein gespeicherter Parameter. Diese eine Tatsache ist der Grund, warum jede Long-Context-Optimierung — FlashAttention, Sliding-Window, sparse und lineare Attention — auf die Score-Matrix abzielt.

Die auto-regressive Schleife durchläuft den vollständigen Forward Pass pro generiertem Token: Logits der letzten Position lesen, ein Token ziehen, anhängen, dann den gesamten Forward Pass auf der nun längeren Sequenz erneut durchlaufen. Der allererste Pass — derjenige, der den Prompt konsumiert — ist der Pass, der das erste Token generiert, sodass es keinen separaten “Prompt-Pass” zusätzlich zu 500 Generierungs-Passes gibt. Eine Antwort mit 500 Token sind 500 vollständige Forward Passes; eine Antwort mit 5.000 Token sind 5.000. Das Generieren langer Ausgaben ist tatsächlich ein linearer Multiplikator für den Rechenaufwand, und gestapelte Schichten laufen innerhalb eines Passes — sie sind keine zusätzlichen Passes.