Home

05 Vorlesung 5 Quiz: Im Inneren des Transformers

April 2026 (3194 Words, 18 Minutes)

quiz transformer attention embeddings positional-encoding sampling

Neu: Interaktives Quiz verfügbar!

Möchten Sie Ihren Fortschritt verfolgen und sofortiges Feedback erhalten? Probieren Sie unsere neue interaktive Version mit Fortschrittsverfolgung, sofortigen Erklärungen und Punkteberechnung.

Interaktives Quiz starten →

Anleitung

Frage 1: Der Forward Pass auf der Black-Box-Ebene

Was produziert ein Transformer pro einzelnem Forward Pass über einen Prompt?

A) Ein nächstes Token, abgetastet aus einer Wahrscheinlichkeitsverteilung über das Vokabular
B) Eine vollständige Antwort beliebiger Länge, abgeschlossen durch ein End-of-Sequence-Token
C) Ein zusammenfassendes Embedding, das den gesamten Prompt in einen Vektor komprimiert
D) Mehrere Kandidaten-Fortsetzungen, nach Wahrscheinlichkeit geordnet

Antwort anzeigen

Richtige Antwort: A

Ein Transformer gibt pro Forward Pass genau ein Token aus. Um eine Antwort von 500 Token zu erzeugen, führt das Modell den Forward Pass 500-mal aus — wobei es jedes Mal seine eigene Ausgabe an die Eingabe anhängt und alles erneut durchläuft. Die anderen Optionen beschreiben Systeme, die nicht existieren: Es gibt keinen “Summary-Head”, keine parallele Multi-Token-Ausgabe, kein eingebautes Beam-Search-Ranking. Die autoregressive Schleife ist das, was aus einem Token-nach-dem-anderen eine vollständige Antwort macht.

Frage 2: Warum Embeddings existieren

Warum wandelt ein Transformer Token-IDs in dichte Embedding-Vektoren um, anstatt die ganzzahligen IDs direkt in das Netzwerk einzuspeisen?

A) Die IDs sind numerisch zu groß und würden während der Matrixmultiplikation einen Überlauf verursachen
B) Token-IDs sind Bezeichnungen, keine Mengen — das Netzwerk benötigt Vektoren, mit denen es Analysis betreiben kann
C) Die IDs müssen in den Bereich [0, 1] normalisiert werden, bevor sie durch eine Nichtlinearität geleitet werden können
D) Die IDs müssen One-Hot-kodiert werden, damit keine zwei Token eine von null verschiedene Komponente teilen

Antwort anzeigen

Richtige Antwort: B

Eine Token-ID ist ein Name, keine Zahl. Die Multiplikation der ID 11140 mit einem Gewicht ergibt eine bedeutungslose Größe — es gibt keinen Sinn, in dem “Token 11141” eine Einheit “mehr” wäre als “Token 11140”. Das Embedding-Lookup wandelt jede ID in eine Zeile aus \(d\) reellen Zahlen um, die addiert, im Skalarprodukt verwendet und differenziert werden können. Das ist auch der Grund, warum die Embedding-Matrix gelernt wird: Gradientenabstieg formt die Zeilen so, dass semantisch ähnliche Token in ähnlichen Richtungen landen. One-Hot-Kodierung ist eine (sehr verschwenderische) Möglichkeit, IDs kontinuierlich zu machen, aber gelernte Embeddings übertreffen sie in jeder Dimension, die zählt.

Frage 3: Embeddings sind kontextunabhängig

Die Zeile der Embedding-Matrix für das Token bank ist derselbe feste Vektor, egal ob es im umgebenden Satz um einen Fluss (river bank) oder um ein Sparkonto (savings account) geht. Welcher Teil der Architektur ist dafür verantwortlich, diese beiden Bedeutungen zu unterscheiden?

A) Der Tokenizer, der in verschiedenen Kontexten unterschiedliche Token-IDs zuweist
B) Das Positional Encoding, das den Embedding-Vektor basierend auf benachbarten Wörtern verschiebt
C) Fine-Tuning auf die nachgelagerte Aufgabe, das die Embedding-Zeile pro Bedeutung neu trainiert
D) Attention in den Transformer-Schichten, die Information aus benachbarten Token in jede Zeile mischt

Antwort anzeigen

Richtige Antwort: D

Das Embedding ist der erste Eindruck des Modells von jedem Token, unabhängig vom Kontext. Die Unterscheidung von river bank und savings account ist die Aufgabe der nachfolgenden Schichten — und der Mechanismus, der das leistet, ist Attention. Attention zieht Information aus benachbarten Token in die Repräsentation jedes Tokens, sodass eine bank-Zeile, die auf river geachtet hat, an einem anderen Punkt im Embedding-Raum landet als eine bank-Zeile, die auf account geachtet hat. Die Tokenisierung weist beiden dieselbe ID zu, das Positional Encoding fügt nur ein Positionssignal hinzu, und Fine-Tuning ist nicht die Art und Weise, wie ein vortrainiertes Modell Polysemie zur Inferenzzeit auflöst.

Frage 4: Das Skalarprodukt als Ähnlichkeitsmaß

Was misst das Skalarprodukt \(\mathbf{a} \cdot \mathbf{b}\) zwischen zwei Vektoren derselben Dimension eigentlich?

A) Wie stark die beiden Vektoren ausgerichtet sind, skaliert mit ihren Längen
B) Den Winkel zwischen ihnen, gemessen in Radiant
C) Das Produkt ihrer Längen, ohne Berücksichtigung der Richtung
D) Die geradlinige (euklidische) Distanz zwischen den beiden Vektorspitzen

Antwort anzeigen

Richtige Antwort: A

Das Skalarprodukt ist \(\mathbf{a} \cdot \mathbf{b} = \lVert \mathbf{a} \rVert \lVert \mathbf{b} \rVert \cos(\theta)\): eine einzelne Zahl, die “stimmen die beiden Vektoren in der Richtung überein” mit “wie lang sind sie” kombiniert. Sie ist groß und positiv, wenn die beiden in ähnliche Richtungen zeigen, null, wenn sie senkrecht stehen, und negativ, wenn sie entgegengesetzt sind. Diese Identität gilt in jeder Dimension. Die Kosinusähnlichkeit entfernt die Längen für ein rein winkelbasiertes Maß. Das Skalarprodukt ist keine Distanz, nicht der Winkel selbst und nicht einfach \(\lVert \mathbf{a} \rVert \lVert \mathbf{b} \rVert\) (das ignoriert die Richtung vollständig — was “ohne Berücksichtigung der Richtung” bedeuten würde) — es ist der Skalar, den Attention verwendet, um in einer einzigen Zahl pro Paar zu bewerten, “wie relevant ist Key \(j\) für Query \(i\)”.

Frage 5: Was jede Teilschicht leistet

Welche Teilschicht eines Transformer-Blocks ist die einzige, die Information über Token-Positionen hinweg mischt?

A) Sowohl Attention als auch das FFN mischen über Positionen hinweg, in etwa gleichem Maße
B) Nur das FFN — die Aufgabe von Attention ist es, die Repräsentation jedes Tokens isoliert zu verfeinern
C) Keines von beiden — die Cross-Token-Mischung geschieht durch die Residualverbindungen
D) Nur Attention — das FFN wird unabhängig auf jedes Token angewendet und kombiniert niemals verschiedene Zeilen

Antwort anzeigen

Richtige Antwort: D

Dies ist die tragende Unterscheidung der Vorlesung: Attention sammelt, das FFN verarbeitet. Attention ist die einzige Operation im gesamten Transformer, die es einem Token erlaubt, Information aus anderen Token zu lesen. Das FFN ist ein positionsweises MLP — dieselben Gewichte zeilenweise angewendet, niemals Zeilen kombinierend. Ohne Attention wäre das Modell 96 gestapelte MLPs, die parallel auf jedem Token operieren, ohne dass je ein Token ein anderes sähe. Ohne das FFN würde Information herumgeleitet, aber nie umgeformt. Residuals tragen Information durch die Tiefe, aber sie mischen nicht über Positionen hinweg.

Frage 6: Q, K, V — Drei Rollen pro Token

Was ist in einem einzelnen Attention-Head die Rollenunterscheidung zwischen dem Key (K) eines Tokens und seinem Value (V)?

A) K speichert die grammatikalische Rolle des Tokens; V speichert seinen semantischen Inhalt
B) K und V werden identisch berechnet und nur als technische Optimierung getrennt gespeichert
C) K wirbt damit, was das Token enthält; V ist die Nutzlast, die übertragen wird, wenn das Token beachtet wird
D) K und V unterscheiden sich nur, weil Keys vor dem Skalarprodukt normalisiert werden, Values jedoch nicht

Antwort anzeigen

Richtige Antwort: C

Q/K/V entkoppeln “wer hört auf wen” von “was wird übertragen”. Die Query stellt eine Frage; Keys werben mit Inhalt zum Abgleich; Values liefern das tatsächliche Signal, das aus einem ausgewählten Token herausfließt. Ein Token kann aus einem Grund Relevanz bewerben (sein Key) und aus einem anderen Grund nützliche Information tragen (sein Value) — diese Entkopplung ist es, die Attention ihre Ausdruckskraft verleiht. K und V werden durch unterschiedliche gelernte Projektionen \(W_K\) und \(W_V\) erzeugt, sie werden also nicht identisch berechnet, und es gibt keinen zusätzlichen Normalisierungsschritt für K. Beide werden gleichermaßen beim Training und bei der Inferenz verwendet.

Frage 7: Warum durch √d teilen

Warum werden die rohen Attention-Scores \(Q K^\top\) vor dem Softmax durch \(\sqrt{d}\) geteilt?

A) Ohne die Skalierung wachsen die Skalarprodukte mit \(d\) und sättigen den Softmax, was Gradienten abtötet
B) Die Division verwandelt die Skalarprodukte in Kosinusähnlichkeiten und begrenzt sie auf \([-1, 1]\)
C) Sie erzwingt, dass sich jede Zeile der Attention-Matrix nach dem Softmax exakt zu 1 summiert
D) Sie beschleunigt die Matrixmultiplikation, indem sie die Größenordnung der Operanden reduziert

Antwort anzeigen

Richtige Antwort: A

Jeder Eintrag von \(Q K^\top\) ist eine Summe von \(d\) komponentenweisen Produkten. Bei standardmäßiger Initialisierung hat jedes Produkt die Varianz 1, sodass die Summe die Varianz \(d\) und eine typische Größenordnung \(\sqrt d\) hat. Wird diese Größenordnung in einen Softmax eingespeist, kollabiert die Verteilung auf einen einzigen Gewinner und der Gradient zu allen anderen Einträgen stirbt. Die Division durch \(\sqrt d\) stellt Eingaben konstanter Größenordnung wieder her, sodass der Softmax in seinem informativen Regime bleibt. Das ursprüngliche Paper von Vaswani et al. (2017) hat dies explizit erwähnt. Es handelt sich nicht um eine Normalisierung in \([-1, 1]\) (das wäre die Kosinusähnlichkeit, die Längen vollständig entfernt); die Eigenschaft, dass sich Zeilen zu eins summieren, kommt vom Softmax selbst, nicht von der Division.

Frage 8: Kausale Maskierung

Welche Rolle spielt die kausale Maske in einem Decoder-only-LLM?

A) Sie beschleunigt das Training, indem sie es dem Loss erlaubt, Padding-Token am Ende kurzer Sequenzen zu überspringen
B) Sie beschränkt Attention auf die jüngsten \(k\) Token und begrenzt damit die Größe der Attention-Matrix für lange Eingaben
C) Sie verhindert, dass ein Token auf sich selbst achtet, und eliminiert damit Selbstschleifen im Attention-Muster
D) Sie setzt die Attention auf alle zukünftigen Positionen auf null, sodass jede Query nur sich selbst und frühere Keys sieht

Antwort anzeigen

Richtige Antwort: D

Die Maske \(M\) innerhalb von \(\operatorname{softmax}((QK^\top + M)/\sqrt d)\) setzt jeden Eintrag oberhalb der Diagonale auf \(-\infty\), was nach der Exponentialfunktion zu 0 wird. Das Ergebnis: Die Query an Position \(i\) kann auf die Keys an den Positionen \(1, \ldots, i\) achten, aber nicht auf \(i+1, \ldots, T\). Das ist es, was das Modell zwingt, das nächste Token vorherzusagen, ohne es zu erspähen — ohne die Maske würde die parallele Trainingsschleife es Position \(i\) erlauben, das Ground-Truth-Token an Position \(i+1\) zu lesen, und der Loss würde auf null zusammenbrechen. Die Maske ist Teil der Architektur, kein Fensterschema — jede Position sieht ihr vollständiges kausales Präfix, nicht nur die letzten \(k\) Token. Ein Token achtet sehr wohl auf sich selbst.

Frage 9: Parameterbudget bei Multi-Head

Wie verhält sich das Parameterbudget von Multi-Head Attention zu dem von Single-Head Attention bei derselben Gesamtdimension \(d\)?

A) Multi-Head fügt deutlich mehr Parameter hinzu, weil jeder Head sein eigenes vollständiges \(d \times d\) Q-, K-, V-Tripel hat
B) Multi-Head verwendet weniger Parameter, weil jeder Head nur \(d/H\) Dimensionen sieht
C) Das Q/K/V-Budget bleibt bei \(3 d^2\) unverändert; Multi-Head fügt eine zusätzliche Projektion \(W_O\) hinzu, was insgesamt \(4 d^2\) ergibt
D) Multi-Head verdoppelt die FFN-Parameteranzahl, weil das FFN \(H\) parallele Heads verarbeiten muss

Antwort anzeigen

Richtige Antwort: C

\(H\) Heads haben jeweils Q, K, V der Form \(d \times d_h\) mit \(d_h = d/H\). Ausmultipliziert: \(H \times 3 \times d \times d_h = 3 d^2\) — exakt das Single-Head-Budget, nur umgeordnet in \(H\) parallele, schmalere Unterräume. Die wirklich neuen Parameter bei Multi-Head sind die Ausgabeprojektion \(W_O \in \mathbb{R}^{d \times d}\), die die Heads wieder zusammenmischt und ein zusätzliches \(d^2\) beiträgt. Gesamt pro Attention-Teilblock: \(4 d^2\). Die FFN-Parameteranzahl ist unabhängig von der Anzahl der Heads.

Frage 10: Warum Position injiziert werden muss

Ohne jegliche dem Input hinzugefügte Positionsinformation, was würde Attention für “the cat sat on the mat” gegenüber “the mat sat on the cat” ausgeben?

A) Identische Ausgaben (bis auf Zeilenpermutation), weil Attention ihren Input als ungeordnete Multimenge von Token-Vektoren sieht
B) Unterschiedliche Ausgaben, weil die Skalarprodukte \(\mathbf{q}_i \cdot \mathbf{k}_j\) von der Reihenfolge abhängen, in der die Token erscheinen
C) Identische Ausgaben nur in der ersten Schicht; spätere Schichten können die Reihenfolge über Residualverbindungen wiederherstellen
D) Unterschiedliche Ausgaben, weil der zeilenweise Softmax inhärent empfindlich gegenüber der Reihenfolge seiner Eingaben ist

Antwort anzeigen

Richtige Antwort: A

Dies ist das Permutationsäquivarianz-Lemma: Für jede Permutation \(P\) gilt \(\operatorname{Attention}(PX) = P \cdot \operatorname{Attention}(X)\). Jede Ausgabezeile hängt nur davon ab, welche Token beteiligt sind, niemals davon, wo sie stehen. Die Menge der paarweisen Scores ist zwischen den beiden Sätzen identisch — dieselbe Multimenge von Token, dieselbe Menge von Paaren. Ohne ein Positionssignal ist ein Transformer ein sehr teures Bag-of-Words-Modell. Deshalb wird \(E_{\text{pos}}\) (oder RoPE) hinzugefügt: Der Input \(X + E_{\text{pos}}\) ist nicht mehr permutationsäquivariant, und das Modell kann endlich cat sat on mat von mat sat on cat unterscheiden. Residualverbindungen bewahren Information, können aber nicht wiederherstellen, was von vornherein nie da war.

Frage 11: Wo die Parameter sitzen

Wo sitzen innerhalb eines einzelnen Transformer-Blocks (Attention + FFN) die Mehrheit der Parameter?

A) In den Layer-Norm-Skalierungs- und Verschiebungsparametern \(\gamma, \beta\)
B) Im Feed-Forward-Netzwerk — seine beiden Matrizen \(W_1\) und \(W_2\) halten ungefähr doppelt so viele Parameter wie die Attention
C) In der Embedding-Matrix, die durch Weight-Tying Teil jedes Blocks ist
D) In den Attention-Projektionen \(W_Q, W_K, W_V, W_O\), da Attention der architektonisch neuartige Teil ist

Antwort anzeigen

Richtige Antwort: B

Pro Block: Attention ist \(4d^2\), das FFN ist \(8d^2\) (\(W_1\) ist \(d \times 4d\) und \(W_2\) ist \(4d \times d\), jeweils \(4d^2\)), Layer Norm ist \(\sim 4d\) — vernachlässigbar. Also sitzen etwa zwei Drittel der Gewichte jedes Blocks im FFN. Über den gesamten Stack von GPT-3 sind das zig Milliarden Parameter, die der positionsweisen, nicht-attention-basierten Transformation gewidmet sind. Die Interpretierbarkeits-Rahmung lautet “Attention ist Routing; FFN ist Speicher” — das meiste, was wir “das Wissen des Modells” nennen, lebt in diesen FFN-Gewichten, nicht in der Attention. Die Embedding-Matrix wird mit dem Ausgabe-Head geteilt und ist nicht pro Block.

Frage 12: Die zentrale Erkenntnis — T steckt nicht in den Parametern

Derselbe trainierte Transformer \(\theta\) kann einen Prompt mit 5 Token und einen Prompt mit 5.000 Token verarbeiten. Warum, architektonisch betrachtet?

A) Die Sequenzlänge \(T\) erscheint in keiner Gewichtsform — jedes Gewicht hängt von \(V, d, N, H\) ab und höchstens von \(n_{\max}\)
B) Das Modell ändert zur Inferenzzeit dynamisch die Größe seiner Gewichtsmatrizen basierend auf der Eingabelänge
C) Padding-Token werden eingefügt, um jede Eingabe auf die feste Länge zu bringen, auf die das Modell trainiert wurde
D) Eine separate Kopie von \(\theta\) wird für jede Eingabelänge geladen, und die Orchestrierungsschicht leitet die Eingabe transparent an die richtige Kopie weiter

Antwort anzeigen

Richtige Antwort: A

Dies ist die architektonische Pointe von Kapitel 13. Gehen Sie jedes Gewicht durch: Embedding \(V \times d\), Attention \(W_Q/W_K/W_V/W_O\) der Form \(d \times \cdot\), FFN \(d \times 4d\) und \(4d \times d\), Layer Norm \(\mathbb{R}^d\). Keines davon hängt von \(T\) ab. \(T\) lebt nur in Aktivierungs-Formen — \(H_\ell \in \mathbb{R}^{T \times d}\), die Score-Matrix \(S \in \mathbb{R}^{T \times T}\) — die bei jeder Eingabe neu berechnet werden. Das Modell ist formuniform in \(T\), und genau das macht einen Transformer zu einem Modell, das über Eingabelängen hinweg generalisiert, statt zu einem anderen Modell pro Länge. Gewichte ändern ihre Größe nicht; Padding ermöglicht keine beliebige Länge; es gibt nur ein einziges \(\theta\).

Frage 13: Die quadratischen Kosten von Attention

Eine Verdopplung der Eingabelänge \(T\) vervierfacht in etwa die Rechenleistung und den Speicher pro Pass für einen Transformer-Block. Welche Teilschicht ist für diese quadratisch-in-\(T\)-Skalierung verantwortlich, und warum?

A) Das FFN — seine beiden Matrizen \(W_1\) und \(W_2\) berühren jeweils jedes Token, sodass eine Verdopplung von \(T\) die Kosten zweier Matmuls verdoppelt und die Gesamtkosten vervierfacht
B) Das Embedding-Lookup — das Nachschlagen von \(T\) Zeilen aus einer \(V \times d\)-Matrix erfordert \(T \times V\) Arbeit, was quadratisch in \(T\) ist
C) Attention — die Score-Matrix \(Q K^\top \in \mathbb{R}^{T \times T}\) hat \(T^2\) Einträge; sowohl ihre Berechnung als auch ihre Verwendung zum Mischen von \(V\) kosten \(O(T^2 d)\)
D) Layer-Normalisierung — sie berechnet Mittelwert und Varianz über alle \(T\) Positionen für jedes Token, was \(T \times T\) Gesamtarbeit ergibt

Antwort anzeigen

Richtige Antwort: C

Von allen Teilschichten in einem Transformer-Block skaliert nur Attention quadratisch mit \(T\). Die Score-Matrix \(Q K^\top \in \mathbb{R}^{T \times T}\) bildet das Skalarprodukt jeder Query mit jedem Key — \(T^2\) Einträge — und die anschließende Mischung \(A V\) ist ebenfalls \(O(T^2 d)\). Alles andere ist linear in \(T\): Das FFN wendet seine Gewichte zeilenweise mit \(O(T \cdot d^2)\) an (eine Verdopplung von \(T\) verdoppelt lediglich die Kosten — sie vervierfacht sie nicht); das Embedding-Lookup ist \(O(T \cdot d)\) — \(V\) erscheint nicht, weil jedes Lookup nur eine Zeile indiziert; Layer Norm normalisiert innerhalb jeder Zeile mit \(O(T \cdot d)\). Die Rahmung der Vorlesung lautet, dass \(T \times T\) “die einzige Stelle im gesamten Forward Pass ist, an der \(T\) quadratisch in einer Aktivierung erscheint” — und es ist eine Aktivierung, bei jeder Eingabe neu berechnet, kein gespeicherter Parameter. Diese einzige Tatsache ist der Grund, warum jede Long-Context-Optimierung — FlashAttention, Sliding-Window, Sparse und Linear Attention — auf die Score-Matrix abzielt.

Frage 14: Die autoregressive Schleife

Um eine Antwort von 500 Token aus einem Transformer zu generieren, wie viele vollständige Forward Passes durch das Netzwerk sind erforderlich?

A) Einer — das Modell produziert alle 500 Token in einem einzigen Pass über den Prompt
B) 500 — jedes generierte Token erfordert einen vollständigen Forward Pass über die gesamte bisherige Sequenz
C) 501 — ein initialer Pass zur Verarbeitung des Prompts, plus 500 weitere Passes zur Generierung jedes Tokens
D) Einer pro Schicht — also 96 Forward Passes für ein Modell der GPT-3-Klasse

Antwort anzeigen

Richtige Antwort: B

Die autoregressive Schleife führt pro generiertem Token den vollständigen Forward Pass aus: die Logits der letzten Position lesen, ein Token abtasten, anhängen und dann den gesamten Forward Pass auf der nun längeren Sequenz erneut ausführen. Der allererste Pass — derjenige, der den Prompt konsumiert — ist der Pass, der das erste Token generiert, es gibt also keinen separaten “Prompt-Pass” zusätzlich zu 500 Generierungs-Passes. Eine Antwort von 500 Token sind 500 vollständige Forward Passes; eine Antwort von 5.000 Token sind 5.000. Lange Ausgaben zu generieren ist tatsächlich ein linearer Multiplikator auf die Rechenleistung, und gestapelte Schichten laufen innerhalb eines Passes — sie sind keine zusätzlichen Passes.

Bewertungsleitfaden

Wichtige Erkenntnisse zum Merken

  1. Ein Token pro Forward Pass — Eine Antwort von 500 Token bedeutet 500 vollständige Forward Passes, jeweils über die gesamte bisherige Sequenz
  2. Embeddings verwandeln Bezeichnungen in Geometrie — Token-IDs sind Namen; die Embedding-Matrix verwandelt jeden Namen in eine Zeile aus \(d\) reellen Zahlen, mit denen das Modell Analysis betreiben kann
  3. Embeddings sind kontextunabhängig; Attention ist das, was disambiguiert — Die Zeile für bank ist überall derselbe Vektor; Attention mischt Nachbarn in jede Zeile, um die Bedeutung aufzulösen
  4. Skalarprodukt = Ausgerichtetheit — \(\mathbf{a} \cdot \mathbf{b} = \lVert \mathbf{a} \rVert \lVert \mathbf{b} \rVert \cos\theta\); diese eine Operation liegt jeder “wie relevant ist X für Y”-Frage in der Attention zugrunde
  5. Attention sammelt, das FFN verarbeitet — Attention ist die einzige Teilschicht, die über Positionen hinweg mischt; das FFN ist positionsweise und kombiniert niemals Zeilen
  6. Q wirbt mit einer Frage, K wirbt mit Inhalt, V ist die Nutzlast — Die Entkopplung von Key und Value ist es, die Attention ihre Ausdruckskraft verleiht
  7. Die √d-Division hält den Softmax in seinem informativen Regime — Ohne sie sterben Gradienten und das Training stockt
  8. Die kausale Maske ist ein Term, der innerhalb des Softmax addiert wird — Diese eine Zeile ist der Unterschied zwischen einem bidirektionalen Encoder und einem Decoder im GPT-Stil
  9. Multi-Head ist dasselbe Q/K/V-Budget, umgeordnet in parallele Unterräume — Plus eine zusätzliche Projektion \(W_O\), um die Heads wieder zusammenzumischen
  10. Ohne Positional Encoding ist Attention ein Bag-of-Words-Operator — cat sat on mat und mat sat on cat würden identische Ausgaben produzieren
  11. Das FFN hält zwei Drittel der Parameter jedes Blocks — Das meiste “Wissen” des Modells lebt in den FFN-Gewichten, nicht in der Attention
  12. \(T\) ist keine Dimension irgendeines Gewichts — Jedes Gewicht ist eine Funktion von \(V, d, N, H\); dasselbe \(\theta\) verarbeitet jede Sequenzlänge bis zu \(n_{\max}\)
  13. Attention ist die quadratisch-in-\(T\)-Teilschicht — Die \(T \times T\)-Score-Matrix \(Q K^\top\) ist die einzige Stelle, an der \(T\) quadratisch erscheint; FFN, Embeddings und Layer Norm skalieren alle linear
© 2026 Dominik Müller   •  Powered by Soopr   •  Theme  Moonwalk