Home

06 Vorlesung 6 Quiz: Die Verteilung steuern

May 2026 (4400 Words, 25 Minutes)

quiz hallucination prompting post-training in-context-learning chain-of-thought

Neu: Interaktives Quiz verfügbar!

Möchten Sie Ihren Fortschritt verfolgen und sofortiges Feedback erhalten? Probieren Sie unsere neue interaktive Version mit Fortschrittsverfolgung, sofortigen Erklärungen und Punkteberechnung.

Interaktives Quiz starten →

Anleitung

Das Quiz folgt den beiden Hälften der Vorlesung: Block A (warum das Modell scheitert) in den Fragen 1–10 und Block B (wie Sie es gezielt steuern) in den Fragen 11–20.

Frage 1: Next-Token-Prädiktion

Das Pre-Training optimiert einen Transformer gegen genau ein Ziel. Welches ist das?

A) Maximierung der Hilfsbereitschaft, bewertet durch ein Reward-Modell, das auf den Rankings von Kandidatenantworten durch menschliche Labeller:innen trainiert wurde
B) Befolgen der Anweisungen, die in seinem System-Prompt enthalten sind
C) Anpassen seiner Ausgaben an eine kuratierte Sammlung idealer Frage-Antwort-Konversationen
D) Vorhersage des nächsten Tokens, bewertet durch den Cross-Entropy-Loss gegen das tatsächliche nächste Token

Antwort anzeigen

Richtige Antwort: D

Das Pre-Training ist eine Loss-Funktion — Next-Token-Cross-Entropy — angewendet über Billionen von Tokens, und alles, was wie eine separate Fähigkeit aussieht (Code-Generierung, Übersetzung, Beantwortung von Fragen), ist daraus emergent. Die verführerischste falsche Antwort ist B: Anweisungsbefolgung fühlt sich fundamental an, aber die Vorlesung hebt sie als das eine Verhalten hervor, das nicht aus dem Pre-Training emergiert — es benötigt den separaten Post-Training-Schritt. A beschreibt das RLHF-Reward-Signal und C beschreibt SFT — beide gehören zum Post-Training, nicht zum Pre-Training.

Frage 2: Was das Modell nicht besitzt

Welches der folgenden besitzt ein vortrainiertes Sprachmodell NICHT durch direkte Konstruktion?

A) Die Fähigkeit, eine Wahrscheinlichkeitsverteilung über das Vokabular auszugeben
B) Eine gelernte Repräsentation der Statistik des Textes, den es im Training gesehen hat
C) Ein eingebautes Konzept von Wahrheit, das anzeigt, ob eine Aussage korrekt ist
D) Attention-Heads, die Information zwischen Token-Positionen weiterleiten und Kontext in die Repräsentation jedes Tokens einmischen

Antwort anzeigen

Richtige Antwort: C

Das Trainingskorpus enthält sowohl korrekten als auch inkorrekten Text ohne eine Markierung, die kennzeichnet, was was ist, sodass das Modell kein Konzept von Wahrheit hat — eine falsche Antwort ist einfach Text im selben statistischen Universum wie eine richtige. Die verführerischste falsche Wahl ist A: Das Ausgeben einer Wahrscheinlichkeitsverteilung ist das eine operative Verhalten des Modells — genau das, was es durch Konstruktion besitzt — sodass Lesende, die über das großgeschriebene NICHT hinweglesen, diese Antwort wählen könnten. A, B und D sind alles Dinge, die das Modell tatsächlich besitzt.

Frage 3: Base- vs. Post-Trained-Modelle

Warum haben Sie mit ziemlicher Sicherheit nie mit einem “Base”-Modell (dem rohen Artefakt des Pre-Trainings) interagiert?

A) Jedes Konsumenten-/Entwicklerprodukt liefert ein Modell aus, das zusätzlich post-trainiert wurde, um sich wie ein Assistent zu verhalten
B) Base-Modelle sind zu groß, um auf irgendeiner Konsumenten- oder Cloud-Hardware zu laufen
C) Base-Modelle werden geheim gehalten und von keinem Labor jemals veröffentlicht
D) Base-Modelle antworten immer noch wie Assistenten, nur weniger zuverlässig, daher verstecken Labore sie, um Nutzer:innen nicht zu verwirren

Antwort anzeigen

Richtige Antwort: A

Base-Modelle existieren, und Labore wie Meta, Mistral und DeepSeek veröffentlichen sie zusammen mit ihren post-trainierten Versionen — aber die Produkte, die Sie verwenden (Claude Code, ChatGPT, Copilot), liefern das post-trainierte Modell aus. Die verführerischste falsche Antwort ist D: Post-Training “poliert” nicht bloß eine bereits assistentenartige Base — ein Base-Modell hat keine Präferenz dafür, hilfreich zu sein, und könnte auf “Was ist die Hauptstadt von Frankreich?” mit weiteren Hauptstadt-Fragen antworten. C ist falsch (Base-Versionen werden veröffentlicht), und B ist eine falsche Begründung.

Frage 4: SFT vs. RLHF

Wie ist im Standard-Post-Training-Rezept die Arbeitsteilung zwischen SFT und RLHF?

A) SFT lehrt, wie eine Assistentenantwort aussieht; RLHF lehrt, welche Antwort Menschen bevorzugen
B) SFT spritzt neues Faktenwissen in das Modell ein; RLHF richtet das Modell dann an der Wahrheit seiner Antworten aus
C) SFT verwendet Reinforcement Learning; RLHF verwendet überwachte Cross-Entropy
D) SFT entfernt die Fähigkeit des Modells, abzulehnen; RLHF fügt sie wieder hinzu

Antwort anzeigen

Richtige Antwort: A

SFT (Instruction Tuning) trainiert auf kuratierten Beispielkonversationen mit demselben Next-Token-Loss, sodass das Modell die Form von Assistentenantworten imitiert; RLHF rankt dann Kandidatenantworten nach menschlicher Präferenz und optimiert in Richtung der bevorzugten. Entscheidend ist: RLHF belohnt Form, nicht Wahrheit. B ist die verführerische Falle und doppelt falsch: Post-Training ist nicht das Hauptvehikel für neue Fakten (die kommen aus dem Pre-Training), und RLHF richtet das Modell an bevorzugten Formen aus, nicht an der Wahrheit. C vertauscht die beiden Methoden, und D ist falsch — Ablehnung wird in beiden Phasen gelernt.

Frage 5: Warum KI halluziniert

Warum gibt ein Modell mechanistisch betrachtet selbstbewusst einen erfundenen API-Endpunkt aus, wenn nach einem gefragt wird, den es nie gesehen hat?

A) Ein Bug im Sampling-Code beschädigt gelegentlich das Ausgabe-Token
B) Das Modell hat keinen gespeicherten Fakt zum Ausgeben und keine zuverlässige Möglichkeit, sich zu enthalten, also tut es, was Next-Token-Prädiktion immer tut — es gibt die plausibelst aussehende Fortsetzung aus, hier einen grammatikalisch validen, aber erfundenen Endpunkt
C) Das Modell rät absichtlich, weil es darauf trainiert wurde, niemals Unwissenheit zuzugeben
D) Das Modell hat den nächstgelegenen echten Endpunkt abgerufen, den es sich gemerkt hatte, und die kleine Abweichung ist nur ein Fehler einer ungefähren Suche

Antwort anzeigen

Richtige Antwort: B

Der Endpunkt war nie im Training, es gibt also nichts nachzuschlagen — und die Pipeline kann sich nicht enthalten. Ein flüssiger Next-Token-Prädiktor ohne Konzept von Wahrheit füllt die Lücke mit der plausibelst aussehenden Fortsetzung, hier einem grammatikalisch validen, aber erfundenen Endpunkt. Beachten Sie: Es kann selbstbewusst falsch sein — die Verteilung kann scharf auf eine plausible Unwahrheit zeigen, nicht flach. Die verführerischste falsche Antwort ist D, aber ein halluzinierter Endpunkt ist “kein Abruf eines bekannten Fakts” — der Endpunkt war nie im Training, es gibt also nichts nachzuschlagen. C ist falsch, weil das Modell keine Ziele oder Absichten hat (es tut nichts “absichtlich”), und A ist falsch, weil dies der normale Mechanismus ist, nicht ein Code-Bug.

Frage 6: Die Halluzinations-Taxonomie

Ein Modell produziert eine lange, flüssige, gut strukturierte Prosa-Erklärung eines requests.DEFAULT_POOL_SIZE-Attributs, das nicht existiert, voller plausibler Implementierungsdetails. In welche Kategorie fällt das, und was ist die empfohlene Gegenmaßnahme?

A) Faktische Halluzination — gemildert durch Abrufen der Dokumentation
B) Strukturelle Halluzination — automatisch von der Laufzeitumgebung abgefangen (ImportError / AttributeError)
C) Confident-Nonsense-Halluzination — automatisch von einem Linter abgefangen
D) Confident-Nonsense-Halluzination — gemildert durch externe Verifikation (Ausführen, Befragen einer/eines Fachexpert:in)

Antwort anzeigen

Richtige Antwort: D

Eine lange Prosa-Erklärung, die sich wie der Blog-Beitrag einer/eines erfahrenen Ingenieur:in liest, aber von Anfang bis Ende erfunden ist, ist Confident-Nonsense. Anders als faktische Halluzinationen (durch Prüfen einer Quelle abfangbar) oder strukturelle (durch Ausführen des Codes abfangbar) erfordert sie Fachexpertise oder externe Verifikation, um erkannt zu werden. Der attraktivste Distraktor ist C: Er benennt die richtige Kategorie, aber die falsche Gegenmaßnahme — ein Linter parst Code-Stil und Syntax und kann eine falsche Prosa-Behauptung nicht abfangen. B ist die falsche Kategorie, da das Szenario erfundene Prosa ist und kein Code, den die Laufzeitumgebung ablehnen könnte.

Frage 7: CLAUDE.md-Einhaltung

Eine 615 Zeilen lange CLAUDE.md formuliert eine Projektkonvention, doch mitten in der Sitzung ignoriert das Modell sie. Was ist die beste mechanistische Erklärung?

A) Die Orchestrierungsschicht hat es versäumt, die Datei in den Kontext zu laden
B) Das Modell erkannte die Konvention als niedrig priorisiert, und sein Safety-Training setzte sie für den Rest der Sitzung außer Kraft
C) Die Datei ist weiterhin im Kontext, steht nun aber inmitten weitaus jüngerer, aufgabenlokaler Tokens; ob das Modell der frühen Regel weiter folgt, hängt vom Modell und vom Prompt ab, und es kann ihr weniger Attention schenken
D) CLAUDE.md-Anweisungen verfallen nach einer festen Token-Anzahl und werden aus dem Kontext gelöscht

Antwort anzeigen

Richtige Antwort: C

Die Datei befindet sich noch im Kontext (die Sequenz wächst nur). Für jeden Head und jede Query-Position summieren sich die Softmax-Gewichte zu eins, sodass eine frühe Anweisung nun mit allem konkurriert, was seitdem hinzugekommen ist, und das Modell kann ihr weniger Attention schenken — aber das ist eine Tendenz, kein festes proportionales Gesetz: Ein gut trainiertes Long-Context-Modell folgt einer frühen Regel oft weiterhin, und Attention-Gewicht ist nicht dasselbe wie kausaler Einfluss auf die Ausgabe. CLAUDE.md beeinflusst die Verteilung; sie befiehlt nicht. Die verführerischste falsche Antwort ist A — “ignoriert” liest sich intuitiv als “nie geladen” —, aber die Datei wurde nicht überschrieben; die Sequenz wächst nur. Es war keine Ablehnung (B: es gibt keinen Safety-Konflikt), und Tokens werden nicht gelöscht (D).

Frage 8: Standards für Anweisungsdateien

Welche Aussage über Anweisungsdateien (AGENTS.md, CLAUDE.md) ist zum Stand des Schnappschusses der Vorlesung von April 2026 korrekt?

A) AGENTS.md ist ein von Anthropic verfasster Standard, den Claude Code nativ liest, während OpenAI- und Google-Werkzeuge ihre eigenen separaten Konventionsdateien verwenden
B) AGENTS.md ist ein Multi-Vendor-, foundation-verwalteter Standard, aber Claude Code liest ihn nicht nativ — es liest CLAUDE.md
C) CLAUDE.md und AGENTS.md werden von grundlegend unterschiedlichen Attention-Mechanismen innerhalb des Modells verarbeitet
D) Da der Standard foundation-verwaltet ist, erzwingt das Modell jetzt AGENTS.md-Regeln als Konfiguration

Antwort anzeigen

Richtige Antwort: B

AGENTS.md begann als OpenAI-Initiative, wurde der Agentic AI Foundation (einem Fonds der Linux Foundation) gespendet und wird von vielen Werkzeugen nativ gelesen — aber Claude Code liest CLAUDE.md, nicht AGENTS.md (der Workaround ist eine einzeilige @AGENTS.md-Indirektion). Der attraktivste Distraktor ist A, die saubere Umkehrung der Wahrheit: AGENTS.md ist nicht von Anthropic verfasst, und Claude Code liest sie nicht nativ. Derselbe Attention-Mechanismus gilt für jede Anweisungsdatei (C falsch), und keine wird als Konfiguration erzwungen — sie werden als Kontext geladen (D falsch).

Frage 9: Lost in the Middle

Das “Lost in the Middle”-Ergebnis von Liu et al. impliziert welche praktische Regel für eine CLAUDE.md-Datei?

A) Vergraben Sie die wichtigste Regel in der Mitte, wo das Modell am sorgfältigsten liest
B) Machen Sie die Datei so lang wie möglich, damit wichtige Regeln durch Zufall mehr als einmal vorkommen
C) Die Reihenfolge spielt keine Rolle, weil Attention global ist, sodass das Modell eine frühe Regel und eine vergrabene Regel unabhängig von der Position gleich gewichtet
D) Setzen Sie die einzelne wichtigste Regel nahe an den Anfang (Primacy) und wiederholen Sie optional eine kritische Anweisung am Ende des Prompts (Recency)

Antwort anzeigen

Richtige Antwort: D

Die Abrufgenauigkeit ist U-förmig — hoch am Anfang (Primacy) und Ende (Recency), am schlechtesten in der Mitte. Stellen Sie also die wichtigste Regel nach vorn und wiederholen Sie eine kritische Anweisung am Ende für Recency. A ist die exakte Umkehrung des Ergebnisses: Die Mitte ist die ~20-Punkte-Genauigkeitssenke, der schlechteste Ort, um eine Regel zu vergraben. Die Prämisse von C ist richtig (Attention kann prinzipiell jede Position erreichen), aber der empirische U-förmige Positions-Bias ist real, also kommt es auf die Reihenfolge an; B ist falsch, weil das Auffüllen einer Datei mit Wiederholungen vor allem Ablenker hinzufügt und die wichtige Regel in Richtung der schwachen Mitte drängt — es hilft nicht zuverlässig.

Frage 10: Das Drei-Schichten-Modell

Warum können Sie im Drei-Schichten-Modell (Einfluss / Durchsetzung / Mensch) mit einer großartigen Einflussschicht allein keine Produktionszuverlässigkeit erreichen?

A) Die Einflussschicht ist probabilistisch: Sie verzerrt die Verteilung, kann aber kein Ergebnis garantieren oder durchsetzen
B) Die Einflussschicht ist deterministisch und daher zu starr für reale Aufgaben
C) Die Durchsetzungsschicht ist deterministisch, sodass sie mit ausreichend strengen Lintern, Typen und CI die Einflussschicht vollständig ersetzen kann
D) Tests auszuführen und echte APIs anzusprechen ist zuverlässiger als Prompting, daher ist die Einflussschicht nie der eigentliche Engpass

Antwort anzeigen

Richtige Antwort: A

Die Einflussschicht (Prompts, AGENTS.md, Few-Shot, CoT-Trigger) verzerrt die Verteilung nur — sie ist positionsabhängig, attention-verwässerbar und RLHF-beschränkt. Die Durchsetzung (Linter, Typen, Tests, CI) ist deterministisch und fängt harte Verstöße ab; die menschliche Schicht fängt falsche-aber-plausible Ausgaben ab. Sie können eine Schicht nicht durch mehr von einer anderen ersetzen. Der attraktivste Distraktor ist C, aber strenge Durchsetzung kann immer noch nicht feststellen, ob eine Funktion das Richtige tut — nur ob sie parst und die Typen besteht. B kehrt die Eigenschaft der Einflussschicht um, und D verwechselt die Durchsetzungsschicht mit einem Grund, warum die Einflussschicht ausreichend sei.

Frage 11: Temperatur als Engineering

Welche Aussage über Temperatur (T) ist korrekt?

A) Das Erhöhen von T kann die Verteilung so weit abflachen, dass ein zuvor niedriger gewichtetes Token das argmax überholt und am wahrscheinlichsten wird
B) T = 0 zu setzen eliminiert Halluzination, indem es das Modell zu korrekten Antworten zwingt
C) T skaliert die Logits vor dem Softmax; es formt um, wie stark gespitzt die Verteilung ist, kann aber weder das argmax verschieben noch fehlendes Wissen hinzufügen
D) Temperatur kann eine strukturelle Einschränkung wie “die Ausgabe muss valides JSON sein” erzwingen

Antwort anzeigen

Richtige Antwort: C

Temperatur teilt die Logits vor dem Softmax und spitzt (niedriges T) oder flacht (hohes T) die Verteilung. Das argmax verschiebt sich nie — nur die Logits entscheiden über das Top-Token (A falsch: Abflachen verkleinert die Abstände, bewahrt aber ihre Reihenfolge). Die verführerischste Falle ist B: Eine schärfere Verteilung fühlt sich sicherer an, aber bei einer flachen Verteilung legt sich T = 0 nur stärker auf das modale-aber-falsche Token fest, sodass Halluzination wiederholbarer wird, nicht verschwindet. Temperatur verteilt nur Masse um; sie kann keine Grammatik erzwingen — das ist Constrained Decoding (D falsch).

Frage 12: Few-Shot in der Praxis

Sie möchten, dass das Modell eine neue Fehlerbehandlungsfunktion schreibt, die zum Hausstil Ihrer Codebasis passt. Was ist laut Vorlesung der zuverlässigste Ansatz?

A) Schreiben Sie eine lange Anweisung, die jede Stilregel (Benennung, Logging, Exception-Typ, Zeilenlimit) in Prosa auflistet, da eine vollständige verbale Spezifikation alle Mehrdeutigkeit beseitigt
B) Stellen Sie zwei echte Fehlerbehandlungsfunktionen aus Ihrem Repo als Few-Shot-Beispiele bereit und bitten Sie um einen ähnlichen Handler
C) Erhöhen Sie die Temperatur, damit das Modell mehr stilistische Vielfalt erkundet
D) Verweisen Sie das Modell auf den schriftlichen Styleguide Ihres Projekts und bitten Sie es, die dokumentierten Konventionen zu befolgen

Antwort anzeigen

Richtige Antwort: B

Für projektspezifische Konventionen schlagen Beispiele Anweisungen — zeigen, nicht erzählen. Few-Shot lässt die Induction-Heads über echte Instanzen des Stils routen und erzeugt eine Ausgabe, die weitaus konsistenter mit dem bestehenden Code ist. Der attraktivste Distraktor ist A, der anweisungsbasierte Prompt, den die Vorlesung explizit gegen Few-Shot stellt: Jede Regel wird zu einem separaten Stück Konditionierung, das das Modell fehlinterpretieren kann, sodass die Ausgabe abdriftet. D scheitert aus demselben Grund wie A — ein referenzierter Styleguide ist Dokumentation, die das Modell interpretieren muss, keine konkreten Beispiele, über die die Induction-Heads routen können; C ändert die Vielfalt, nicht die Treue.

Frage 13: Induction-Heads

Welche Routine implementiert ein Induction-Head?

A) Er berechnet einen gleichgewichteten Durchschnitt aller vorherigen Token-Embeddings, um eine Zusammenfassung des Kontexts mit fester Länge zu bilden
B) Er speichert die Demonstrationsbeispiele in einem Cache und schlägt sie per exaktem String-Abgleich nach, wenn eine Eingabe erneut auftaucht
C) Er aktualisiert die Gewichte des Modells basierend auf den Beispielen im Prompt
D) Gegeben das aktuelle Token A findet er das frühere Auftreten von A und leitet Attention auf das Token, das darauf folgte, und sagt voraus, dass sich dieselbe Fortsetzung wiederholt

Antwort anzeigen

Richtige Antwort: D

Olsson et al. (2022) identifizierten Induction-Heads, die genau dieses Copy-and-Continue-Routing durchführen — eng korreliert mit der In-Context-Learning-Fähigkeit und in einem sichtbaren Phasenübergang während des Trainings auftretend. Die verführerischste falsche Antwort ist C, aber In-Context-Learning umfasst keine Gewichtsaktualisierungen; die Verhaltensänderung kommt rein aus dem längeren Kontext. A beschreibt Mean-Pooling und B beschreibt einen expliziten Beispiel-Cache/-Lookup — keines davon ist das, was ein Attention-Head tut.

Frage 14: Format schlägt Inhalt

Min et al. (2022) ersetzten die korrekten Labels in Few-Shot-Demonstrationen durch zufällige Labels. Was geschah, und was impliziert das?

A) Die Genauigkeit war nur geringfügig niedriger als mit korrekten Labels und weit über Zero-Shot — Demonstrationen vermitteln hauptsächlich Format, Label-Raum und Aufgabenidentität, nicht die Antworten
B) Die Genauigkeit brach auf null ein und bewies, dass Demonstrationen funktionieren, indem sie dem Modell die Antwort zeigen
C) Die Genauigkeit verbesserte sich, weil zufällige Labels das Modell daran hindern, sich an die Demonstrationen zu überanpassen
D) Die Genauigkeit blieb völlig unverändert — da die Induction-Heads ohnehin zu den Demonstrationspositionen routen, trägt der Label-Inhalt überhaupt kein Signal

Antwort anzeigen

Richtige Antwort: A

Der Großteil des Few-Shot-Auftriebs überlebte das Randomisieren der Labels. Demonstrationen übertragen primär das Format, die Eingabeverteilung, den Label-Raum und die Aufgabenidentität; die Induction-Heads routen zu den Demonstrationspositionen, unabhängig davon, ob die dortigen Labels korrekt sind. B ist die naive Erwartung, die Min et al. widerlegten. D ist die Überkorrektur: Korrekte Labels schneiden immer noch geringfügig besser ab, sodass Labels nicht völlig irrelevant sind. C ist ein Kategorienfehler — es gibt keine Gewichtsaktualisierungen im In-Context-Learning, sodass “Überanpassung” nicht zutrifft.

Frage 15: Chain-of-Thought

Warum hilft Chain-of-Thought mechanistisch betrachtet bei mehrstufigen Reasoning-Aufgaben?

A) Es triggert ein spezielles Reasoning-Modul, das ansonsten ruht
B) Die Orchestrierungsschicht erhöht dynamisch die Anzahl der Transformer-Schichten N für diese Anfrage, sodass jeder Durchlauf tiefer läuft
C) Jedes Zwischen-Token ist selbst ein vollständiger N-Schichten-Forward-Pass, auf den spätere Durchläufe attendieren, was Tiefe gegen Länge eintauscht
D) Es verbreitert die Sampling-Verteilung (höhere Temperatur / Top-p), sodass das korrekte Token wahrscheinlicher wird

Antwort anzeigen

Richtige Antwort: C

Ein einzelner Forward-Pass liefert N Berechnungsrunden; CoT gibt Zwischen-Tokens aus — jedes selbst die Ausgabe von N Schichten — und spätere Durchläufe attendieren über sie zurück, wodurch die effektive Tiefe auf ~N × L gestreckt wird. Es gibt kein spezielles Modul (A), und N selbst ändert sich nie (B) — es ist die feste Tiefe des Modells, nichts, das die Orchestrierungsschicht vergrößern könnte. D verwechselt CoT (einen Tiefen-/Sequenzmechanismus) mit Temperatur/Top-p, die nur das Sampling umformen, nicht die Berechnung.

Frage 16: Der Faithfulness-Vorbehalt

Wie sollten Sie die sichtbare Chain-of-Thought eines Modells behandeln, wenn Sie eine folgenreiche Antwort verifizieren?

A) Als getreue, schrittweise Aufzeichnung dessen, wie das Modell seine Antwort berechnet hat, da jedes sichtbare Reasoning-Token aus demselben Forward-Pass stammt wie das finale Token
B) Als nützliches Debugging-Signal, aber nicht als Beweis dafür, wie die Antwort erreicht wurde — verlassen Sie sich stattdessen auf Tests, Schemata und menschliche Prüfung
C) Als Bestätigung, dass die Antwort richtig ist, wann immer die Schlussfolgerung zum finalen sichtbaren Reasoning-Schritt passt
D) Als Garantie, dass die Antwort korrekt ist, wann immer die einzelnen Reasoning-Schritte jeweils valide aussehen

Antwort anzeigen

Richtige Antwort: B

Eine CoT-Spur fängt einige kaskadierende Fehler ab und enthüllt das Framing des Modells, aber das Modell kann eine saubere Kette erzeugen, die die Antwort im Nachhinein rechtfertigt, anstatt sie herzuleiten (Lyu et al., 2023) — ein Signal, keine Garantie. A ist die verführerischste falsche Antwort und doppelt falsch: Die sichtbare Kette ist keine getreue Aufzeichnung (sie rechtfertigt im Nachhinein), und ihre Prämisse ist ebenfalls falsch — jedes Reasoning-Token ist ein separater Forward-Pass, nicht derselbe wie das finale Token. C und D verwechseln beide interne Konsistenz oder plausibel aussehende Schritte mit Korrektheit; eine CoT-Kette kann eine längere falsche Antwort sein.

Frage 17: Reasoning-Modelle

Wie sollten Sie ein modernes Reasoning-Modell (o1, DeepSeek-R1, Extended-Thinking-Modelle) anders prompten als ein Standard-Chat-Modell?

A) Fügen Sie die Phrase “Let’s think step by step” und mehrere Reasoning-Demonstrationen hinzu, da Reasoning-Modelle noch mehr explizite Chain-of-Thought benötigen
B) Setzen Sie die Temperatur immer auf 0, damit das interne Reasoning des Modells vollständig deterministisch ist, denn deterministisches Decoding ist es, was es die verifizierbar-korrekte Antwort erreichen lässt
C) Reasoning-Modelle führen vor dem Transformer ein separates Planungsmodul aus, sodass der Prompt nur dieses Modul konfiguriert, nicht das Modell
D) Geben Sie das Ziel, die Einschränkungen, den Kontext, die erlaubten Werkzeuge, das Ausgabeformat und die Verifikationskriterien an und lassen Sie das Modell intern reasonen — explizites schrittweises Prompting kann die Qualität verschlechtern

Antwort anzeigen

Richtige Antwort: D

Reasoning-Modelle werden trainiert (oft mit RL gegen Signale verifizierbarer Korrektheit, z. B. DeepSeek-R1s GRPO), um ausführlich intern zu reasonen. Sie sind nicht architektonisch anders — dieselbe Attention, FFN, Schichten und auto-regressive Schleife. Daher prompten Sie für das Ziel, die Einschränkungen, den Kontext, die Werkzeuge, das Ausgabeformat und die Verifikationskriterien, nicht für eine sichtbare Kette; Anbieter warnen, dass “Let’s think step by step” die Qualität verschlechtern kann (A falsch). C ist falsch — es gibt kein separates Planungsmodul (keinen neuen Mechanismus). B ist falsch — Temperatur ist ein Sampling-Hebel, nicht die relevante Steuerung für die Reasoning-Qualität.

Frage 18: Self-Consistency

Self-Consistency sampelt N Chain-of-Thought-Antworten bei T > 0 und nimmt die Mehrheitsantwort. Wann hilft es NICHT?

A) Wenn der häufigste Reasoning-Fehler des Modells dieselbe falsche Antwort erzeugt — der Modus ist falsch, sodass das Abstimmen das Missverständnis verstärkt
B) Wenn die Aufgabe viele mögliche Antworten hat, sodass sich die Stimmen aufteilen und nie eine klare Mehrheit zustande kommt
C) Wenn die Temperatur über 0 liegt, weil die Samples identisch sein müssen, um abzustimmen
D) Bei jeder Aufgabe, bei der die einzelne korrekte Antwort bereits wahrscheinlicher ist als jede einzelne falsche Antwort

Antwort anzeigen

Richtige Antwort: A

Self-Consistency ist ein Argument der Varianzreduktion / des Gesetzes der großen Zahlen: Es funktioniert nur, wenn korrekte Pfade wahrscheinlicher sind als jeder einzelne falsche Pfad. Wenn das Modell systematisch fehlgebildet ist, sodass eine falsche Antwort der Modus ist, konzentriert sich die Abstimmung auf sie — eine selbstbewusstere falsche Antwort. C ist umgekehrt (Sie brauchen T > 0, damit sich die Samples unterscheiden), D beschreibt genau, wann es funktioniert, und B ist falsch — eine Stimmenaufteilung über viele Antworten verkleinert die Marge, ist aber nicht der dokumentierte Fehlerfall; ein falscher Modus ist es.

Frage 19: Constrained Decoding

Constrained Decoding (strukturierte Ausgaben / JSON-Modus) maskiert die Sampling-Verteilung, sodass nur grammatik-valide Tokens ausgegeben werden können. Was garantiert es?

A) Sowohl die Form als auch die faktische Korrektheit der Ausgabe, weil ein Token, das einen falschen Wert erzeugen würde, auch das Schema verletzt und maskiert wird
B) Dass der Prompt keine Rolle mehr spielt, da die Grammatik die ganze Arbeit erledigt
C) Die Form der Ausgabe (valides JSON, erforderliche Schlüssel, valide Enum-Werte) — aber nicht die Korrektheit des Inhalts innerhalb dieser Form
D) Dass das Modell niemals halluziniert, weil invalide Tokens maskiert werden

Antwort anzeigen

Richtige Antwort: C

Bei jedem Schritt setzt die Engine die Wahrscheinlichkeit jedes Tokens auf null, das die Grammatik brechen würde (ein kompilierter endlicher Automat / Kellerautomat), was harte Garantien für die Form gibt — keine fehlenden Schlüssel, kein fehlerhaftes JSON. Aber ein schema-valides Objekt kann immer noch halluzinierte Werte enthalten: Die Form wird erzwungen, die Wahrheit nicht. A ist die umgekehrte Falle für alle, die strukturierten Ausgaben zu sehr vertrauen — den Container zu erzwingen sagt nichts über die darin platzierten Werte aus. Sie brauchen immer noch einen guten Prompt (B falsch), und inhaltliche Halluzination ist unberührt (D falsch).

Frage 20: Die Sicherheitsgrenze

Eine bösartige Anweisung, versteckt in einer Webseite, die der Agent liest, bringt ihn dazu, die Anweisungen der Anwendung zu ignorieren (Prompt Injection — OWASP LLM01). Wie unterscheidet sich das von einer CLAUDE.md-Nichteinhaltung, und wo muss die Gegenmaßnahme angesiedelt sein?

A) Beides sind Zuverlässigkeitsprobleme, die durch das Schreiben eines stärkeren, klareren Prompts behoben werden
B) Prompt Injection ist adversarial; die Einflussschicht ist faktisch besiegt, sodass Sicherheit in der Durchsetzungsschicht (Berechtigungen, Sandboxing, Ausgabevalidierung) und der menschlichen Schicht (Prüfung destruktiver Aktionen) angesiedelt sein muss
C) Prompt Injection wird vollständig gelöst, indem man die Temperatur des Modells auf 0 senkt, was die Zufälligkeit entfernt, die ein:e Angreifer:in ausnutzt
D) Es ist dasselbe wie CLAUDE.md-Drift — beides sind Anweisungen, die an Einfluss verlieren — daher ist die Lösung, die Priorität des System-Prompts zu erhöhen und ihn oben im Kontext zu verankern

Antwort anzeigen

Richtige Antwort: B

CLAUDE.md-Drift ist versehentlich; Prompt Injection ist adversarial. Das Modell wird nicht “ausgetrickst” — es folgt der kontextuell plausibelsten Fortsetzung, die der:die Angreifer:in so arrangiert hat, dass sie deren Anweisung ist. Sie können eine:n Angreifer:in nicht überlisten: Bei adversarialen Eingaben wird angenommen, dass die Einflussschicht besiegt ist, sodass Sicherheit in der Durchsetzungsschicht (Werkzeugberechtigungen, Sandboxes, Validierung, Egress-Kontrollen) und der menschlichen Schicht (Prüfung von allem, was Geld, Secrets oder Produktion berührt) angesiedelt sein muss. D ist die verführerische falsche Antwort — Prompts neu zu gewichten oder zu verankern ist immer noch die Einflussschicht, die besiegt ist. A macht denselben Fehler, und C verwechselt Temperatur (einen Sampling-Regler) mit einer Sicherheitskontrolle.

Bewertungsleitfaden

Wichtige Erkenntnisse zum Merken

  1. Next-Token-Prädiktion ist das einzige Trainingsziel — Code-Generierung, Übersetzung und Anweisungsbefolgung sind alle emergent; nichts anderes wurde jemals direkt optimiert
  2. Das Modell hat kein eingebautes Konzept von Wahrheit — korrekter und inkorrekter Text leben im selben statistischen Universum, weshalb Halluzination strukturell ist, kein Bug
  3. Post-Training macht den Assistenten — SFT zeigt, wie eine gute Antwort aussieht; RLHF rankt, welche Form Menschen bevorzugen. RLHF belohnt Form, nicht Wahrheit
  4. Halluzination ist strukturell in flüssiger Next-Token-Prädiktion — das Modell hat kein eingebautes Konzept von Wahrheit und darf sich nie enthalten, sodass es, wenn ihm der Fakt fehlt, dennoch eine plausibel aussehende Fortsetzung ausgibt; es kann selbstbewusst falsch sein, nicht bloß unsicher
  5. Drei Halluzinationskategorien, drei Gegenmaßnahmen — faktisch → Abruf, strukturell → Grounding/Laufzeitumgebung, Confident-Nonsense → externe Verifikation
  6. CLAUDE.md beeinflusst, sie befiehlt nicht — sie verzerrt die Verteilung, aber die Generierung endet trotzdem in einem Sample, und einer Regel, die mit einem langen, jungen Kontext konkurriert, kann weniger Attention geschenkt werden (eine Tendenz, kein fester proportionaler Verlust); für eine Garantie brauchen Sie die Durchsetzungsschicht, nicht lautere Formulierungen
  7. AGENTS.md ist der werkzeugübergreifende Standard, aber Claude Code liest CLAUDE.md — derselbe Mechanismus, anderer Dateiname und Ablageort
  8. Lost in the Middle — stellen Sie die wichtigste Regel nach vorn (Primacy) und wiederholen Sie kritische Anweisungen am Ende (Recency); die Mitte ist der schlechteste Ort, um eine Regel zu verstecken
  9. Das Drei-Schichten-Modell — Einfluss (probabilistisch) + Durchsetzung (deterministisch) + Mensch (semantisch); keine Schicht kann eine andere ersetzen
  10. Temperatur gewichtet die Würfel neu — sie kann weder das argmax verschieben, Fakten hinzufügen noch Einschränkungen erzwingen; bei T = 0 werden Halluzinationen nur wiederholbarer
  11. Few-Shot ist Induction-Heads — finde [A][B], sieh [A], sage [B] voraus; Format überträgt sich mehr als Inhalt (Min et al.)
  12. Für Codebasis-Stil schlagen Beispiele Anweisungen — zeigen, nicht erzählen
  13. Chain-of-Thought tauscht Tiefe gegen Länge — dasselbe N, L× die effektive Berechnung — aber die sichtbare Kette ist kein getreuer Audit-Trail
  14. Reasoning-Modelle sind nicht architektonisch anders — prompten Sie für Ziel, Einschränkungen und Verifikationskriterien, nicht für “let’s think step by step”
  15. Self-Consistency ist Varianzreduktion — sie scheitert, wenn die falsche Antwort der Modus ist
  16. Erzwingen Sie Form, nicht Wahrheit; Sie können eine:n Angreifer:in nicht überlisten — Constrained Decoding garantiert nur Struktur, und Prompt Injection muss in der Durchsetzungs- und menschlichen Schicht gestoppt werden
© 2026 Dominik Müller   •  Powered by Soopr   •  Theme  Moonwalk