Hinweis zur Privatsphäre: Wenn Sie sich mit Ihrem GitHub-Konto anmelden, werden Ihre Quiz-Versuche in Google Firebase gespeichert, damit Sie Ihren Fortschritt verfolgen können. Diese Daten sind nur für den Kursleiter einsehbar, werden nicht anderweitig weitergegeben und nach Semesterende gelöscht. Frühere Löschung auf Anfrage beim Kursleiter. Möchten Sie anonym bleiben? Nutzen Sie den Gastmodus oder ein GitHub-Konto ohne Ihren echten Namen.
Lädt...
Melden Sie sich an, um Ihren Fortschritt zu speichern und auf allen Geräten zu sehen.
●Fortschritt wird gespeichert
08 Vorlesung 8 Quiz: Die Maschine vermessen
Punkte:0 / 12
Fragen-Übersicht
OffenRichtigFalsch
Anleitung
Dies ist ein interaktives Quiz zur Vorlesung 8 — Die Maschine vermessen: LLM-Evaluation für Code. Melden Sie sich mit GitHub an, um Ihren Fortschritt zu speichern, oder fahren Sie als Gast fort.
Wählen Sie Ihre Antwort für jede Frage
Erhalten Sie sofortiges Feedback zu Ihrer Auswahl
Wiederholen Sie Fragen so oft Sie möchten
Verfolgen Sie Ihren Fortschritt über Sitzungen hinweg
Das Quiz folgt dem Bogen der Vorlesung: Die Fragen 1–6 bauen den Mess-Werkzeugkasten auf — die Vier-Komponenten-Zerlegung, das Claim Board, warum ein stochastisches System schwer zu messen ist, warum „Programmieren können” kein einzelnes Konstrukt ist, HumanEval und die Sättigung. Die Fragen 7–12 wenden sich der Frage zu, wie der Benchmark gebaut wird und was genaues Hinsehen enthüllt — der EvalPlus-Grader, die SWE-bench-Konstruktion, die Verified-Variante, die zwei Zahlen, das Scaffold-Problem und Leakage versus Kontamination.
Frage1
Die vier Komponenten
Die Vorlesung sagt, ein Benchmark-Score sei „eine Messung eines Systems — Modell + Scaffold + Grader + Daten — unter spezifischen, manipulierbaren Bedingungen”. Was legt Ihnen diese Rahmung nahe, wenn Sie „~95 % auf SWE-bench Verified” lesen?
✓Richtig!
Die gesamte Vorlesung zerlegt einen Score in Modell, Scaffold, Grader und Daten, und jede Komponente liefert „die Frage, die man zu stellen lernt”, sodass die Zahl eine Messung eines Systems unter Bedingungen ist, keine Eigenschaft der Gewichte (A). Die verlockendste falsche Antwort ist B — die „Datenblatt”-Lesart, zu der der Launch-Post einlädt und die die Zahl wie eine Taktfrequenz behandelt —, die die Vorlesung als Kategorienfehler bezeichnet. C ist Benchmark-Nihilismus, explizit zurückgewiesen als „eine andere Art, nicht hinzusehen”. D kehrt die Rahmung um: Die vier Komponenten sind keine unabhängigen Prüfinstanzen, die sich gegenseitig kontrollieren; sie sind vier separate Stellen, an denen die Zahl aufgebläht oder gedrückt werden kann.
✗Nicht ganz.
Hinweis
Ist ein Score eine Eigenschaft der Gewichte oder eine Messung eines Systems unter Bedingungen?
💡Lösung
Die gesamte Vorlesung zerlegt einen Score in Modell, Scaffold, Grader und Daten, und jede Komponente liefert „die Frage, die man zu stellen lernt”, sodass die Zahl eine Messung eines Systems unter Bedingungen ist, keine Eigenschaft der Gewichte (A). Die verlockendste falsche Antwort ist B — die „Datenblatt”-Lesart, zu der der Launch-Post einlädt und die die Zahl wie eine Taktfrequenz behandelt —, die die Vorlesung als Kategorienfehler bezeichnet. C ist Benchmark-Nihilismus, explizit zurückgewiesen als „eine andere Art, nicht hinzusehen”. D kehrt die Rahmung um: Die vier Komponenten sind keine unabhängigen Prüfinstanzen, die sich gegenseitig kontrollieren; sie sind vier separate Stellen, an denen die Zahl aufgebläht oder gedrückt werden kann.
Frage2
Das Claim Board
Das Claim Board fragt „Sollte ich das glauben?” zu Modell-Behauptungen, und seine Urteile tragen ein „Stand”-Datum. Die Antworten des früheren Mystery Board taten das nicht. Warum der Unterschied?
✓Richtig!
Die Vorlesung benennt den Polaritätswechsel direkt (C): Das Mystery Board sammelte „Warum geschieht das?”-Fragen, deren mechanistische Antworten beantwortet bleiben — die Tokenisierung wird auch nächstes Jahr noch Zeichen verbergen —, während das Claim Board fragt „Sollte ich das glauben?” zu Behauptungen, die an einen sich bewegenden Markt gebunden sind, wo die Zahl überholt, das Modell eingestellt oder der Benchmark zurückgezogen werden kann. Die verlockendste falsche Antwort ist B, aber eine mechanistische Erklärung ist keine bloße „Meinung-versus-Beweis”-Unterscheidung; der Punkt ist, dass ein Mechanismus dauerhaft ist, während Marktfakten es nicht sind. A verwechselt das duale Format: Beide Boards existierten als physisches Board plus digitale Seite. D erfindet eine wöchentliche Neu-Abstimmungs-Regel; Behauptungen laufen ab, weil sich die Welt bewegt, nicht weil sich die Abstimmung wiederholt.
✗Nicht ganz.
Hinweis
Welche Art von Fakt läuft ab — ein Mechanismus oder eine Zahl über einen sich bewegenden Markt?
💡Lösung
Die Vorlesung benennt den Polaritätswechsel direkt (C): Das Mystery Board sammelte „Warum geschieht das?”-Fragen, deren mechanistische Antworten beantwortet bleiben — die Tokenisierung wird auch nächstes Jahr noch Zeichen verbergen —, während das Claim Board fragt „Sollte ich das glauben?” zu Behauptungen, die an einen sich bewegenden Markt gebunden sind, wo die Zahl überholt, das Modell eingestellt oder der Benchmark zurückgezogen werden kann. Die verlockendste falsche Antwort ist B, aber eine mechanistische Erklärung ist keine bloße „Meinung-versus-Beweis”-Unterscheidung; der Punkt ist, dass ein Mechanismus dauerhaft ist, während Marktfakten es nicht sind. A verwechselt das duale Format: Beide Boards existierten als physisches Board plus digitale Seite. D erfindet eine wöchentliche Neu-Abstimmungs-Regel; Behauptungen laufen ab, weil sich die Welt bewegt, nicht weil sich die Abstimmung wiederholt.
Frage3
Warum Evaluation schwer ist
„Ein Benchmark-Lauf beobachtet keine Fähigkeit; er zieht eine Stichprobe davon”, sagt die Vorlesung. Ein:e Student:in entgegnet: „Dann setze ich die Temperatur auf 0, damit der Lauf deterministisch ist — jetzt IST der Score die Fähigkeit.” Warum widerspricht die Vorlesung?
✓Richtig!
Die Vorlesung gibt zwei Antworten (D): Temperatur 0 ist in der Produktion nur größtenteils deterministisch — Inferenz-Stacks driften über Replikas, Batches und stille Updates hinweg —, und selbst perfektes Greedy Decoding evaluiert einen einzigen privilegierten Punkt, den argmax-Pfad, und verwirft den Rest der Verteilung, die das Modell laut Vorlesung 5 tatsächlich ist. Die verlockendste falsche Antwort ist C: Sie klingt rigoros, aber Greedy Decoding misst die Qualität des argmax-Pfads, nicht die aufgabenweise Wahrscheinlichkeit p. A ist falsch, weil Greedy Decoding nicht zufällig ist; es nimmt deterministisch das argmax. B übertreibt eine praktische Unannehmlichkeit zu einer Unmöglichkeit.
✗Nicht ganz.
Hinweis
Ist der einzelne wahrscheinlichste Pfad gleich der vollen Erfolgswahrscheinlichkeit des Modells?
💡Lösung
Die Vorlesung gibt zwei Antworten (D): Temperatur 0 ist in der Produktion nur größtenteils deterministisch — Inferenz-Stacks driften über Replikas, Batches und stille Updates hinweg —, und selbst perfektes Greedy Decoding evaluiert einen einzigen privilegierten Punkt, den argmax-Pfad, und verwirft den Rest der Verteilung, die das Modell laut Vorlesung 5 tatsächlich ist. Die verlockendste falsche Antwort ist C: Sie klingt rigoros, aber Greedy Decoding misst die Qualität des argmax-Pfads, nicht die aufgabenweise Wahrscheinlichkeit p. A ist falsch, weil Greedy Decoding nicht zufällig ist; es nimmt deterministisch das argmax. B übertreibt eine praktische Unannehmlichkeit zu einer Unmöglichkeit.
Frage4
Konstruktvalidität
Bis 2023 erreichten Spitzenmodelle nahezu 90 % auf Funktions-Schreib-Benchmarks, aber das beste System behob weniger als 2 % echter Repository-Issues — im selben Jahr. Was schließt die Vorlesung daraus?
✓Richtig!
Dies ist die Lektion zur Konstruktvalidität (B): „Programmieren können” zerfällt in verschiedene Fähigkeiten — Funktionssynthese, dateiübergreifendes Bug-Fixing, Repository-Navigation, Autonomie über lange Zeithorizonte —, jeder Benchmark misst eine Operationalisierung, und Rangfolgen übertragen sich nicht; ein Modell, das die Synthese-Tabellen anführt, kann bei Repository-Aufgaben im Mittelfeld liegen. Die verlockendste falsche Antwort ist D, aber gerade weil sich die Konstrukte unterscheiden, ist ein Synthese-Score keine übertragbare Obergrenze für die Repository-Fähigkeit — genau diese Extrapolation verbietet die Konstruktvalidität. A liest eine echte 45-fache Kluft als bloße Fehlkalibrierung. C erfindet eine Daten-Erklärung, die die Vorlesung nie gibt und der die 1,96 % von Ende 2023 widersprechen.
✗Nicht ganz.
Hinweis
Können Sie einen Score bei einer Fähigkeit auf eine andere Fähigkeit extrapolieren?
💡Lösung
Dies ist die Lektion zur Konstruktvalidität (B): „Programmieren können” zerfällt in verschiedene Fähigkeiten — Funktionssynthese, dateiübergreifendes Bug-Fixing, Repository-Navigation, Autonomie über lange Zeithorizonte —, jeder Benchmark misst eine Operationalisierung, und Rangfolgen übertragen sich nicht; ein Modell, das die Synthese-Tabellen anführt, kann bei Repository-Aufgaben im Mittelfeld liegen. Die verlockendste falsche Antwort ist D, aber gerade weil sich die Konstrukte unterscheiden, ist ein Synthese-Score keine übertragbare Obergrenze für die Repository-Fähigkeit — genau diese Extrapolation verbietet die Konstruktvalidität. A liest eine echte 45-fache Kluft als bloße Fehlkalibrierung. C erfindet eine Daten-Erklärung, die die Vorlesung nie gibt und der die 1,96 % von Ende 2023 widersprechen.
Frage5
HumanEval
Die Vorlesung nennt HumanEvals Grader „dümmer und daher weit vertrauenswürdiger, als Studierende erwarten”. Wie entscheidet er tatsächlich über Bestehen oder Durchfallen?
✓Richtig!
Der Grader ist rein mechanisch (A): den Prompt, die gespeicherte Completion, die versteckte Check-Funktion und eine Aufrufzeile einfügen, das Ganze als gewöhnliches Python-Programm ausführen, und Bestehen bedeutet, dass check ohne Auslösen eines Fehlers lief. Er parst, formatiert oder beurteilt den Code nie. Die verlockendste falsche Antwort ist C, aber sie wird explizit zurückgewiesen — ein Rumpf, der der Referenz überhaupt nicht ähnelt und dennoch jede Assertion besteht, ist korrekt, Punkt. B vermenschlicht den Grader zu einem Prüfer mit Geschmack, das Gegenteil dessen, was ihn vertrauenswürdig macht. D beschreibt Differential Testing gegen eine Referenz — die EvalPlus-Technik aus Kapitel 6, nicht HumanEvals ursprünglichen Grader.
✗Nicht ganz.
Hinweis
Liest der Grader den Code oder führt er ihn nur aus?
💡Lösung
Der Grader ist rein mechanisch (A): den Prompt, die gespeicherte Completion, die versteckte Check-Funktion und eine Aufrufzeile einfügen, das Ganze als gewöhnliches Python-Programm ausführen, und Bestehen bedeutet, dass check ohne Auslösen eines Fehlers lief. Er parst, formatiert oder beurteilt den Code nie. Die verlockendste falsche Antwort ist C, aber sie wird explizit zurückgewiesen — ein Rumpf, der der Referenz überhaupt nicht ähnelt und dennoch jede Assertion besteht, ist korrekt, Punkt. B vermenschlicht den Grader zu einem Prüfer mit Geschmack, das Gegenteil dessen, was ihn vertrauenswürdig macht. D beschreibt Differential Testing gegen eine Referenz — die EvalPlus-Technik aus Kapitel 6, nicht HumanEvals ursprünglichen Grader.
Frage6
Sättigung
Bis 2023 erreichten Spitzenmodelle nahezu 90 % auf HumanEval. Die Vorlesung warnt vor einer „schludrigen Lesart” davon. Was ist die korrekte Lesart?
✓Richtig!
„Ein gesättigter Benchmark sagt Ihnen nicht, dass die Modelle gleich gut sind; er sagt Ihnen, dass dem Test der Spielraum ausgegangen ist” (C). Oberhalb von 90 % hat das Instrument seine Decke erreicht, nicht die Population, und eine aus einem gesättigten Benchmark zitierte Zahl ist ein Fakt über den Benchmark. Die verlockendste falsche Antwort ist A — genau die schludrige Lesart, von der die Vorlesung sagt, sie stehe „auf dem halben Claim Board”. B ist falsch, weil bei einem Satz aus 164 Problemen die verbleibenden Unterschiede eine Handvoll Aufgaben tief im Stichprobenrauschen sind. D übertreibt: Die Vorlage war für 2021 richtig, als die offene Frage war, ob ein Modell überhaupt eine korrekte eigenständige Funktion schreiben konnte.
✗Nicht ganz.
Hinweis
Haben die Modelle eine Decke erreicht oder der Test?
💡Lösung
„Ein gesättigter Benchmark sagt Ihnen nicht, dass die Modelle gleich gut sind; er sagt Ihnen, dass dem Test der Spielraum ausgegangen ist” (C). Oberhalb von 90 % hat das Instrument seine Decke erreicht, nicht die Population, und eine aus einem gesättigten Benchmark zitierte Zahl ist ein Fakt über den Benchmark. Die verlockendste falsche Antwort ist A — genau die schludrige Lesart, von der die Vorlesung sagt, sie stehe „auf dem halben Claim Board”. B ist falsch, weil bei einem Satz aus 164 Problemen die verbleibenden Unterschiede eine Handvoll Aufgaben tief im Stichprobenrauschen sind. D übertreibt: Die Vorlage war für 2021 richtig, als die offene Frage war, ob ein Modell überhaupt eine korrekte eigenständige Funktion schreiben konnte.
Frage7
Der Grader (EvalPlus)
EvalPlus bewertete exakt dieselben (eingefrorenen) GPT-4-Antworten mit einer viel stärkeren Test-Suite neu, und HumanEvals pass@1 fiel von 88,4 % auf 76,2 % — nichts am Modell hatte sich geändert. Was hatten die ursprünglichen 88,4 % tatsächlich gezählt?
✓Richtig!
Die Vorlesung zerlegt den gemessenen Erfolg als p(korrekt) plus p(besteht, aber falsch): Der zweite Term ist die Chance, zu bestehen und dabei falsch zu sein, unsichtbar von innerhalb des Benchmarks, weil jedes statistische Werkzeug stromabwärts des Orakels arbeitet (D). EvalPlus brachte ihn auf die einzig mögliche Weise ans Licht — ein stärkeres Orakel bauen und die Differenz nehmen —, was ergibt: „Ein Benchmark-Score ist nur so vertrauenswürdig wie sein Grader”. Die verlockendste falsche Antwort ist C, aber sie verwechselt dies mit Kontamination; die Completions waren eingefroren, sodass das Experiment den Grader isoliert, nicht die Trainingsdaten. A kehrt den Befund um — diese Completions waren wirklich falsch, nicht unfair ausgetrickst. B ist falsch, weil das erneute Bewerten eingefrorener Completions deterministisch ist.
✗Nicht ganz.
Hinweis
Wenn die Completions eingefroren waren, was ist das Einzige, das sich zwischen 88,4 % und 76,2 % geändert hat?
💡Lösung
Die Vorlesung zerlegt den gemessenen Erfolg als p(korrekt) plus p(besteht, aber falsch): Der zweite Term ist die Chance, zu bestehen und dabei falsch zu sein, unsichtbar von innerhalb des Benchmarks, weil jedes statistische Werkzeug stromabwärts des Orakels arbeitet (D). EvalPlus brachte ihn auf die einzig mögliche Weise ans Licht — ein stärkeres Orakel bauen und die Differenz nehmen —, was ergibt: „Ein Benchmark-Score ist nur so vertrauenswürdig wie sein Grader”. Die verlockendste falsche Antwort ist C, aber sie verwechselt dies mit Kontamination; die Completions waren eingefroren, sodass das Experiment den Grader isoliert, nicht die Trainingsdaten. A kehrt den Befund um — diese Completions waren wirklich falsch, nicht unfair ausgetrickst. B ist falsch, weil das erneute Bewerten eingefrorener Completions deterministisch ist.
Frage8
SWE-bench-Konstruktion
SWE-bench behält nur Pull Requests, die einen „Fail-to-Pass”-Test haben: einen Test, der vor der Änderung fehlschlägt und danach besteht. Was garantiert dieser Filter, und was bedeuten die FAIL_TO_PASS- und PASS_TO_PASS-Mengen dann?
✓Richtig!
Der Fail-to-Pass-Filter ist entscheidend, weil er beweist, dass die Tests den Fix wirklich kodieren — ein Test, der über die Änderung hinweg von Rot auf Grün umschlägt, ist an diese Änderung gebunden und läuft nicht als Aufräumarbeit nebenher mit (C). Die zwei Mengen teilen dann die Bedeutung von „behoben” auf: FAIL_TO_PASS (rot→grün) ist Fortschritt, der Bug ist weg; PASS_TO_PASS (grün→grün) ist der Regressionsschutz, dass nichts Funktionierendes kaputtging. Die verlockendste falsche Antwort ist A, aber sie schreibt den Filter der Issue-Klarheit zu — die Vorlesung betont, dass die mechanischen Filter nichts davon prüfen. B benennt einen anderen Filter, die Reproduzierbarkeit, und erfindet Geschwindigkeits-/Speicher-Rollen. D ist falsch: Die Mengen beurteilen den Patch des Modells, und der Gold-Patch wird dem Modell vorenthalten.
✗Nicht ganz.
Hinweis
Was beweist ein rot→grün-Test über die Verbindung zwischen dem Test und dem Fix?
💡Lösung
Der Fail-to-Pass-Filter ist entscheidend, weil er beweist, dass die Tests den Fix wirklich kodieren — ein Test, der über die Änderung hinweg von Rot auf Grün umschlägt, ist an diese Änderung gebunden und läuft nicht als Aufräumarbeit nebenher mit (C). Die zwei Mengen teilen dann die Bedeutung von „behoben” auf: FAIL_TO_PASS (rot→grün) ist Fortschritt, der Bug ist weg; PASS_TO_PASS (grün→grün) ist der Regressionsschutz, dass nichts Funktionierendes kaputtging. Die verlockendste falsche Antwort ist A, aber sie schreibt den Filter der Issue-Klarheit zu — die Vorlesung betont, dass die mechanischen Filter nichts davon prüfen. B benennt einen anderen Filter, die Reproduzierbarkeit, und erfindet Geschwindigkeits-/Speicher-Rollen. D ist falsch: Die Mengen beurteilen den Patch des Modells, und der Gold-Patch wird dem Modell vorenthalten.
Frage9
Die Varianten-Familie
OpenAI baute SWE-bench Verified, indem es unterspezifizierte Issues und unfaire Tests entfernte. GPT-4os Score (mit dem Agentless-Scaffold) stieg daraufhin von 16 % auf 33,2 %. Warum ließ das Entfernen von Aufgaben den Score steigen?
✓Richtig!
Die Überraschung ist die Lektion (A): „Die Kuratierung hat die Zahl nicht gesenkt; sie hat sie erhöht — weil der beseitigte Mangel Unfairness gegenüber dem Modell war, nicht Großzügigkeit ihm gegenüber.” Eine Instanz, deren Tests jeden korrekten Patch zurückweisen, ist keine schwere Aufgabe, sondern ein kaputtes Gerät, das jeden Score gleichermaßen senkt; entfernt man diese, misst der Rest Fähigkeit, sodass sich der Score verdoppelt — die Grader-Lektion aus Kapitel 6, rückwärts angewendet. Die verlockendste falsche Antwort ist D, aber das beschreibt Leakage, die anderswo real ist und nicht der Grund, warum die Kuratierung diesen Score anhob. B ist falsch, weil ein kleinerer Nenner allein keinen Prozentsatz anhebt. C erfindet ein Schummeln der Annotator:innen, das die Vorlesung nie behauptet.
✗Nicht ganz.
Hinweis
Hebt oder senkt das Entfernen einer kaputten, unfairen Aufgabe einen fairen Score?
💡Lösung
Die Überraschung ist die Lektion (A): „Die Kuratierung hat die Zahl nicht gesenkt; sie hat sie erhöht — weil der beseitigte Mangel Unfairness gegenüber dem Modell war, nicht Großzügigkeit ihm gegenüber.” Eine Instanz, deren Tests jeden korrekten Patch zurückweisen, ist keine schwere Aufgabe, sondern ein kaputtes Gerät, das jeden Score gleichermaßen senkt; entfernt man diese, misst der Rest Fähigkeit, sodass sich der Score verdoppelt — die Grader-Lektion aus Kapitel 6, rückwärts angewendet. Die verlockendste falsche Antwort ist D, aber das beschreibt Leakage, die anderswo real ist und nicht der Grund, warum die Kuratierung diesen Score anhob. B ist falsch, weil ein kleinerer Nenner allein keinen Prozentsatz anhebt. C erfindet ein Schummeln der Annotator:innen, das die Vorlesung nie behauptet.
Frage10
Die zwei Zahlen
Stand Juni 2026 erreichen dieselben Modelle etwa 77 % auf SWE-bench Verifieds minimalem „bash-only”-Track und etwa 95 % auf dem offenen Leaderboard mit Anbieter-Scaffolds. Wie beantwortet die Vorlesung „Welche Zahl ist echt?”
✓Richtig!
Die Auflösung ist bewusst unbequem (B): „Beide Zahlen sind echt, und keine ist der Score des Modells.” Die bash-only-Zahl von ~77 % schätzt die Modell-Fähigkeit unter einem festen, minimalen Harness; die Anbieter-Zahl von ~95 % ist eine System-Fähigkeit — Modell plus Scaffold plus Best-of-N-Retries — zu einem Preis, den niemand nennt. Sie beantworten verschiedene Fragen, und die Schlagzeile sagt nie, welche. Die verlockendste falsche Antwort ist A, aber sie pickt einfach eine Zahl als „die echte” heraus, genau der Fehler, den das Kapitel demontiert — und C macht denselben Fehler von der anderen Seite. D ist falsch: Ein Abstand von achtzehn Punkten bei denselben 500 Aufgaben ist ein Scaffold-Effekt, kein Stichprobenrauschen, und würde bei Wiederholungen wieder auftauchen.
✗Nicht ganz.
Hinweis
Messen die zwei Tracks dasselbe oder beantworten sie zwei verschiedene Fragen?
💡Lösung
Die Auflösung ist bewusst unbequem (B): „Beide Zahlen sind echt, und keine ist der Score des Modells.” Die bash-only-Zahl von ~77 % schätzt die Modell-Fähigkeit unter einem festen, minimalen Harness; die Anbieter-Zahl von ~95 % ist eine System-Fähigkeit — Modell plus Scaffold plus Best-of-N-Retries — zu einem Preis, den niemand nennt. Sie beantworten verschiedene Fragen, und die Schlagzeile sagt nie, welche. Die verlockendste falsche Antwort ist A, aber sie pickt einfach eine Zahl als „die echte” heraus, genau der Fehler, den das Kapitel demontiert — und C macht denselben Fehler von der anderen Seite. D ist falsch: Ein Abstand von achtzehn Punkten bei denselben 500 Aufgaben ist ein Scaffold-Effekt, kein Stichprobenrauschen, und würde bei Wiederholungen wieder auftauchen.
Frage11
Das Scaffold-Problem
Die Vorlesung sagt, ein SWE-bench-Leaderboard-Eintrag „misst ein System, kein Modell”. Dann macht sie einen schärferen Punkt darüber, woher die Macht eines Scaffolds kommt. Welcher ist es?
✓Richtig!
Der zentrale Zug des Kapitels (D): „Jede tragende Zutat jedes SWE-bench-Scaffolds ist ein Prompting-Muster aus Vorlesung 6, institutionalisiert” — die One-Shot-Patch-Demo ist Few-Shot-Format-Lehre, die Agenten-Schleife ist Chain-of-Thought mit Tool-Aufrufen, und Best-of-N plus ein Verifier ist Self-Consistency im Anzug, zu 10–100× Inferenzkosten. Die verlockendste falsche Antwort ist C, aber ein Scaffold umhüllt das Modell, ohne seine Gewichte zu berühren — es findet kein Fine-Tuning statt. A ist falsch, weil die genannten offenen Scaffolds (SWE-agent, Agentless, OpenHands, mini-SWE-agent) lesbare Forschungsartefakte sind. B wird durch den Achtzehn-Punkte-Abstand zwischen bash-only und Anbieter bei derselben Frontier-Generation widerlegt.
✗Nicht ganz.
Hinweis
Wo haben Sie One-Shot-Demos, Reason-Act-Schleifen und Best-of-N schon einmal gesehen?
💡Lösung
Der zentrale Zug des Kapitels (D): „Jede tragende Zutat jedes SWE-bench-Scaffolds ist ein Prompting-Muster aus Vorlesung 6, institutionalisiert” — die One-Shot-Patch-Demo ist Few-Shot-Format-Lehre, die Agenten-Schleife ist Chain-of-Thought mit Tool-Aufrufen, und Best-of-N plus ein Verifier ist Self-Consistency im Anzug, zu 10–100× Inferenzkosten. Die verlockendste falsche Antwort ist C, aber ein Scaffold umhüllt das Modell, ohne seine Gewichte zu berühren — es findet kein Fine-Tuning statt. A ist falsch, weil die genannten offenen Scaffolds (SWE-agent, Agentless, OpenHands, mini-SWE-agent) lesbare Forschungsartefakte sind. B wird durch den Achtzehn-Punkte-Abstand zwischen bash-only und Anbieter bei derselben Frontier-Generation widerlegt.
Frage12
Das manuelle Audit
Das SWE-Bench+-Audit fand, dass in 32,67 % der bestandenen Instanzen der Fix bereits im Issue-Report oder dessen Kommentar-Thread niedergeschrieben war. Die Vorlesung nennt das Leakage, nicht Kontamination. Was ist die Unterscheidung?
✓Richtig!
Die Vorlesung ist präzise (C): „Kontamination lebt in den Gewichten und Leakage lebt in der Eingabe.” Wenn ein:e Maintainer:in einen vorgeschlagenen Diff in den Issue-Thread einfügt und SWE-bench diesen Text als Prompt behält, ist das Ausgeben des Fixes gewöhnliches In-Context-Kopieren — „das Modell hat das Issue nicht gelöst, es hat die in die Frage eingefügte Antwort abgeschrieben.” Die verlockendste falsche Antwort ist B, aber sie verwechselt Leakage mit dem separaten Befund der schwachen Tests. A ist falsch: Die beiden Begriffe werden sorgfältig getrennt. D erfindet eine Aufteilung nach Modelltyp, die die Vorlesung nie zieht.
✗Nicht ganz.
Hinweis
Wo lebt jede von beiden — in den Gewichten oder in der Eingabe?
💡Lösung
Die Vorlesung ist präzise (C): „Kontamination lebt in den Gewichten und Leakage lebt in der Eingabe.” Wenn ein:e Maintainer:in einen vorgeschlagenen Diff in den Issue-Thread einfügt und SWE-bench diesen Text als Prompt behält, ist das Ausgeben des Fixes gewöhnliches In-Context-Kopieren — „das Modell hat das Issue nicht gelöst, es hat die in die Frage eingefügte Antwort abgeschrieben.” Die verlockendste falsche Antwort ist B, aber sie verwechselt Leakage mit dem separaten Befund der schwachen Tests. A ist falsch: Die beiden Begriffe werden sorgfältig getrennt. D erfindet eine Aufteilung nach Modelltyp, die die Vorlesung nie zieht.