Home

08 Vorlesung 8 Quiz: Die Maschine vermessen

June 2026 (3450 Words, 20 Minutes)

quiz evaluation benchmarks swe-bench pass-at-k

Neu: Interaktives Quiz verfügbar!

Möchten Sie Ihren Fortschritt verfolgen und sofortiges Feedback erhalten? Probieren Sie unsere neue interaktive Version mit Fortschrittsverfolgung, sofortigen Erklärungen und Punkteberechnung.

Interaktives Quiz starten →

Anleitung

Dieses Quiz testet Ihr Verständnis der wichtigsten Konzepte aus Vorlesung 8
Jede Frage hat 4 Optionen mit genau einer richtigen Antwort
Versuchen Sie die Fragen ohne Vorlesungsmaterialien zu beantworten
Konzentrieren Sie sich auf das Verständnis der Konzepte, nicht auf das Auswendiglernen bestimmter Zahlen

Das Quiz folgt dem Bogen der Vorlesung: Die Fragen 1–6 bauen den Mess-Werkzeugkasten auf — die Vier-Komponenten-Zerlegung, das Claim Board, warum ein stochastisches System schwer zu messen ist, warum „Programmieren können” kein einzelnes Konstrukt ist, HumanEval und die Sättigung. Die Fragen 7–12 wenden sich der Frage zu, wie der Benchmark gebaut wird und was genaues Hinsehen enthüllt — der EvalPlus-Grader, die SWE-bench-Konstruktion, die Verified-Variante, die zwei Zahlen, das Scaffold-Problem und Leakage versus Kontamination.

Frage 1: Die vier Komponenten

Die Vorlesung sagt, ein Benchmark-Score sei „eine Messung eines Systems — Modell + Scaffold + Grader + Daten — unter spezifischen, manipulierbaren Bedingungen”. Was legt Ihnen diese Rahmung nahe, wenn Sie „~95 % auf SWE-bench Verified” lesen?

A) Fragen Sie, welches Scaffold verwendet wurde, wie viele Versuche es brauchte, wie streng der Grader war und ob die Testdaten geleakt sind — denn alle vier können die Zahl bewegen
B) Behandeln Sie die Zahl als feste Eigenschaft der Gewichte des Modells, wie die beworbene Taktfrequenz eines Chips
C) Ignorieren Sie die Zahl vollständig — da vier Komponenten sie erzeugen, ist sie bedeutungslos, und sich auf sein Bauchgefühl zu verlassen ist ehrlicher
D) Vertrauen Sie ihr mehr als üblich, weil vier unabhängige Komponenten sich jeweils auf sie einigen mussten, bevor sie veröffentlicht werden konnte

Antwort anzeigen

Richtige Antwort: A

Die gesamte Vorlesung zerlegt einen Score in Modell, Scaffold, Grader und Daten, und jede Komponente liefert „die Frage, die man zu stellen lernt”, sodass die Zahl eine Messung eines Systems unter Bedingungen ist, keine Eigenschaft der Gewichte (A). Die verlockendste falsche Antwort ist B — die „Datenblatt”-Lesart, zu der der Launch-Post einlädt und die die Zahl wie eine Taktfrequenz behandelt —, die die Vorlesung als Kategorienfehler bezeichnet. C ist Benchmark-Nihilismus, explizit zurückgewiesen als „eine andere Art, nicht hinzusehen”. D kehrt die Rahmung um: Die vier Komponenten sind keine unabhängigen Prüfinstanzen, die sich gegenseitig kontrollieren; sie sind vier separate Stellen, an denen die Zahl aufgebläht oder gedrückt werden kann.

Frage 2: Das Claim Board

Das Claim Board fragt „Sollte ich das glauben?” zu Modell-Behauptungen, und seine Urteile tragen ein „Stand”-Datum. Die Antworten des früheren Mystery Board taten das nicht. Warum der Unterschied?

A) Das Claim Board ist digital und das Mystery Board war nur physisch, sodass nur das erste mit einem Zeitstempel versehen werden kann
B) Die Antworten des Mystery Board waren Beweise und die des Claim Board sind bloße Meinungen, und nur Beweise können Bestand haben
C) Das Mystery Board erklärte, warum etwas geschieht, und ein Mechanismus läuft nicht ab; das Claim Board beurteilt Behauptungen über einen schnelllebigen Markt, der sich ändern kann
D) Das Claim Board läuft ab, weil die Studierenden jede Woche über jede Behauptung neu abstimmen

Antwort anzeigen

Richtige Antwort: C

Die Vorlesung benennt den Polaritätswechsel direkt (C): Das Mystery Board sammelte „Warum geschieht das?”-Fragen, deren mechanistische Antworten beantwortet bleiben — die Tokenisierung wird auch nächstes Jahr noch Zeichen verbergen —, während das Claim Board fragt „Sollte ich das glauben?” zu Behauptungen, die an einen sich bewegenden Markt gebunden sind, wo die Zahl überholt, das Modell eingestellt oder der Benchmark zurückgezogen werden kann. Die verlockendste falsche Antwort ist B, aber eine mechanistische Erklärung ist keine bloße „Meinung-versus-Beweis”-Unterscheidung; der Punkt ist, dass ein Mechanismus dauerhaft ist, während Marktfakten es nicht sind. A verwechselt das duale Format: Beide Boards existierten als physisches Board plus digitale Seite. D erfindet eine wöchentliche Neu-Abstimmungs-Regel; Behauptungen laufen ab, weil sich die Welt bewegt, nicht weil sich die Abstimmung wiederholt.

Frage 3: Warum Evaluation schwer ist

„Ein Benchmark-Lauf beobachtet keine Fähigkeit; er zieht eine Stichprobe davon”, sagt die Vorlesung. Ein:e Student:in entgegnet: „Dann setze ich die Temperatur auf 0, damit der Lauf deterministisch ist — jetzt IST der Score die Fähigkeit.” Warum widerspricht die Vorlesung?

A) Greedy Decoding wählt Tokens immer noch zufällig aus, nur mit engerer Streuung, sodass ein einzelner Lauf immer noch eine zufällige Ziehung ist
B) Temperatur 0 ist auf echter Hardware unmöglich zu erreichen, sodass echter Determinismus zum Messen nie verfügbar ist
C) Die Fähigkeit ist einfach der argmax-Pfad, sodass ein Temperatur-0-Score sie exakt abliest — weshalb solche Scores der Goldstandard sind
D) Selbst bei Temperatur 0 driftet gehostete Inferenz noch über Server hinweg, und Greedy Decoding misst nur den einzelnen wahrscheinlichsten Pfad — einen Punkt der Verteilung, nicht das ganze Modell

Antwort anzeigen

Richtige Antwort: D

Die Vorlesung gibt zwei Antworten (D): Temperatur 0 ist in der Produktion nur größtenteils deterministisch — Inferenz-Stacks driften über Replikas, Batches und stille Updates hinweg —, und selbst perfektes Greedy Decoding evaluiert einen einzigen privilegierten Punkt, den argmax-Pfad, und verwirft den Rest der Verteilung, die das Modell laut Vorlesung 5 tatsächlich ist. Die verlockendste falsche Antwort ist C: Sie klingt rigoros, aber Greedy Decoding misst die Qualität des argmax-Pfads, nicht die aufgabenweise Wahrscheinlichkeit p. A ist falsch, weil Greedy Decoding nicht zufällig ist; es nimmt deterministisch das argmax. B übertreibt eine praktische Unannehmlichkeit zu einer Unmöglichkeit.

Frage 4: Konstruktvalidität

Bis 2023 erreichten Spitzenmodelle nahezu 90 % auf Funktions-Schreib-Benchmarks, aber das beste System behob weniger als 2 % echter Repository-Issues — im selben Jahr. Was schließt die Vorlesung daraus?

A) Der Repository-Benchmark muss falsch kalibriert gewesen sein, da sich dieselben Modelle in ihrer Fähigkeit nicht wirklich so stark unterscheiden können
B) Eine Funktion zu schreiben und einen Repository-Bug zu beheben sind verschiedene Fähigkeiten; kein Benchmark misst „Programmierfähigkeit” als Ganzes, und eine Rangfolge bei der einen überträgt sich nicht auf die andere
C) Die Modelle waren einfach noch nicht auf genügend Repository-Daten trainiert — eine Lücke, die sich innerhalb von etwa einem Jahr schloss
D) Repository-Arbeit umfasst das Schreiben von Funktionen, sodass ein hoher Synthese-Score eine sichere Obergrenze für die Repository-Fähigkeit ist, und beide sollten sich parallel entwickeln

Antwort anzeigen

Richtige Antwort: B

Dies ist die Lektion zur Konstruktvalidität (B): „Programmieren können” zerfällt in verschiedene Fähigkeiten — Funktionssynthese, dateiübergreifendes Bug-Fixing, Repository-Navigation, Autonomie über lange Zeithorizonte —, jeder Benchmark misst eine Operationalisierung, und Rangfolgen übertragen sich nicht; ein Modell, das die Synthese-Tabellen anführt, kann bei Repository-Aufgaben im Mittelfeld liegen. Die verlockendste falsche Antwort ist D, aber gerade weil sich die Konstrukte unterscheiden, ist ein Synthese-Score keine übertragbare Obergrenze für die Repository-Fähigkeit — genau diese Extrapolation verbietet die Konstruktvalidität. A liest eine echte 45-fache Kluft als bloße Fehlkalibrierung. C erfindet eine Daten-Erklärung, die die Vorlesung nie gibt und der die 1,96 % von Ende 2023 widersprechen.

Frage 5: HumanEval

Die Vorlesung nennt HumanEvals Grader „dümmer und daher weit vertrauenswürdiger, als Studierende erwarten”. Wie entscheidet er tatsächlich über Bestehen oder Durchfallen?

A) Er fügt den Prompt, die Completion, den versteckten Test und eine Aufrufzeile zu einem einzigen Programm zusammen, führt es aus und lässt es bestehen, wenn es ohne Fehler läuft
B) Er prüft die Logik und den Stil der Completion anhand eines Bewertungsrasters für guten Code und gibt dann ein Bestanden-oder-Durchgefallen-Urteil ab
C) Er vergleicht die generierte Funktion mit der Referenzlösung und lässt sie bestehen, wann immer die beiden ähnlich genug aussehen
D) Er führt die Funktion des Modells und die Referenzlösung mit zufälligen Eingaben aus und lässt sie nur bestehen, wenn ihre Ausgaben immer übereinstimmen

Antwort anzeigen

Richtige Antwort: A

Der Grader ist rein mechanisch (A): den Prompt, die gespeicherte Completion, die versteckte Check-Funktion und eine Aufrufzeile einfügen, das Ganze als gewöhnliches Python-Programm ausführen, und Bestehen bedeutet, dass check ohne Auslösen eines Fehlers lief. Er parst, formatiert oder beurteilt den Code nie. Die verlockendste falsche Antwort ist C, aber sie wird explizit zurückgewiesen — ein Rumpf, der der Referenz überhaupt nicht ähnelt und dennoch jede Assertion besteht, ist korrekt, Punkt. B vermenschlicht den Grader zu einem Prüfer mit Geschmack, das Gegenteil dessen, was ihn vertrauenswürdig macht. D beschreibt Differential Testing gegen eine Referenz — die EvalPlus-Technik aus Kapitel 6, nicht HumanEvals ursprünglichen Grader.

Frage 6: Sättigung

Bis 2023 erreichten Spitzenmodelle nahezu 90 % auf HumanEval. Die Vorlesung warnt vor einer „schludrigen Lesart” davon. Was ist die korrekte Lesart?

A) Die Modelle sind wirklich gleich gut im Programmieren geworden, sodass ein Cluster hoher Scores an der Spitze ein echtes Unentschieden zwischen ihnen ist
B) Die wenigen verbleibenden ungelösten Probleme sind die schwersten, sodass Unterschiede bei genau diesen Problemen nun das aussagekräftigste Signal sind
C) Dem Test ist der Spielraum ausgegangen: Oberhalb von 90 % kann er ein kompetentes Modell nicht mehr von einem außergewöhnlichen unterscheiden — das Instrument hat seine Decke erreicht, nicht die Modelle
D) Die Sättigung beweist, dass der Benchmark immer zu leicht war und von Anfang an nie etwas Nützliches gemessen hat

Antwort anzeigen

Richtige Antwort: C

„Ein gesättigter Benchmark sagt Ihnen nicht, dass die Modelle gleich gut sind; er sagt Ihnen, dass dem Test der Spielraum ausgegangen ist” (C). Oberhalb von 90 % hat das Instrument seine Decke erreicht, nicht die Population, und eine aus einem gesättigten Benchmark zitierte Zahl ist ein Fakt über den Benchmark. Die verlockendste falsche Antwort ist A — genau die schludrige Lesart, von der die Vorlesung sagt, sie stehe „auf dem halben Claim Board”. B ist falsch, weil bei einem Satz aus 164 Problemen die verbleibenden Unterschiede eine Handvoll Aufgaben tief im Stichprobenrauschen sind. D übertreibt: Die Vorlage war für 2021 richtig, als die offene Frage war, ob ein Modell überhaupt eine korrekte eigenständige Funktion schreiben konnte.

Frage 7: Der Grader (EvalPlus)

EvalPlus bewertete exakt dieselben (eingefrorenen) GPT-4-Antworten mit einer viel stärkeren Test-Suite neu, und HumanEvals pass@1 fiel von 88,4 % auf 76,2 % — nichts am Modell hatte sich geändert. Was hatten die ursprünglichen 88,4 % tatsächlich gezählt?

A) Die wahre Korrektheit des Modells, die EvalPlus dann unfair senkte, indem es Trick-Tests anschraubte
B) Zufälliges Lauf-zu-Lauf-Rauschen, da das erneute Ausführen eines Benchmarks jedes Mal eine leicht andere Zahl ergibt
C) Die Fähigkeit des Modells, Tests zu bestehen, die es während des Trainings auswendig gelernt hatte, was die stärkere Suite dann entfernte
D) Korrektheit plus ein verstecktes Extra: Antworten, die die schwachen Tests bestanden, während sie tatsächlich falsch waren — jede Completion, die HumanEval bestand, aber HumanEval+ nicht, war von Anfang an falsch

Antwort anzeigen

Richtige Antwort: D

Die Vorlesung zerlegt den gemessenen Erfolg als p(korrekt) plus p(besteht, aber falsch): Der zweite Term ist die Chance, zu bestehen und dabei falsch zu sein, unsichtbar von innerhalb des Benchmarks, weil jedes statistische Werkzeug stromabwärts des Orakels arbeitet (D). EvalPlus brachte ihn auf die einzig mögliche Weise ans Licht — ein stärkeres Orakel bauen und die Differenz nehmen —, was ergibt: „Ein Benchmark-Score ist nur so vertrauenswürdig wie sein Grader”. Die verlockendste falsche Antwort ist C, aber sie verwechselt dies mit Kontamination; die Completions waren eingefroren, sodass das Experiment den Grader isoliert, nicht die Trainingsdaten. A kehrt den Befund um — diese Completions waren wirklich falsch, nicht unfair ausgetrickst. B ist falsch, weil das erneute Bewerten eingefrorener Completions deterministisch ist.

Frage 8: SWE-bench-Konstruktion

SWE-bench behält nur Pull Requests, die einen „Fail-to-Pass”-Test haben: einen Test, der vor der Änderung fehlschlägt und danach besteht. Was garantiert dieser Filter, und was bedeuten die FAIL_TO_PASS- und PASS_TO_PASS-Mengen dann?

A) Er garantiert, dass der Issue-Text detailliert genug zum Lösen ist; FAIL_TO_PASS prüft, ob das Problem klar formuliert ist, und PASS_TO_PASS prüft, ob der Code kompiliert
B) Er garantiert, dass das Repository Jahre später baut; FAIL_TO_PASS misst die Geschwindigkeit des Patches und PASS_TO_PASS seinen Speicherverbrauch
C) Er beweist, dass die Tests den Fix wirklich erfassen (nicht unzusammenhängende Aufräumarbeiten); FAIL_TO_PASS zeigt, dass der Bug weg ist, und PASS_TO_PASS zeigt, dass nichts, was vorher funktionierte, jetzt kaputt ist
D) Er garantiert, dass der Gold-Patch minimal ist; beide Mengen führen einfach den ursprünglichen Patch des Maintainers erneut aus, um zu bestätigen, dass er noch anwendbar ist

Antwort anzeigen

Richtige Antwort: C

Der Fail-to-Pass-Filter ist entscheidend, weil er beweist, dass die Tests den Fix wirklich kodieren — ein Test, der über die Änderung hinweg von Rot auf Grün umschlägt, ist an diese Änderung gebunden und läuft nicht als Aufräumarbeit nebenher mit (C). Die zwei Mengen teilen dann die Bedeutung von „behoben” auf: FAIL_TO_PASS (rot→grün) ist Fortschritt, der Bug ist weg; PASS_TO_PASS (grün→grün) ist der Regressionsschutz, dass nichts Funktionierendes kaputtging. Die verlockendste falsche Antwort ist A, aber sie schreibt den Filter der Issue-Klarheit zu — die Vorlesung betont, dass die mechanischen Filter nichts davon prüfen. B benennt einen anderen Filter, die Reproduzierbarkeit, und erfindet Geschwindigkeits-/Speicher-Rollen. D ist falsch: Die Mengen beurteilen den Patch des Modells, und der Gold-Patch wird dem Modell vorenthalten.

Frage 9: Die Varianten-Familie

OpenAI baute SWE-bench Verified, indem es unterspezifizierte Issues und unfaire Tests entfernte. GPT-4os Score (mit dem Agentless-Scaffold) stieg daraufhin von 16 % auf 33,2 %. Warum ließ das Entfernen von Aufgaben den Score steigen?

A) Die entfernten Aufgaben waren unfair: Ihre Tests weisen selbst korrekte Patches zurück, sie waren also kaputte Messgeräte, die jeden Score nach unten zogen. Entfernt man sie, kann der Rest echte Fähigkeit messen
B) Die kuratierte Menge war kleiner, sodass jede gelöste Aufgabe mehr Prozentpunkte wert war — der Score stieg als reines Rechenartefakt
C) Die Prüfer:innen tauschten während der Prüfung stillschweigend die schwersten Aufgaben gegen leichtere aus
D) Menschen dafür zu bezahlen, jede Aufgabe zu prüfen, ließ den Fix in den Issue-Text durchsickern, sodass das Modell die Antwort einfach aus dem Problem ablesen konnte

Antwort anzeigen

Richtige Antwort: A

Die Überraschung ist die Lektion (A): „Die Kuratierung hat die Zahl nicht gesenkt; sie hat sie erhöht — weil der beseitigte Mangel Unfairness gegenüber dem Modell war, nicht Großzügigkeit ihm gegenüber.” Eine Instanz, deren Tests jeden korrekten Patch zurückweisen, ist keine schwere Aufgabe, sondern ein kaputtes Gerät, das jeden Score gleichermaßen senkt; entfernt man diese, misst der Rest Fähigkeit, sodass sich der Score verdoppelt — die Grader-Lektion aus Kapitel 6, rückwärts angewendet. Die verlockendste falsche Antwort ist D, aber das beschreibt Leakage, die anderswo real ist und nicht der Grund, warum die Kuratierung diesen Score anhob. B ist falsch, weil ein kleinerer Nenner allein keinen Prozentsatz anhebt. C erfindet ein Schummeln der Annotator:innen, das die Vorlesung nie behauptet.

Frage 10: Die zwei Zahlen

Stand Juni 2026 erreichen dieselben Modelle etwa 77 % auf SWE-bench Verifieds minimalem „bash-only”-Track und etwa 95 % auf dem offenen Leaderboard mit Anbieter-Scaffolds. Wie beantwortet die Vorlesung „Welche Zahl ist echt?”

A) Die 95 % sind die echte Fähigkeit des Modells, und die 77 % sind eine künstlich verkrüppelte Messung aus einer minimalen Schleife, die niemand tatsächlich einsetzen würde
B) Beide Zahlen sind echt, und keine ist „der Score des Modells”: Die eine misst das Modell unter einem festen minimalen Harness, die andere ein ganzes System — Modell plus Scaffold plus Retries — zu nicht offengelegten Kosten
C) Die 77 % sind die einzige ehrliche Zahl, und die 95 % sind nur aufgeblähtes Marketing, das zu verwerfen ist
D) Die Kluft ist nur Stichprobenrauschen; führen Sie einen der beiden Tracks erneut aus, und die zwei Zahlen würden schnell konvergieren

Antwort anzeigen

Richtige Antwort: B

Die Auflösung ist bewusst unbequem (B): „Beide Zahlen sind echt, und keine ist der Score des Modells.” Die bash-only-Zahl von ~77 % schätzt die Modell-Fähigkeit unter einem festen, minimalen Harness; die Anbieter-Zahl von ~95 % ist eine System-Fähigkeit — Modell plus Scaffold plus Best-of-N-Retries — zu einem Preis, den niemand nennt. Sie beantworten verschiedene Fragen, und die Schlagzeile sagt nie, welche. Die verlockendste falsche Antwort ist A, aber sie pickt einfach eine Zahl als „die echte” heraus, genau der Fehler, den das Kapitel demontiert — und C macht denselben Fehler von der anderen Seite. D ist falsch: Ein Abstand von achtzehn Punkten bei denselben 500 Aufgaben ist ein Scaffold-Effekt, kein Stichprobenrauschen, und würde bei Wiederholungen wieder auftauchen.

Frage 11: Das Scaffold-Problem

Die Vorlesung sagt, ein SWE-bench-Leaderboard-Eintrag „misst ein System, kein Modell”. Dann macht sie einen schärferen Punkt darüber, woher die Macht eines Scaffolds kommt. Welcher ist es?

A) Scaffolds sind proprietäre Blackboxes, deren Verhalten sich mit nichts in Verbindung bringen lässt, das Sie bereits aus früheren Vorlesungen kennen
B) Scaffolds sind nur für schwache Modelle wichtig; sobald ein Modell stark genug ist, macht der Harness keinen messbaren Unterschied
C) Scaffolds funktionieren, indem sie die Gewichte des Modells während des Evaluationslaufs selbst stillschweigend auf die Aufgaben des Benchmarks fine-tunen
D) Jeder zentrale Scaffold-Teil ist ein Prompting-Muster aus Vorlesung 6, in Software gegossen — eine One-Shot-Demo (Few-Shot), eine Reason-Act-Observe-Schleife (Chain-of-Thought) und Best-of-N mit einem Verifier (Self-Consistency)

Antwort anzeigen

Richtige Antwort: D

Der zentrale Zug des Kapitels (D): „Jede tragende Zutat jedes SWE-bench-Scaffolds ist ein Prompting-Muster aus Vorlesung 6, institutionalisiert” — die One-Shot-Patch-Demo ist Few-Shot-Format-Lehre, die Agenten-Schleife ist Chain-of-Thought mit Tool-Aufrufen, und Best-of-N plus ein Verifier ist Self-Consistency im Anzug, zu 10–100× Inferenzkosten. Die verlockendste falsche Antwort ist C, aber ein Scaffold umhüllt das Modell, ohne seine Gewichte zu berühren — es findet kein Fine-Tuning statt. A ist falsch, weil die genannten offenen Scaffolds (SWE-agent, Agentless, OpenHands, mini-SWE-agent) lesbare Forschungsartefakte sind. B wird durch den Achtzehn-Punkte-Abstand zwischen bash-only und Anbieter bei derselben Frontier-Generation widerlegt.

Frage 12: Das manuelle Audit

Das SWE-Bench+-Audit fand, dass in 32,67 % der bestandenen Instanzen der Fix bereits im Issue-Report oder dessen Kommentar-Thread niedergeschrieben war. Die Vorlesung nennt das Leakage, nicht Kontamination. Was ist die Unterscheidung?

A) Es sind zwei Namen für dieselbe Sache, und die Vorlesung verwendet die beiden Wörter austauschbar
B) Leakage bedeutet, dass die Test-Suite zu schwach ist, um einen falschen Patch zu erwischen, während Kontamination bedeutet, dass der Issue-Text zu vage ist, um zu handeln
C) Kontamination lebt in den Trainingsgewichten; Leakage lebt in der Eingabe — hier war der Fix direkt in den Prompt eingefügt, sodass das Modell ihn nur kopierte
D) Kontamination betrifft nur Open-Source-Modelle, während Leakage nur geschlossene Anbieter-Modelle betrifft

Antwort anzeigen

Richtige Antwort: C

Die Vorlesung ist präzise (C): „Kontamination lebt in den Gewichten und Leakage lebt in der Eingabe.” Wenn ein:e Maintainer:in einen vorgeschlagenen Diff in den Issue-Thread einfügt und SWE-bench diesen Text als Prompt behält, ist das Ausgeben des Fixes gewöhnliches In-Context-Kopieren — „das Modell hat das Issue nicht gelöst, es hat die in die Frage eingefügte Antwort abgeschrieben.” Die verlockendste falsche Antwort ist B, aber sie verwechselt Leakage mit dem separaten Befund der schwachen Tests. A ist falsch: Die beiden Begriffe werden sorgfältig getrennt. D erfindet eine Aufteilung nach Modelltyp, die die Vorlesung nie zieht.

Bewertungsleitfaden

11-12 richtig: Ausgezeichnet! Sie können jeden Benchmark-Score in Modell, Scaffold, Grader und Daten zerlegen und die fehlende Angabe benennen, die seine Bewertung verändern würde
9-10 richtig: Gutes Verständnis! Wiederholen Sie die Bereiche, die Sie verpasst haben
7-8 richtig: Ausreichendes Verständnis. Gehen Sie die Vorlesungsmaterialien für die Schlüsselkonzepte nochmals durch
Unter 7: Bitte wiederholen Sie die Vorlesung sorgfältig und melden Sie sich bei Fragen

Wichtige Erkenntnisse zum Merken

Ein Benchmark-Score ist eine Messung eines Systems, keine Eigenschaft eines Modells — Modell + Scaffold + Grader + Daten, unter spezifischen und manipulierbaren Bedingungen; zerlegen Sie jede Schlagzeile in diese vier Teile, bevor Sie ihr glauben
Das Claim Board fragt „Sollte ich das glauben?” mit Ablaufdatum — anders als die dauerhaften mechanistischen Antworten des Mystery Board ist eine Behauptung über ein Modell eine Behauptung über einen sich bewegenden Markt, sodass jedes Urteil einen „Stand”-Stempel trägt
Ein Lauf zieht eine Stichprobe der Fähigkeit, er beobachtet sie nicht — jedes Bestehen/Durchfallen ist eine Ziehung aus einer aufgabenweisen Wahrscheinlichkeit p; selbst Greedy Decoding misst nur den einzelnen wahrscheinlichsten Pfad, nicht p
„Programmieren können” ist kein einzelnes Konstrukt — Funktionssynthese, Repository-Bug-Fixing, Navigation und Autonomie über lange Zeithorizonte sind verschiedene Fähigkeiten, und Rangfolgen übertragen sich nicht zwischen ihnen (90 % Synthese vs. <2 % Repository im selben Jahr)
Der Grader führt den Code aus, er beurteilt ihn nicht — Prompt + Completion + versteckter Test + Aufrufzeile zusammensetzen, ausführen, und Bestehen = lief ohne einen Fehler auszulösen; der Harness formt den Score genauso sicher wie das Modell
Ein gesättigter Benchmark ist ein Fakt über den Benchmark — oberhalb von ~90 % hat das Instrument seine Decke erreicht, nicht die Population; er kann Modelle nicht mehr ranken
Ein Benchmark-Score ist nur so vertrauenswürdig wie sein Grader — EvalPlus senkte GPT-4 allein durch das Stärken der Tests von 88,4 % auf 76,2 % und legte den unsichtbaren „bestanden-aber-falsch”-Term offen
SWE-bench wird geschürft, nicht verfasst — gemergte PRs werden über den Fail-to-Pass-Filter zu bewerteten Instanzen; FAIL_TO_PASS ist das Fortschrittssignal, PASS_TO_PASS das Richte-keinen-Schaden-an-Signal
Jede Variante ist ein Geständnis — und die Kuratierung von Verified hob GPT-4o von 16 % auf 33,2 %, weil der beseitigte Mangel Unfairness gegenüber dem Modell war, nicht Großzügigkeit ihm gegenüber
77 und 95 sind beide echt, und keine ist „der Score des Modells” — der bash-only-Track hält das Scaffold konstant, um das Modell zu schätzen; Anbieter-Scaffolds fügen Best-of-N-Retries zu 10–100× Kosten hinzu; ein Abstand von achtzehn Punkten verbirgt sich in derselben Schlagzeile
Ein Scaffold ist das Prompting aus Vorlesung 6, in Software eingefroren — Few-Shot-Format-Demos, Reason-Act-Observe-Schleifen und Best-of-N mit einem Verifier sind Demonstrationen, Chain-of-Thought und Self-Consistency, institutionalisiert
Leakage ist in der Eingabe, Kontamination in den Gewichten — bei 32,67 % der auditierten „gelösten” Instanzen war der Fix in den Issue-Thread eingefügt; das Modell hat die Antwort abgeschrieben, statt das Problem zu lösen