Forscher der MBZUAI und Universitas Indonesia haben nachgewiesen, dass Datenkontamination in Multiple-Choice-Benchmarks mit bestehenden Methoden wie Permutation und N-Gramm-Verfahren unter kontrollierten Bedingungen nur unzuverlässig erkannt wird (arxiv.org, 2505.24263). Steigende Benchmark-Scores von LLMs spiegeln nicht zwingend echte Leistungsverbesserungen wider, wenn Trainingsdaten mit Evaluierungsdatensätzen überlappen. Da Anbieter ihre Trainingsdaten kaum offenlegen, können Leaderboard-Ergebnisse verzerrt sein. Für Unternehmen, die Modellauswahl auf Basis öffentlicher Ranglisten treffen, bedeutet dies ein erhebliches Risiko bei der Bewertung tatsächlicher Praxistauglichkeit.

Datenkontamination in LLM-Benchmarks: Automatisierte Methoden zur Erkennung von Trainingsüberschneidungen

Benchmarks, die zur Bewertung großer Sprachmodelle entwickelt wurden, verlieren zunehmend ihre Aussagekraft, weil Trainingsdaten und Evaluierungssets sich überschneiden können. Forscher der Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) und der Universitas Indonesia haben dieses Problem in einem im Mai 2025 auf arXiv veröffentlichten Paper systematisch untersucht und dabei verschiedene Detektionsmethoden unter kontrollierten Bedingungen verglichen.

Der Kern des Problems: Saturation und Leakage

Standard-Benchmarks wie MMLU, die 57 Wissensdomänen abdecken, gelten in der Forschungsgemeinschaft laut dem kuratierten GitHub-Katalog “awesome-llm-benchmarks” für 2026 bereits als weitgehend gesättigt und kontaminiert. Viele dieser Evaluierungssets aus den Jahren 2022 und 2023 seien “no longer predictive of real-world ability”, wie es in der Übersicht heißt. Neuere Alternativen wie MMLU-Pro, eine Variante mit zehn Antwortoptionen statt vier, wurden entwickelt, um diese Schwäche zu adressieren.

Das MBZUAI-Paper von Muhammad Dehan Al Kautsar, Alfan Farizki Wicaksono und Fajri Koto beschreibt das grundlegende Problem: Modellscores auf Standardbenchmarks steigen kontinuierlich, doch die fehlende Transparenz über Trainingsdaten macht es schwierig zu beurteilen, ob diese Verbesserungen echte Fähigkeitssteigerungen widerspiegeln oder auf Überschneidungen zwischen Trainings- und Testdaten zurückzuführen sind.

Drei Detektionsmethoden im Vergleich

Die Forscher verglichen in einem Continual-Pretraining-Setup, das reale Leckage-Szenarien simuliert, drei Ansätze zur Erkennung von Datenkontamination bei Multiple-Choice-Benchmarks:

Permutationsbasierte Methoden prüfen, ob Modelle bei veränderten Antwortoptionen-Reihenfolgen konsistent reagieren, was auf Memorierung hinweisen kann.

N-Gramm-basierte Methoden suchen nach wörtlichen Überschneidungen zwischen Trainingstexten und Evaluierungsfragen.

Semi-Half Question ist ein leichtgewichtiger Ansatz, den die Forschungsgruppe zusätzlich untersuchte. Dabei wird nur die erste Hälfte einer Frage als Prompt verwendet, um zu testen, ob das Modell den Rest aus dem Gedächtnis vervollständigt. Die Autoren beschreiben diese Methode als niedrigschwellig umsetzbar, halten aber fest, dass sie im Vergleich zu den etablierten Verfahren unter kontrollierten Bedingungen eingeschränktere Detektionsleistungen zeigt.

Ein wesentlicher Kritikpunkt an bisherigen Arbeiten: Frühere Detektionsmethoden konzentrieren sich laut den Autoren primär auf die Identifikation von Ausreißern und wurden nicht unter kontrollierten, simulierten Leckage-Bedingungen validiert. Genau diese Lücke adressiert das Paper.

Praktische Implikationen für Entscheider

1. Benchmark-Scores nicht isoliert bewerten Steigende Scores auf gesättigten Benchmarks wie MMLU sind kein hinreichendes Kriterium für Modellauswahl. Entscheider sollten auf neuere, härtere Evaluierungssets setzen und unabhängige Messungen bevorzugen. Weiterführende Einordnung bietet der Artikel zu Benchmark-Manipulation und synthetischer Datenkontamination.

2. Transparenz über Trainingsdaten einfordern Anbieter, die keine Angaben zu Trainingskorpora machen, erschweren eine valide Bewertung. Bei Beschaffungsentscheidungen sollte Transparenz über Datenquellen als Auswahlkriterium gewichtet werden. Relevanter Kontext dazu findet sich in der Analyse zur Reproduzierbarkeitskrise bei LLM-Benchmarks.

3. Detektionstools in eigene Evaluierungsprozesse integrieren Wer Modelle intern feinabstimmt oder bewertet, kann Permutations- und N-Gramm-Tests als Kontrollschicht einbauen. Das erhöht die Vergleichbarkeit interner Evaluierungen und reduziert das Risiko, auf kontaminierten Scores aufzusetzen. Methodische Hintergründe liefert der Überblick zu LLM-Benchmark-Validierung und unabhängigen Messungen.

4. Open-Source-Leaderboards kritisch einordnen Öffentliche Leaderboards spiegeln oft Hersteller-Interessen wider oder basieren auf nicht reproduzierbaren Bedingungen. Ein Vergleich der Methodik verschiedener Leaderboards, einschließlich Hugging Face und HELM, ist für eine fundierte Einschätzung notwendig. Einen direkten Vergleich liefert der Artikel zu Hugging Face Open LLM Leaderboard vs. HELM.

Einordnung: Wohin entwickelt sich die Bewertungslandschaft?

Der GitHub-Katalog “awesome-llm-benchmarks” dokumentiert für 2026 eine klare Verlagerung hin zu spezialisierten Benchmarks für Bereiche wie Code-Generierung, mathematisches Reasoning, Agentic AI und Halluzinationserkennung. Breite Wissenstests verlieren an Gewicht, weil Modelle sie zunehmend durch Memorierung statt durch generalisierte Fähigkeiten lösen können.

Für Unternehmen bedeutet das: Die Frage, welches Modell auf einem öffentlichen Leaderboard ganz oben steht, ist weniger relevant als die Frage, welches Modell unter kontrollierten, aufgabenspezifischen Bedingungen die eigenen Anforderungen am besten erfüllt. Methoden zur Kontaminationserkennung sind dabei kein akademisches Detail, sondern ein praktisches Werkzeug für informierte Einkaufsentscheidungen.

Quellen

• GitHub: awesome-llm-benchmarks – A curated catalog of LLM benchmarks, evaluation frameworks, and leaderboards for the 2026 landscape
• arXiv: Simulating Training Data Leakage in Multiple-Choice Benchmarks for LLM Evaluation (Al Kautsar et al., MBZUAI / Universitas Indonesia, 2025)
• ar5iv: Simulating Training Data Leakage in Multiple-Choice Benchmarks for LLM Evaluation

Häufige Fragen

Was versteht man unter Datenkontamination bei LLM-Benchmarks?

Datenkontamination bezeichnet die unbeabsichtigte oder bewusste Überschneidung zwischen Evaluierungsdatensätzen und den Trainingsdaten eines Modells. Da Anbieter ihre Trainingsdaten selten vollständig offenlegen, lässt sich nicht zuverlässig ausschließen, dass Benchmark-Fragen bereits im Vortraining enthalten waren. Solche Überschneidungen verzerren die gemeldeten Testergebnisse und machen Modellvergleiche auf Leaderboards weniger aussagekräftig.

Welche automatisierten Methoden zur Erkennung von Datenlecks existieren aktuell?

Forschende der MBZUAI und der Universitas Indonesia haben in einer Studie (arXiv 2505.24263) drei Ansätze verglichen: Permutationsbasierte Methoden, n-Gramm-basierte Methoden sowie eine neu vorgeschlagene, leichtgewichtige Technik namens ‘Semi-Half Question’. Alle drei wurden unter kontrollierten, simulierten Leckage-Bedingungen in einem Continual-Pretraining-Setup getestet. Bisherige Ansätze fokussierten sich hauptsächlich auf die Erkennung von Ausreißern, ohne kontrollierte Simulationen zu nutzen.

Warum gelten viele ältere Benchmarks wie MMLU heute als unzuverlässig?

Benchmarks aus den Jahren 2022 und 2023, darunter MMLU, gelten laut dem kuratierten Katalog ‘awesome-llm-benchmarks’ (GitHub, x-tahosin) inzwischen als gesättigt, kontaminiert oder schlicht nicht mehr aussagekräftig für reale Leistungsfähigkeit. MMLU wird demnach 2025/2026 allenfalls noch als Mindestniveau-Check empfohlen. Neuere Varianten wie MMLU-Pro mit zehn Antwortoptionen statt vier sollen die Differenzierungsfähigkeit verbessern.

Was leistet die ‘Semi-Half Question’-Methode im Vergleich zu etablierten Verfahren?

Die von Al Kautsar et al. vorgeschlagene Semi-Half-Question-Methode ist bewusst leichtgewichtig gehalten. Laut der Studie bietet sie zwar eine geringere Erkennungsleistung als Permutations- oder n-Gramm-Methoden, punktet jedoch durch geringen Rechenaufwand. Die Autoren sehen sie als ergänzendes Werkzeug, nicht als vollständigen Ersatz für aufwendigere Detektionsverfahren.

Wie sollten Unternehmen mit Benchmark-Ergebnissen auf Open-Source-Leaderboards umgehen?

Angesichts fehlender Transparenz bei Trainingsdaten empfiehlt es sich, Leaderboard-Ergebnisse kritisch einzuordnen. Praktiker sollten prüfen, ob ein Benchmark für ihren Anwendungsfall noch differenzierungsfähig ist oder bereits gesättigt gilt. Ergänzend zu öffentlichen Leaderboards sind aufgabenspezifische, intern kontrollierte Evaluierungen sinnvoll, bei denen das Risiko einer Datenkontamination geringer ist.

Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.