Laut einer Studie zu 31 LLM-Sicherheits-Benchmarks können nur 39 % der zugehörigen Code-Repositorys ohne Modifikation ausgeführt werden; lediglich 16 % bieten fehlerfreie Installationsanleitungen (Chu et al., arXiv 2025). Veröffentlichte Benchmark-Scores gelten in der KI-Branche als wichtigste Vergleichsgrundlage für Modellentscheidungen. Wenn jedoch fast zwei Drittel der Benchmark-Repositorys nicht direkt lauffähig sind, lassen sich publizierte Ergebnisse kaum unabhängig nachprüfen. Für Entscheider bedeutet das: Modell-Rankings auf Basis solcher Benchmarks können nicht als belastbare Entscheidungsgrundlage dienen, solange Reproduzierbarkeit nicht systematisch sichergestellt ist.

Reproducibility-Krise bei LLM-Benchmarks: Warum veröffentlichte Scores mit Vorsicht zu genießen sind

Nur 39 Prozent der Benchmark-Repositories für LLM-Sicherheitsmodelle lassen sich ohne Anpassungen ausführen. Das ist das zentrale Ergebnis einer systematischen Untersuchung von 31 LLM-Sicherheits-Benchmarks, die Forscher der Universitäten Cispa, Oxford und weiterer Institutionen auf arXiv veröffentlicht haben. Die Studie analysierte Benchmarks aus den Bereichen Prompt Injection, Jailbreak und Halluzination und kombinierte automatisierte Codeanalyse, bibliometrische Auswertungen sowie manuelle Tests mit über 220 Personenstunden.

Parallel dazu zeigt ein weiteres Forschungsprojekt, das unter dem Namen AIRepr auf GitHub veröffentlicht wurde, wie schwierig es ist, LLM-generierte Datenanalyse-Workflows reproduzierbar zu gestalten. Denn Datenwissenschafts-Aufgaben lassen häufig mehrere statistisch valide Lösungen zu, was eine rein ergebnisbasierte Bewertung unzureichend macht.

Beide Befunde zusammen zeichnen ein Bild, das für Entscheider, die Modellauswahl auf Basis publizierter Scores treffen, erhebliche praktische Konsequenzen hat.

Was die Zahlen konkret bedeuten

Die arXiv-Studie liefert weitere aufschlussreiche Detailbefunde: Nur 16 Prozent der untersuchten Benchmark-Repositories bieten lückenlose Installationsanleitungen. Lediglich 6 Prozent enthalten ethische Hinweise, obwohl die Benchmarks potenziell schädliche Inhalte umfassen. Diese Mängel blieben über den gesamten Beobachtungszeitraum konstant, ohne messbare Verbesserung.

Besonders relevant für die Modellbewertung: Autorenpopularität korreliert mit der akademischen Rezeption eines Benchmark-Papers, aber weder Autorenpopularität noch Paper-Zitationsrate zeigen einen signifikanten Zusammenhang mit der tatsächlichen Codequalität. Das bedeutet, dass ein viel zitierter Benchmark nicht zwingend methodisch solider oder nachvollziehbarer ist als ein weniger bekannter.

Praktische Implikationen für Entscheider

1. Benchmark-Scores nicht als alleinige Entscheidungsgrundlage verwenden

Da weniger als die Hälfte aller untersuchten Benchmark-Repositories ohne Änderungen lauffähig ist, lassen sich Ergebnisse in der Praxis häufig nicht unabhängig verifizieren. Unternehmen, die Modelle auf Basis von Leaderboard-Positionen auswählen, sollten zusätzlich auf unabhängige Messungen setzen. Plattformen wie Artificial Analysis oder Papers with Code bieten ergänzende, methodisch transparentere Vergleiche. Mehr dazu in unserer Analyse zu Artificial Analysis API-Latenz-Benchmarks und Enterprise-ROI sowie zu Papers with Code LLM-Rankings 2025.

2. Reproduzierbarkeit als Evaluierungskriterium einfordern

Das AIRepr-Framework zeigt, dass für Datenwissenschafts-Aufgaben nicht nur das Ergebnis, sondern der zugrundeliegende Analyse-Workflow bewertet werden muss. Für Unternehmenseinsätze bedeutet das: Anbieter und interne Teams sollten dokumentieren, wie ein Modell zu einem Ergebnis kommt, nicht nur welches Ergebnis es produziert. Wer LLMs in der Datenanalyse einsetzt, sollte Reproduzierbarkeit als Teil der Abnahmekriterien definieren.

3. Codequalität und Installierbarkeit von Evaluierungstools prüfen

Wer eigene Benchmarks oder Evaluierungssuiten intern nutzt, sollte deren Lauffähigkeit aktiv testen. Dass nur 16 Prozent der untersuchten Repositories vollständige Installationsanleitungen bieten, ist ein strukturelles Problem, das sich auf interne Evaluierungsprozesse überträgt. Praktische Orientierung bietet unsere Übersicht zur methodischen Validität von LMarena, HELM und Open LLM Leaderboard.

4. Adoption von Benchmarks kritisch hinterfragen

Die Studie stellt fest, dass Benchmark-Papers gegenüber anderen wissenschaftlichen Veröffentlichungen keinen signifikanten Vorteil bei Zitationsrate oder akademischer Reichweite haben. Verbreitung eines Benchmarks signalisiert also nicht zwangsläufig dessen methodische Qualität. Entscheider sollten bei der Modellauswahl prüfen, ob die verwendeten Benchmarks tatsächlich reproduzierbare, aufgabenrelevante Messungen liefern oder lediglich weit verbreitet zitiert werden. Hintergründe zur Benchmark-Landschaft bietet auch unser Artikel zu HELM-Benchmark 2024/2025.

Quellen

• AIRepr: An Analyst-Inspector Framework for Evaluating Reproducibility of LLMs in Data Science (GitHub)
• Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks (arXiv, v1)
• Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks (arXiv)

Häufige Fragen

Warum sind veröffentlichte LLM-Benchmark-Scores oft schwer zu reproduzieren?

Ein zentrales Problem liegt in der Qualität der zugehörigen Code-Repositories. Eine systematische Studie, die 31 LLM-Safety-Benchmarks anhand von über 220 Personenstunden manueller Tests untersuchte, ergab: Nur 39 Prozent der Benchmark-Repositories lassen sich ohne Anpassungen ausführen, und lediglich 16 Prozent bieten eine fehlerfreie Installationsanleitung. Ohne lauffähigen Code können externe Prüfer veröffentlichte Scores nicht eigenständig nachvollziehen.

Haben einflussreiche Benchmark-Paper automatisch auch bessere Code-Qualität?

Nein. Die Analyse von 31 Benchmarks und 382 Nicht-Benchmark-Papieren zeigt, dass weder die Bekanntheit der Autorinnen und Autoren noch die akademische Reichweite eines Papers einen signifikanten Zusammenhang mit der Codequalität aufweist. Prominente Autorschaft korreliert zwar mit der Zitationshäufigkeit, nicht aber mit der tatsächlichen Reproduzierbarkeit der veröffentlichten Ergebnisse.

Welchen Ansatz verfolgt das AIRepr-Framework, um Reproduzierbarkeit bei LLM-generierten Datenanalysen zu verbessern?

AIRepr setzt auf ein zweigeteiltes Analyst-Inspector-Modell: Ein Agent erstellt den Analyse-Workflow, ein zweiter prüft diesen automatisiert auf statistische Konsistenz und Reproduzierbarkeit. Der Ansatz adressiert das grundlegende Problem, dass Datenanalyse-Aufgaben häufig mehrere statistisch valide Lösungswege zulassen, was manuelle Überprüfungen aufwändig und fehleranfällig macht. Das Framework soll eine skalierbare, automatisierte Bewertung von LLM-generierten Workflows ermöglichen.

Verbessert sich die Lage bei der Reproduzierbarkeit von LLM-Benchmarks über die Zeit?

Nach den vorliegenden Befunden nicht erkennbar. Die Studie zu LLM-Safety-Benchmarks stellt fest, dass die identifizierten Mängel bei Code-Qualität und Begleitdokumentation über den gesamten Untersuchungszeitraum ohne signifikante Verbesserung fortbestehen. Nur 6 Prozent der untersuchten Repositories enthalten ethische Hinweise, obwohl viele potenziell schädliche Inhalte umfassen.

Was können Entscheider tun, um veröffentlichte LLM-Benchmark-Scores kritisch einzuordnen?

Vor der Übernahme publizierter Benchmark-Ergebnisse empfiehlt sich eine strukturierte Prüfung: Ist das zugehörige Repository öffentlich zugänglich und ohne Modifikationen ausführbar? Existiert eine vollständige Installationsanleitung? Werden die genauen Evaluierungsparameter und Datensätze dokumentiert? Da nur 39 Prozent der analysierten Benchmark-Repositories direkt lauffähig sind, sollte die Reproduzierbarkeit als eigenständiges Qualitätskriterium neben Benchmark-Scores gewertet werden.

Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.