Laut einer systematischen Analyse von 31 LLM-Sicherheits-Benchmarks lassen sich nur 39 Prozent der zugehörigen Code-Repositorys ohne Änderungen ausführen, und lediglich 16 Prozent bieten fehlerfreie Installationsanleitungen (Chu et al., arxiv.org/html/2603.04459v3). Wer als Unternehmen Kaufentscheidungen auf Benchmark-Vergleiche stützt, kalkuliert auf einer fragilen Basis: Wenn über 60 Prozent der Evaluierungs-Repositorys nicht reproduzierbar laufen, sind Ergebnisvergleiche zwischen unabhängigen Laboren strukturell fehleranfällig. Hinzu kommt, dass die Benchmark-Adoption laut derselben Studie stärker mit der Bekanntheit der Autoren als mit der methodischen Qualität korreliert. Entscheider sollten daher Benchmark-Scores stets mit Angaben zur Laufumgebung, Datenversion und Evaluierungsmethodik einfordern.

Reproduzierbarkeit in der Krise: Warum LLM-Benchmarks je nach Labor zu anderen Ergebnissen kommen

Nur 39 Prozent der untersuchten LLM-Sicherheits-Benchmark-Repositorys lassen sich ohne manuelle Anpassungen ausführen. Das zeigt eine systematische Messstudie zu 31 Sicherheits-Benchmarks, die Forscher von Universitäten und Instituten in über 220 Personenstunden durchgeführt haben. Dieses Ergebnis steht exemplarisch für ein grundsätzliches Problem: Unabhängige Labore kommen bei der Bewertung derselben Sprachmodelle regelmäßig zu unterschiedlichen Resultaten, weil Evaluation-Infrastrukturen, Testbedingungen und Qualitätsstandards erheblich variieren.

Die Lücke in der Meta-Evaluation

Benchmarks gelten in der KI-Forschung als zentrale Vergleichsinfrastruktur. Sie sollen Fortschritte messbar machen und systematische Vergleiche ermöglichen. Doch wer bewertet die Benchmarks selbst? Forscher von Apart Research und University College London haben mit dem Framework MEQA (Meta-Evaluation of Question and Answer Benchmarks) einen Ansatz vorgestellt, der genau diese Lücke schließen soll. MEQA ermöglicht standardisierte Bewertungen von QA-Benchmarks mit quantifizierbaren Scores und erlaubt Vergleiche innerhalb einer Benchmark-Klasse. Als Testfeld wählten die Autoren Cybersicherheits-Benchmarks, da KI-Modelle dort sowohl als Angriffs- als auch als Verteidigungswerkzeug wirken können.

Parallel dazu untersucht die Studie “Benchmark of Benchmarks” 31 LLM-Sicherheits-Benchmarks aus den Bereichen Prompt Injection, Jailbreak und Halluzination. Die Befunde sind deutlich: Nur 16 Prozent der analysierten Repositorys bieten fehlerfreie Installationsanleitungen, und lediglich 6 Prozent enthalten ethische Erwägungen, obwohl die enthaltenen Daten potenziell schädliche Inhalte umfassen. Diese Mängel haben sich über den gesamten Untersuchungszeitraum nicht wesentlich verbessert. Die Studie identifiziert zwei wesentliche Faktoren, die die Akzeptanz von Benchmarks in der Forschungsgemeinschaft bestimmen: die Bekanntheit der Autoren sowie die technische Lauffähigkeit des zugehörigen Codes.

Für Entscheider, die Benchmark-Ergebnisse für Beschaffungsentscheidungen heranziehen, entstehen daraus konkrete Risiken. Die methodischen Unterschiede zwischen Leaderboards wie LMArena und HELM sowie die Frage nach Benchmark-Manipulation und Datenkontamination sind eng mit dieser Reproduzierbarkeits-Problematik verknüpft.

Preisvergleiche als Kontrast: Wo Zahlen konsistent sind

Während Leistungs-Benchmarks stark variieren, lassen sich Preisdaten verhältnismäßig zuverlässig vergleichen. Ein aktuell gepflegter Open-Dataset von Salt Technologies AI listet 16 führende Sprachmodelle von sieben Anbietern über 22 Felder hinweg, darunter Tokenpreise, Kontextfenstergrößen und empfohlene Einsatzszenarien. Dort finden sich unter anderem diese Angaben (jeweils pro 1 Million Tokens):

• GPT-4.1 (OpenAI): 2,00 USD Input / 8,00 USD Output, 1M Tokens Kontext
• Claude Opus 4.5 (Anthropic): 5,00 USD Input / 25,00 USD Output, 200K Tokens Kontext
• Gemini 2.5 Flash (Google): 0,30 USD Input / 2,50 USD Output, 1M Tokens Kontext
• Llama 4 Scout (Meta): 0,11 USD Input / 0,34 USD Output, 10M Tokens Kontext, Open Source
• DeepSeek R1: 0,55 USD Input / 2,19 USD Output, 128K Tokens Kontext, Open Source

Diese Preistransparenz steht in scharfem Kontrast zur Intransparenz vieler Leistungsmessungen. Wer Modelle ausschließlich anhand von Herstellerangaben zu Benchmark-Scores vergleicht, bewegt sich auf unsicherem Terrain. Mehr zu den Kostenunterschieden zwischen Anbietern lesen Sie im Artikel zum Kosteneffizienz-Ranking 2025.

Praktische Implikationen für Unternehmen

1. Herstellerangaben durch unabhängige Messungen ergänzen Benchmark-Ergebnisse, die ein Anbieter selbst veröffentlicht, sind kein neutraler Vergleichsmaßstab. Die beschriebene Studie zeigt, dass selbst unabhängige Benchmarks erhebliche Qualitätsmängel aufweisen können. Unternehmen sollten auf Evaluierungen zurückgreifen, die ihre Methodik offenlegen und reproduzierbar sind. Die Unterschiede zwischen Herstellerangaben und unabhängigen Messungen bei API-Latenzen veranschaulichen diese Diskrepanz anschaulich.

2. Benchmarks anhand der eigenen Aufgabenstellung auswählen Ein Benchmark, der in der akademischen Gemeinschaft viel zitiert wird, muss nicht für den konkreten Enterprise-Anwendungsfall relevant sein. Die MEQA-Studie betont, dass Benchmark-Adoption stärker durch Autorenbekanntheit und Code-Lauffähigkeit bestimmt wird als durch inhaltliche Qualität. Entscheider sollten daher aufgabenspezifische Evaluierungen priorisieren, etwa für Retrieval, Instruction Following oder domänenspezifisches Reasoning.

3. Reproduzierbarkeit als Mindestanforderung einfordern Wer externe Evaluierungsberichte in Ausschreibungen oder Beschaffungsprozessen berücksichtigt, sollte prüfen, ob die zugrunde liegenden Tests reproduzierbar und dokumentiert sind. Nur 16 Prozent der analysierten Sicherheits-Benchmarks bieten fehlerfreie Installationsanleitungen, was Vergleiche zwischen verschiedenen Testumgebungen erheblich erschwert. Weitere Hintergründe bietet der Artikel zur Reproduzierbarkeit und Validität von LLM-Benchmarks.

4. Mehrere Evaluierungsquellen kombinieren Kein einzelner Benchmark liefert ein vollständiges Bild. Die Kombination aus HELM-Sicherheitsbenchmarks, Hugging Face Open LLM Leaderboard und aufgabenspezifischen Tests ergibt eine robustere Grundlage als ein einzelnes Ranking. Wichtig ist dabei, die methodischen Unterschiede zwischen diesen Systemen zu kennen und einzukalkulieren.

Fazit

Die Reproduzierbarkeit von LLM-Evaluierungen ist strukturell ungelöst. Frameworks wie MEQA leisten einen Beitrag zur Standardisierung, doch die Befunde aus der “Benchmark of Benchmarks”-Studie zeigen, dass der Status quo für unternehmerische Entscheidungen erhebliche Unsicherheiten birgt. Preisvergleiche lassen sich noch vergleichsweise zuverlässig anstellen. Bei Leistungsvergleichen hingegen ist kritische Distanz zu einzelnen Quellen geboten, unabhängig davon, ob sie von Herstellern oder Forschungsinstituten stammen.

Quellen

• MEQA: A Meta-Evaluation Framework for Question & Answer LLM Benchmarks (arxiv.org)
• Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks (arxiv.org)
• GitHub: LLM Model Comparison 2026, Salt Technologies AI (salttechno)

Häufige Fragen

Warum liefern verschiedene Labore bei denselben LLMs unterschiedliche Benchmark-Ergebnisse?

Benchmark-Ergebnisse hängen stark von der Implementierungsqualität der Evaluierungsinfrastruktur ab. Eine systematische Untersuchung von 31 LLM-Safety-Benchmarks ergab, dass nur 39 Prozent der zugehörigen Code-Repositories ohne Anpassungen lauffähig sind und lediglich 16 Prozent fehlerfreie Installationsanleitungen bereitstellen. Wenn Labore dieselben Benchmarks mit unterschiedlichen technischen Setups ausführen, entstehen zwangsläufig abweichende Messwerte, die keine inhaltliche Aussage über die tatsächliche Modellqualität treffen.

Welche strukturellen Schwächen haben gängige LLM-Benchmarks laut aktueller Forschung?

Forscher von Apart Research und dem University College London haben mit dem MEQA-Framework gezeigt, dass es bislang keinen standardisierten Standard zur Bewertung der Benchmark-Qualität selbst gibt. Viele Benchmarks liefern keine quantifizierbaren Scores, die Vergleiche innerhalb oder zwischen Benchmarks erlauben. MEQA schlägt daher eine Meta-Evaluierung vor, die Stärken und Schwächen einzelner Benchmarks systematisch offenlegt, und demonstriert dies am Beispiel von Cybersicherheits-Benchmarks mit menschlichen und LLM-basierten Evaluatoren.

Welche Faktoren bestimmen, welche Benchmarks sich in der Forschungsgemeinschaft durchsetzen?

Laut einer bibliometrischen Analyse über 31 LLM-Safety-Benchmarks und 382 Kontrollpapiere korreliert die Verbreitung eines Benchmarks vor allem mit der Bekanntheit der Autoren sowie der tatsächlichen Ausführbarkeit des zugehörigen Codes. Inhaltliche Qualität oder methodische Strenge spielen dabei eine geringere Rolle als diese formalen Faktoren. Das bedeutet: Weitverbreitete Benchmarks sind nicht automatisch die zuverlässigsten.

Wie können Unternehmen mit der Benchmark-Intransparenz beim LLM-Einkauf umgehen?

Für Entscheider empfiehlt sich ein Vergleich mehrerer Quellen entlang konkreter Einsatzszenarien statt eine Orientierung an einzelnen Benchmark-Punktzahlen. Open Datasets wie der LLM Model Comparison 2026 von Salt Technologies AI erfassen für 16 Modelle von 7 Anbietern bis zu 22 Felder, darunter Preise pro Million Token, Kontextfenstergröße, Latenz und empfohlene Anwendungsfälle. Solche strukturierten Vergleiche ermöglichen eine sachlichere Einschätzung als isolierte Laborwerte.

Warum werden ethische Aspekte in LLM-Safety-Benchmarks so selten dokumentiert?

Die systematische Untersuchung von 31 LLM-Safety-Benchmarks, die über 220 Personenstunden menschlicher Prüfarbeit umfasste, zeigte, dass nur 6 Prozent der Benchmark-Repositories ethische Erwägungen dokumentieren, obwohl viele potenziell schädliche Inhalte enthalten. Dieser Befund blieb über den gesamten Untersuchungszeitraum stabil, es gab keine signifikante Verbesserung. Für Unternehmen, die KI-Systeme in sensiblen Bereichen einsetzen, ist das ein relevantes Risiko bei der Auswahl von Evaluierungsgrundlagen.

Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.