Eine Studie des Oxford Internet Institute kommt zu dem Schluss, dass zahlreiche KI-Benchmarks an wissenschaftlicher Genauigkeit mangeln und die Leistungsfähigkeit von Modellen wie jenen von OpenAI, Anthropic und Google regelmäßig überbewertet wird. Unternehmen wie OpenAI, Anthropic und Deepseek setzen Benchmarks gezielt ein, um die Fortschrittlichkeit ihrer Modelle zu bewerben. Wer Kaufentscheidungen oder den KI-Einsatz im Unternehmen auf Basis dieser Herstellerangaben trifft, riskiert, ein verzerrtes Bild der tatsächlichen Modellleistung zu erhalten. Für Entscheider bedeutet das: Herstellerseitige Benchmark-Ergebnisse sollten stets mit unabhängigen Vergleichstests abgeglichen werden, bevor sie als Entscheidungsgrundlage dienen.

Hersteller-Benchmarks vs. unabhängige Messung: Wie viel die Selbstbewertung von OpenAI, Google und Anthropic wert ist

Benchmarks, die KI-Anbieter zur Vermarktung ihrer Modelle einsetzen, spiegeln laut einer Studie des Oxford Internet Institute häufig nicht die tatsächliche Praxisleistung wider. Wer Beschaffungsentscheidungen allein auf Herstellerangaben stützt, riskiert Fehleinschätzungen bei Kosten, Latenz und Qualität.

Der Kern des Problems: Benchmarks als Marketinginstrument

Unternehmen wie OpenAI, Anthropic und Google nutzen standardisierte Tests, um die Leistungsfähigkeit ihrer Modelle öffentlich zu dokumentieren. Laut t3n, das auf eine Studie des Oxford Internet Institute verweist, mangelt es vielen dieser Tests an wissenschaftlicher Genauigkeit. Die Studie kommt zu dem Schluss, dass die Leistungsfähigkeit von KI-Modellen durch solche Benchmarks regelmäßig überbewertet wird.

Das gilt auch für renommierte Benchmarks: Tests wie “Humanity’s Last Exam” oder “SWE-Bench Verified” sollen eine standardisierte Vergleichsgrundlage schaffen. In der Praxis weichen die gemessenen Werte aber oft erheblich von den Angaben der Hersteller ab.

Ein konkretes Beispiel aus der Community-Diskussion auf OpenAI Forums (Stand April 2024): Claude 3 Opus erzielte auf dem Benchmark “Graduate Level Reasoning” einen Wert von 50,4 Prozent, GPT-4 kam auf 35,7 Prozent. Beim Coding-Benchmark HumanEval lag Claude 3 Opus bei 84,9 Prozent, GPT-4 bei 67,0 Prozent. Diese Zahlen stammen aus einem direkten Modellvergleich und wurden von Anthropic bzw. OpenAI selbst kommuniziert. Sie sagen jedoch wenig darüber aus, wie sich die Modelle unter realen API-Bedingungen mit variierender Last, Latenz und unterschiedlichen Aufgabentypen verhalten.

Unabhängige Anbieter wie Artificial Analysis messen Modelle unter produktionsnahen Bedingungen und kommen dabei regelmäßig zu anderen Ergebnissen als die Hersteller selbst. Wer beide Perspektiven kennt, trifft fundiertere Entscheidungen. Mehr zur Methodik unabhängiger Messungen finden Sie im Artikel zu Artificial Analysis LLM API-Kostenvergleich und Latenz-Rankings.

Vier praktische Implikationen für Entscheider

1. Herstellerangaben als Ausgangspunkt, nicht als Entscheidungsgrundlage nutzen

Benchmark-Ergebnisse, die Anbieter in Pressemitteilungen oder auf Produktseiten veröffentlichen, sind methodisch selten neutral. Sie werden häufig auf Aufgaben optimiert, bei denen das eigene Modell stark abschneidet. Entscheider sollten diese Zahlen als erste Orientierung verstehen, sie aber mit unabhängigen Quellen abgleichen. Einen strukturierten Vergleich unabhängiger Messungen bietet der Artikel zum Artificial Analysis Q1-2025-TCO-Vergleich zwischen Claude, GPT und Gemini.

2. Latenz und Kosten separat prüfen

Qualitätsbenchmarks messen meist die Antwortgenauigkeit unter idealen Bedingungen. Latenz und API-Kosten unter Produktionslast werden dabei nicht erfasst. Für viele Unternehmensanwendungen sind aber genau diese Parameter entscheidend. Herstellerangaben zu Latenz weichen laut unabhängigen Messungen systematisch von realen Werten ab. Details dazu im Artikel zu Claude API-Latenzen: Herstellerangaben vs. Artificial Analysis-Messwerte.

3. Benchmark-Auswahl nach Anwendungsfall ausrichten

Nicht jeder Benchmark ist für jeden Anwendungsfall relevant. Ein Modell, das auf mathematischen Reasoning-Tests führt, muss im mehrsprachigen Kundendialog oder bei der Dokumentenverarbeitung nicht dieselbe Stärke zeigen. Entscheider sollten prüfen, welche Benchmark-Kategorien ihrer konkreten Nutzung entsprechen, und gezielt nach Ergebnissen in diesen Bereichen suchen. Einen Überblick über die Methodik gängiger Leaderboards gibt der Vergleich von lmarena, HELM und Open LLM Leaderboard.

4. Kontaminationsrisiken und Reproduzierbarkeit im Blick behalten

Ein weiteres strukturelles Problem: Modelle können auf Benchmark-Daten trainiert worden sein, was ihre Testergebnisse verzerrt, ohne dass dies transparent gemacht wird. Die sogenannte Datenkontamination ist schwer nachzuweisen, aber ein bekanntes Phänomen in der LLM-Forschung. Reproduzierbare, unabhängig verifizierte Ergebnisse sind deshalb wertvoller als einmalige Herstellertests. Mehr dazu im Artikel zur Reproduzierbarkeitskrise bei LLM-Benchmarks.

Einordnung: Was unabhängige Anbieter messen

Plattformen wie Artificial Analysis testen Modelle kontinuierlich über die öffentlichen APIs der Anbieter unter variierenden Lastbedingungen. Sie messen dabei unter anderem Tokens pro Sekunde, Zeit bis zum ersten Token sowie Preise je nach Kontextfenster. Diese Methodik ist näher an realen Unternehmensszenarien als die Laborbedingungen, unter denen Hersteller ihre Benchmarks publizieren.

Das bedeutet nicht, dass Herstellerbenchmarks wertlos sind. Für den Vergleich von Fähigkeiten wie mathematischem Schlussfolgern oder mehrsprachiger Verarbeitung bleiben sie ein wichtiges Instrument. Aber für Beschaffungsentscheidungen reichen sie allein nicht aus. Die Oxford-Studie, auf die t3n verweist, bestätigt diesen Befund systematisch: Selbst etablierte Benchmarks verfehlen häufig wissenschaftliche Mindeststandards.

Für Unternehmen, die konkrete Modellentscheidungen treffen, etwa beim Vergleich von Anthropic Claude und GPT-4-Varianten, lohnt sich ein Blick auf den Kosteneffizienz-Vergleich zwischen Anthropic und OpenAI für 2025 sowie auf die LLM-Benchmark-Evaluierungsmethoden im Überblick.

Quellen

• Warum viele Benchmarks die Fähigkeiten von KI-Modellen überschätzen (t3n)
• AI Benchmarks – TechCrunch
• GPT-4 vs. Claude 3 Opus Benchmark-Vergleich (OpenAI Community Forum)

Häufige Fragen

Was sind KI-Benchmarks und warum verwenden Hersteller sie so prominent?

Benchmarks sind standardisierte Tests, mit denen die Leistungsfähigkeit, Effizienz und Zuverlässigkeit von KI-Modellen objektiv bewertet und vergleichbar gemacht werden sollen. Unternehmen wie OpenAI, Anthropic und DeepSeek setzen sie gezielt ein, um die Fortschrittlichkeit ihrer Modelle öffentlich zu bewerben. Da Benchmark-Ergebnisse auf den ersten Blick klare Zahlen liefern, eignen sie sich gut für Produktankündigungen und Pressemitteilungen.

Wie zuverlässig sind die Benchmark-Ergebnisse, die Hersteller selbst veröffentlichen?

Ein Forschungsteam des Oxford Internet Institute kommt in einer Studie zu dem Schluss, dass vielen dieser Tests wissenschaftliche Genauigkeit fehlt und die Leistungsfähigkeit von KI-Modellen dadurch regelmäßig überbewertet wird. Selbst renommierte Benchmarks fallen laut dieser Analyse durch methodische Schwächen auf. Das bedeutet: Herstellerangaben zu Benchmark-Ergebnissen sollten Entscheider stets kritisch einordnen und mit unabhängigen Quellen abgleichen.

Welche Arten von Fähigkeiten messen gängige KI-Benchmarks konkret?

Benchmarks prüfen sehr unterschiedliche Bereiche. Der Test “Humanity’s Last Exam” etwa fragt universelles Wissen aus Feldern wie Kunst und Mathematik ab. “SWE-Bench Verified” bewertet die Programmierfähigkeiten von Modellen. Daneben existieren Tests für Hochschulwissen, mathematisches Schlussfolgern und mehrsprachige Aufgaben. Diese Vielfalt macht direkte Vergleiche zwischen Modellen oft schwieriger als von Herstellern dargestellt.

Gibt es konkrete Beispiele, wo sich Modelle in herstellereigenen und unabhängigen Bewertungen unterschiedlich schlagen?

Ein viel diskutiertes Beispiel ist der Vergleich von Claude 3 Opus (Anthropic) und GPT-4 (OpenAI). In einer vergleichenden Auswertung der Benchmark-Daten beider Hersteller schnitt Claude 3 Opus in mehreren Kategorien besser ab: beim Graduate-Level-Reasoning mit 50,4 Prozent gegenüber 35,7 Prozent für GPT-4, beim Coding-Test HumanEval mit 84,9 gegenüber 67,0 Prozent und bei mehrsprachiger Mathematik mit 90,7 gegenüber 74,5 Prozent. Solche Zahlen stammen jedoch aus den jeweiligen Herstellerveröffentlichungen und sind ohne unabhängige Überprüfung nur bedingt aussagekräftig.

Was sollten Unternehmen beim Einsatz von Benchmark-Ergebnissen für ihre Modellauswahl beachten?

Entscheider sollten Hersteller-Benchmarks nicht als alleinige Entscheidungsgrundlage nutzen. Da die Oxford-Studie zeigt, dass viele Tests an wissenschaftlicher Genauigkeit mangeln, empfiehlt es sich, auf unabhängige Evaluierungsplattformen zu setzen und Modelle idealerweise mit unternehmenseigenen Testdaten und realen Anwendungsfällen zu prüfen. Ein guter Benchmark für einen Chatbot-Einsatz ist nicht automatisch aussagekräftig für komplexe Dokumentenanalyse oder Coding-Aufgaben im eigenen Betrieb.

Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.