Nur 39 Prozent der untersuchten LLM-Safety-Benchmarks lassen sich laut einer Studie des CISPA Helmholtz Center for Information Security ohne Änderungen ausführen, und lediglich 6 Prozent enthalten ethische Hinweise trotz potenziell schädlicher Inhalte. Benchmarks gelten als Grundlage für die Bewertung von KI-Sicherheit. Wenn mehr als 60 Prozent der Repositorys nicht direkt lauffähig sind und kaum eines ethische Standards dokumentiert, verlieren Unternehmen eine verlässliche Vergleichsbasis. Hinzu kommt: Weder Autorenstatus noch Zitationszahlen korrelieren mit der Code-Qualität. Entscheider, die Sicherheitsaussagen über Sprachmodelle auf solche Benchmarks stützen, sollten die Reproduzierbarkeit der zugrunde liegenden Evaluierungen kritisch prüfen.

LLM-Sicherheitsbenchmarks: Nur 39 Prozent der Repositories laufen ohne Anpassungen

Eine systematische Untersuchung von Forschenden des CISPA Helmholtz-Zentrums für Informationssicherheit sowie von Flexera zeigt erhebliche Qualitätsmängel in der Praxis der LLM-Sicherheitsbewertung. Die Studie analysierte 31 Benchmarks und 382 Nicht-Benchmark-Paper in den Bereichen Prompt Injection, Jailbreak und Halluzination und kommt zu ernüchternden Befunden über Reproduzierbarkeit und Transparenz.

Leitfakt: Weniger als 40 Prozent der Benchmark-Repositories sind direkt ausführbar

Laut den Forschenden konnten in über 220 Personenstunden manueller Runnability-Tests nur 39 Prozent der untersuchten Benchmark-Repositories ohne Modifikationen ausgeführt werden. Lediglich 16 Prozent der Repositories stellen fehlerfreie Installationsanleitungen bereit. Besonders auffällig: Nur 6 Prozent der analysierten Benchmarks enthalten ethische Überlegungen, obwohl viele von ihnen potenziell schädliche Inhalte umfassen. Chu et al. stellen fest, dass diese Mängel über den gesamten Untersuchungszeitraum hinweg bestehen bleiben, ohne erkennbare Verbesserungstendenz.

Akademischer Einfluss und Code-Qualität korrelieren nicht

Ein zentrales Ergebnis der Studie betrifft das Verhältnis zwischen Bekanntheit und Qualität: Benchmark-Paper zeigen laut Chu et al. gegenüber Nicht-Benchmark-Papern keinen signifikanten Vorteil bei Zitationshäufigkeit oder Zitationsdichte. Darüber hinaus korreliert die Prominenz von Autorinnen und Autoren zwar mit dem akademischen Einfluss eines Papers, nicht aber mit der Qualität des zugehörigen Codes. Ein viel zitierter Benchmark ist demnach nicht zwingend ein gut wartbarer oder reproduzierbarer Benchmark.

Praktische Implikationen für Entscheider

1. Unabhängige Reproduzierbarkeit prüfen, bevor Evaluierungsergebnisse übernommen werden. Wer Sicherheitsbenchmarks als Entscheidungsgrundlage für den Einsatz von Sprachmodellen heranzieht, sollte die Ausführbarkeit der zugehörigen Repositories intern verifizieren. Angesichts der festgestellten Quote von nur 39 Prozent direkt lauffähiger Repositories ist Vorsicht geboten, wenn Benchmark-Ergebnisse unreflektiert übernommen werden.

2. Renommee von Autorinnen und Autoren nicht als Qualitätsmerkmal werten. Die Studie zeigt eine klare Diskrepanz: Autorenprominez beeinflusst die Sichtbarkeit eines Papers, sagt aber nichts über die technische Qualität des Codes aus. Für die Beschaffung oder Auswahl von KI-Sicherheitswerkzeugen empfiehlt sich eine eigenständige Code-Prüfung.

3. Ethische Dokumentation als Auswahlkriterium einbeziehen. Da nur 6 Prozent der Benchmarks laut Studie ethische Überlegungen ausweisen, obwohl potenziell schädliche Inhalte enthalten sind, sollte die Existenz solcher Dokumentation bei der Auswahl von Evaluierungsinfrastruktur als Qualitätsmerkmal gewertet werden.

4. Systematische Vergleiche mit Kontrollgruppen fordern. Die Einbeziehung von 382 Nicht-Benchmark-Papern als Kontrollgruppe in dieser Studie ermöglichte erst die Relativierung der Benchmark-Ergebnisse. Entscheider sollten bei externen Evaluierungsberichten fragen, ob vergleichbare Kontrollbedingungen vorliegen, um Befunde einordnen zu können.

Quellen

• Chu, J., Shen, X., Leng, Y., Backes, M., Shen, Y., & Zhang, Y. (2025). Benchmark of Benchmarks: Unpacking Influence and Code Repository Quality in LLM Safety Benchmarks. arXiv. https://arxiv.org/html/2603.04459
• Ergänzende Versionen desselben Papers: https://arxiv.org/html/2603.04459v1 und https://arxiv.org/html/2603.04459v2

Häufige Fragen

Wie viele LLM-Safety-Benchmarks wurden in der Studie des CISPA Helmholtz Center for Information Security untersucht, und welche Themenbereiche decken sie ab?

Forscher des CISPA Helmholtz Center for Information Security analysierten 31 LLM-Safety-Benchmarks sowie 382 Nicht-Benchmark-Paper als Kontrollgruppe. Die untersuchten Benchmarks decken drei Themenbereiche ab: Prompt Injection, Jailbreak und Halluzination.

Wie hoch ist der Anteil der Benchmark-Repositories, die sich ohne Anpassungen ausführen lassen?

Laut der Studie lassen sich nur 39 Prozent der untersuchten Benchmark-Repositories ohne Modifikationen ausführen. Für die Überprüfung der Lauffähigkeit investierten die Forscher mehr als 220 Personenstunden in manuelle Tests.

Berücksichtigen LLM-Safety-Benchmarks ethische Aspekte ausreichend, obwohl sie potenziell schädliche Inhalte enthalten?

Nein. Die Studie zeigt, dass lediglich 6 Prozent der untersuchten Benchmark-Repositories ethische Überlegungen dokumentieren, obwohl viele davon potenziell schädliche Inhalte beinhalten. Dieser Mangel hat sich im betrachteten Untersuchungszeitraum nicht wesentlich verbessert.

Haben Benchmark-Paper bei akademischen Zitationen einen messbaren Vorteil gegenüber anderen LLM-Sicherheitspapieren?

Nach den Ergebnissen der Studie weisen Benchmark-Paper keinen signifikanten Vorteil gegenüber Nicht-Benchmark-Paper auf, weder bei der absoluten Zitationszahl noch bei der Zitationsdichte. Einflussreich sind vor allem Paper renommierter Autoren, unabhängig davon, ob es sich um einen Benchmark handelt oder nicht.

Besteht ein Zusammenhang zwischen der akademischen Sichtbarkeit eines Benchmarks und der Qualität seines Codes?

Die Studie deckt hier eine deutliche Fehlausrichtung auf: Zwar korreliert die Bekanntheit der Autoren mit dem akademischen Einfluss eines Papers, jedoch zeigt weder die Autorenprominenz noch der Einfluss des Papers eine signifikante Korrelation mit der Codequalität. Nur 16 Prozent der Repositories verfügen zudem über eine fehlerfreie Installationsanleitung.