Forscher der Yale University zeigen: o1-mini erreicht auf HumanEval 96,2 % pass@1, fällt aber auf dem anspruchsvolleren Benchmark HumanEval Pro auf nur 76,2 % zurück, weil dort mehrstufiges, selbstinvokierendes Schlussfolgern gefordert wird. Für Entscheider, die KI-Modelle für Softwareentwicklung oder komplexe Wissensaufgaben evaluieren, zeigt dieser Befund ein strukturelles Problem: Standardbenchmarks wie HumanEval messen isolierte Einzelaufgaben und überschätzen dabei systematisch die tatsächliche Problemlösekompetenz von LLMs. Benchmarks wie HumanEval Pro, die Modelle zwingen, eine Basislösung auf ein verwandtes, komplexeres Problem anzuwenden, liefern ein realistischeres Bild. Wer Modellauswahl allein auf klassische Benchmark-Ergebnisse stützt, riskiert Fehlinvestitionen.

MMLU-Pro, IFEval und HumanEval: Warum verschiedene Benchmarks zu unterschiedlichen Schlüssen führen

Sprachmodelle, die auf einem Benchmark führend abschneiden, können auf einem anderen deutlich zurückfallen. Diese Diskrepanz ist kein Messfehler, sondern Ausdruck grundlegend verschiedener Prüfkonzepte. Wer Modelle für den Unternehmenseinsatz bewertet, sollte verstehen, was die drei verbreiteten Benchmark-Suites MMLU-Pro, IFEval und HumanEval tatsächlich messen und wo ihre Grenzen liegen.

Was die drei Benchmarks messen

MMLU-Pro erweitert den klassischen Massive Multitask Language Understanding-Datensatz um anspruchsvollere Multiple-Choice-Fragen mit bis zu zehn Antwortoptionen statt vier. Ziel ist es, Fachwissen und schlussfolgerndes Denken über rund 57 Wissensgebiete hinweg zu prüfen. Da mehr Antwortoptionen vorliegen, sinkt die Wahrscheinlichkeit, durch Raten zu punkten.

IFEval (Instruction Following Evaluation) prüft hingegen, ob Modelle präzise Formatierungs- und Inhaltsvorgaben einhalten: zum Beispiel eine bestimmte Anzahl von Wörtern, das Vermeiden bestimmter Begriffe oder die Verwendung vorgeschriebener Abschnitte. Hier geht es nicht um Fachwissen, sondern um Instruktionstreue.

HumanEval ist ein Code-Benchmark, der von OpenAI entwickelt wurde. Modelle erhalten Python-Funktionssignaturen und müssen funktionierenden Code generieren, der automatisierte Unit-Tests besteht. Der Standard-Datensatz umfasst 164 Programmieraufgaben.

Die Lücke zwischen traditionellen und anspruchsvolleren Code-Aufgaben

Forscher der Yale University und der Tsinghua University haben in einer Studie (veröffentlicht auf arXiv, Dezember 2024) das Konzept der “Self-invoking Code Generation” eingeführt. Dabei werden Modelle nicht nur gebeten, ein Basisproblem zu lösen, sondern die erarbeitete Lösung anschließend auf ein komplexeres, verwandtes Problem anzuwenden.

Die Ergebnisse aus der Analyse von mehr als zwanzig Sprachmodellen auf den neu entwickelten Benchmarks HumanEval Pro, MBPP Pro und BigCodeBench-Lite Pro zeigen eine konsistente Schwäche: Modelle, die auf dem klassischen HumanEval stark abschneiden, verlieren auf den selbstinvokierenden Aufgaben erheblich an Leistung. So erreicht das Modell o1-mini laut der Studie 96,2 % pass@1 auf dem Standard-HumanEval, fällt aber auf 76,2 % auf HumanEval Pro zurück. Das ist ein Rückgang von rund 20 Prozentpunkten auf einer Aufgabe, die konzeptuell eng verwandt ist.

Separate Angaben aus der GitHub-Community zu HumanEval zeigen zudem, dass neuere Modelle auf dem Basisdatensatz mittlerweile GPT-4 Turbo (Stand April 2024) und GPT-4o übertreffen. Das unterstreicht, wie schnell Sättigungseffekte eintreten und wie wichtig anspruchsvollere Folge-Benchmarks sind.

Praktische Implikationen für Entscheider

1. Keinen Benchmark isoliert betrachten. Ein Modell, das auf HumanEval nahezu perfekt abschneidet, beherrscht möglicherweise keine mehrstufige Code-Komposition. Wer Software-Entwicklungsprozesse automatisieren will, sollte prüfen, ob das gewählte Modell auch Lösungen verketten und auf komplexere Folgeprobleme anwenden kann. Entsprechende Erkenntnisse zu Reasoning-Fähigkeiten und Benchmark-Vergleichen liefern auch die Artikel zu MMLU-Pro vs. ARC-Challenge und zu HELM, LMArena und Open LLM Leaderboard im Vergleich.

2. Instruktionstreue separat validieren. MMLU-Pro und HumanEval prüfen keine Formatierungszuverlässigkeit. Unternehmen, die Modelle in strukturierten Workflows einsetzen, etwa für die automatisierte Berichtgenerierung oder API-Antworten mit festen Schemata, benötigen IFEval-Werte oder eigene Instruktions-Folge-Tests. Die Leistung auf Wissensfragen korreliert nicht zwingend mit der Fähigkeit, Ausgabeformate zuverlässig einzuhalten.

3. Benchmark-Sättigung als Warnsignal verstehen. Wenn ein Modell auf einem Benchmark nahezu 100 % erreicht, liefert dieser Benchmark keine aussagekräftige Differenzierung mehr. Entscheider sollten auf neuere, schwerere Varianten achten, wie HumanEval Pro oder die Pro-Versionen von MBPP. Einen Überblick über Methodik und Reproduzierbarkeit von Leaderboards gibt der Artikel zu Papers with Code LLM Rankings 2025.

4. Benchmark-Auswahl am konkreten Use Case ausrichten. Für Rechtsabteilungen oder Compliance-Teams sind Reasoning-Benchmarks wie MMLU-Pro relevanter als Code-Tests. Für Entwicklungsteams gilt das Gegenteil. Und für alle, die Modelle in Agenten-Pipelines einsetzen, sind Benchmarks, die mehrstufige Aufgaben testen, aussagekräftiger als Einzelaufgaben-Tests. Mehr zu den Unterschieden zwischen agentic und non-agentic Modellarchitekturen findet sich im Artikel zu Claude 4 agentic vs. non-agentic API-Architektur.

Methodische Grenzen aller drei Benchmarks

Keiner der drei Benchmarks misst Latenz, Kosteneffizienz oder Robustheit unter Produktionsbedingungen. MMLU-Pro kann durch Überanpassung auf bekannte Trainingsdaten verzerrt sein. HumanEval prüft ausschließlich Python und relativ kurze, isolierte Funktionen. IFEval deckt keine semantische Qualität der Antworten ab.

Für eine belastbare Modellauswahl empfiehlt sich daher eine Kombination aus mehreren Benchmark-Suites sowie eigene Evaluierungen auf internen Testdaten. Zusätzliche Perspektiven zur unabhängigen Modellbewertung bieten die Artikel zu Hugging Face Transformers Benchmark-Reproduzierbarkeit und zu HELM-Benchmark Sicherheit, Effizienz und Bias.

Quellen

• Build software better, together: HumanEval topic repositories (GitHub)
• Yilun Zhao, Arman Cohan, Xiao-Ping Zhang: “HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation” (arXiv, v1)
• Yilun Zhao, Arman Cohan, Xiao-Ping Zhang: “HumanEval Pro and MBPP Pro: Evaluating Large Language Models on Self-invoking Code Generation” (arXiv, v2)

Häufige Fragen

Was misst HumanEval genau, und warum reicht dieser Benchmark allein nicht aus?

HumanEval prüft, ob ein Sprachmodell gegebene Programmieraufgaben korrekt löst. Forschende der Yale University und der Tsinghua University haben jedoch gezeigt, dass gute HumanEval-Werte trügen können: Beim erweiterten Benchmark HumanEval Pro, der sogenannte Self-Invoking-Aufgaben enthält, fällt die Leistung vieler Modelle deutlich ab. Beispiel: o1-mini erreicht auf HumanEval einen pass@1-Wert von 96,2 Prozent, auf HumanEval Pro jedoch nur 76,2 Prozent. HumanEval allein bewertet daher keine progressive Problemlösungsfähigkeit.

Was ist Self-Invoking Code Generation, und warum ist das für Unternehmen relevant?

Self-Invoking Code Generation ist eine von Forschenden der Yale University eingeführte Aufgabenklasse: Ein Modell muss zunächst ein Basisproblem lösen und die eigene Lösung anschließend nutzen, um ein komplexeres Folgeproblem zu bearbeiten. Das simuliert reale Entwicklungsszenarien, in denen Code modular aufgebaut und wiederverwendet wird. Unternehmen, die LLMs für Software-Entwicklung einsetzen, erhalten damit ein aussagekräftigeres Bild der tatsächlichen Code-Qualität als mit klassischen Benchmarks.

Welche neuen Benchmarks entstanden aus der Self-Invoking-Forschung?

Das Forschungsteam um Yilun Zhao (Yale University), Arman Cohan (Yale University) und Xiao-Ping Zhang (Tsinghua University) entwickelte drei neue Benchmarks: HumanEval Pro, MBPP Pro und BigCodeBench-Lite Pro. Alle drei sind anspruchsvollere Varianten bestehender Benchmarks und wurden speziell entwickelt, um progressives Schlussfolgern und Problemlösung bei LLMs zu messen, wo klassische Suites wie HumanEval oder MBPP an ihre Grenzen stoßen.

Wie unterscheiden sich MMLU-Pro, IFEval und HumanEval in ihrer Ausrichtung?

Die drei Benchmarks messen grundlegend verschiedene Fähigkeiten. MMLU-Pro bewertet Fachwissen und Reasoning über zahlreiche akademische Disziplinen. IFEval konzentriert sich auf die Fähigkeit eines Modells, präzise Instruktionen zu befolgen, also Instruction Following. HumanEval hingegen testet konkrete Code-Generierung anhand funktionaler Korrektheit. Ein Modell kann in einem dieser Bereiche stark abschneiden und in einem anderen schwächeln, weshalb Entscheider stets mehrere Benchmarks parallel auswerten sollten.

Welche Erkenntnis liefert der Vergleich von über 20 LLMs auf den Pro-Benchmarks?

Die Studie der Yale University und Tsinghua University analysierte mehr als 20 Sprachmodelle auf den neuen Pro-Benchmarks. Das zentrale Ergebnis: Die meisten Modelle erzielen auf klassischen Benchmarks wie HumanEval und MBPP hohe Trefferquoten, büßen aber bei Self-Invoking-Aufgaben erheblich an Leistung ein. Das zeigt, dass traditionelle Benchmarks die Fähigkeit zu mehrstufigem, aufeinander aufbauendem Problemlösen systematisch überschätzen.

Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.