Das Chatbot Arena Leaderboard von LMArena bewertet Sprachmodelle auf Basis von über 400.000 menschlichen Präferenzabstimmungen per Elo-Ranking, ergänzt durch MT-Bench und MMLU (5-shot) mit 57 Aufgaben. Im Gegensatz zu rein automatisierten Tests spiegelt das crowdbasierte Elo-Verfahren tatsächliche Nutzerpräferenzen wider. Die neue Methode Prompt-to-Leaderboard (P2L) geht noch weiter: Sie erstellt prompt-spezifische Rankings und ermöglicht so eine aufgabengenaue Modellauswahl statt pauschaler Mittelwerte. Für Entscheider bedeutet das präzisere Vergleichsgrundlagen bei der Modellbeschaffung.

LMArena Chatbot Arena: Ranking-Methode und was Entscheider darüber wissen sollten

Die Chatbot Arena von LMArena (ehemals LMSYS) ist eine der meistgenutzten offenen Evaluierungsplattformen für große Sprachmodelle (LLMs). Laut den publizierten Leaderboard-Daten wurden über 400.000 menschliche Präferenz-Abstimmungen gesammelt, um Modelle mit dem Elo-Ranking-System einzustufen. Das macht die Plattform zu einem der umfangreichsten crowdgesourcten LLM-Benchmarks weltweit.

Wie das Ranking funktioniert

Das Ranking der Chatbot Arena basiert auf drei kombinierten Benchmarks:

1. Chatbot Arena (Blind Pairwise Voting): Nutzer vergleichen anonym zwei Modellantworten und stimmen für die bessere ab. Aus diesen Paarvergleichen werden Elo-Ratings berechnet.
2. MT-Bench: Ein Satz anspruchsvoller Mehrfachdialog-Fragen, deren Antworten automatisch von GPT-4 bewertet werden.
3. MMLU (5-shot): Ein Test mit 57 Aufgaben zur Messung der Multitask-Genauigkeit eines Modells.

Das kombinierte Leaderboard ist auf Hugging Face als Teil der “Big Benchmarks Collection” öffentlich einsehbar und wird regelmäßig aktualisiert. Die Arena-Leaderboard-Seite verzeichnet laut Hugging Face knapp 5.000 Aufrufe in der Sammlung.

Aktuelle Einschränkung: Aggregierte Metriken glätten Unterschiede

Ein methodisch relevanter Befund kommt aus dem Forschungsprojekt Prompt-to-Leaderboard (P2L) der LMArena-Gruppe: Klassische LLM-Evaluierungen stützen sich auf aggregierte Metriken wie Genauigkeit oder durchschnittliche menschliche Präferenz. Diese Durchschnittswerte verdecken nutzer- und prompt-spezifische Leistungsunterschiede zwischen Modellen. P2L schlägt daher vor, LLMs so zu trainieren, dass sie aus einem natürlichsprachlichen Prompt direkt einen Vektor von Bradley-Terry-Koeffizienten erzeugen und damit prompt-spezifische Leaderboards generieren. Laut den Forschenden zeigen Daten aus der Chatbot Arena, dass P2L die Leistungslandschaft der Sprachmodelle differenzierter abbildet als das gemittelte Leaderboard.

Praktische Implikationen für Entscheider

1. Kein Modell ist universell führend. Die aggregierten Elo-Werte der Chatbot Arena geben einen Orientierungswert, sagen aber wenig über die Leistung eines Modells bei spezifischen Unternehmensaufgaben aus. Wer ein Modell für einen konkreten Anwendungsfall auswählt, sollte aufgabenspezifische Evaluierungen durchführen.

2. Crowdsourcing schafft Breite, aber keine Tiefe. Über 400.000 Abstimmungen liefern statistische Robustheit. Die Abstimmenden sind jedoch keine homogene Nutzergruppe, und ihre Präferenzen spiegeln möglicherweise nicht die Anforderungen professioneller Anwendungsfälle wider.

3. Automatische Bewertung durch GPT-4 hat eigene Verzerrungen. MT-Bench nutzt GPT-4 als Bewerter. Das bedeutet, dass Modelle, die in Stil oder Struktur GPT-4 ähneln, systematisch bevorzugt werden können. Dieser Aspekt ist bei der Interpretation von MT-Bench-Ergebnissen zu berücksichtigen.

4. Prompt-spezifisches Routing wird relevant. Die P2L-Methode ermöglicht laut dem veröffentlichten Paper nicht nur differenziertere Evaluierungen, sondern auch ein optimiertes Query-Routing: Anfragen können automatisch an das für den jeweiligen Prompt am besten geeignete Modell weitergeleitet werden. Für Unternehmen mit heterogenen Anfrageprofilen ist das ein praxisrelevanter Ansatz.

Hinweis: Eine aktuelle Top-5-Liste einzelner Modelle mit konkreten Elo-Punktzahlen ist den verwendeten Quellen nicht mit ausreichender Präzision zu entnehmen. Die Leaderboard-Daten werden fortlaufend aktualisiert; für den aktuellen Stand empfiehlt sich ein direkter Blick auf das offizielle Leaderboard (siehe Quellen).

Quellen

• LMArena Arena-Leaderboard auf Hugging Face (Commit bf3bf20)
• The Big Benchmarks Collection – Hugging Face
• GitHub: lmarena/p2l – Prompt-to-Leaderboard

Häufige Fragen

Was ist die Chatbot Arena und wie funktioniert sie?

Die Chatbot Arena ist eine crowdsourced, offene Plattform zur Bewertung von Large Language Models (LLMs). Nutzer vergleichen dabei zwei Modelle anonym, indem sie jeweils abstimmen, welches Modell die bessere Antwort liefert. Aus diesen Präferenzstimmen wird ein Elo-Ranking berechnet, das die relative Stärke der Modelle widerspiegelt.

Wie viele Stimmen und Modelle umfasst das Ranking aktuell?

Die Plattform hat laut öffentlich dokumentierten Quellcode-Änderungen im Arena-Leaderboard über 400.000 menschliche Präferenzstimmen gesammelt. Parallel wurden mehr als 70.000 Nutzervoten für die Elo-Berechnung im kombinierten Leaderboard herangezogen. Die genaue Modellanzahl wird dynamisch aus dem aktuellen Datensatz berechnet und ist im Leaderboard einsehbar.

Welche Bewertungsmethoden kombiniert das Arena-Leaderboard?

Das Leaderboard stützt sich auf drei Benchmarks: erstens die Chatbot Arena selbst mit crowdsourced Nutzervoten und Elo-Bewertung, zweitens MT-Bench, bei dem GPT-4 die Modellantworten auf anspruchsvollen Mehrfachdialog-Fragen bewertet, und drittens MMLU (5-shot), das die Genauigkeit eines Modells über 57 verschiedene Aufgaben hinweg misst.

Was ist Prompt-to-Leaderboard (P2L) und wozu dient es?

Prompt-to-Leaderboard (P2L) ist eine von LMArena entwickelte Methode, die statt eines einzigen aggregierten Rankings individuelle, prompt-spezifische Leaderboards erzeugt. Ein LLM lernt dabei, auf Basis eines natürlichsprachlichen Prompts einen Vektor von Bradley-Terry-Koeffizienten auszugeben, mit dem menschliche Präferenzvoten vorhergesagt werden. Dies ermöglicht aufgabenspezifische Auswertungen, optimales Routing von Anfragen an Modelle sowie eine detailliertere Analyse von Stärken und Schwächen einzelner Modelle. P2L ist über einen eigenen Tab in der Chatbot Arena verfügbar.

Warum sind aggregierte LLM-Benchmarks laut aktueller Forschung begrenzt aussagekräftig?

Herkömmliche Benchmarks mitteln Leistungswerte über alle Nutzer und Prompts hinweg. Laut dem P2L-Paper von LMArena verdeckt diese Mittelwertbildung nutzerspezifische und prompt-spezifische Leistungsunterschiede. Daten aus der Chatbot Arena zeigen, dass P2L das differenzierte Leistungsbild von Sprachmodellen besser abbildet als ein einziges aggregiertes Ranking. Zudem folgt die Qualität prompt-spezifischer Auswertungen durch P2L einem Potenzgesetz-Skalierungsverhalten.