Chatbot Arena listet derzeit 218 Modelle nach Elo-Score, wobei Gemini-2.5-Pro von Google mit einem Arena Score von 1.474 Punkten die Rangliste anführt, gefolgt von Gemini-2.5-Pro-Preview-05-06 (1.446) und Grok-4-0709 von xAI (1.443). Der Elo-Score auf Chatbot Arena basiert auf paarweisen Nutzerbewertungen: Tausende von Votes entscheiden, welches Modell im direkten Vergleich besser abschneidet. Mit bis zu 203.000 Votes pro Modell gilt das Verfahren als praxisnäher als klassische statische Benchmarks. Entscheider sollten jedoch beachten, dass Forschende (Min et al., arXiv 2501.17858) gezeigt haben, dass das System durch gezielte Stimmabgabe manipulierbar ist, was die kritische Einordnung von Ranglisten-Positionen bei der Modellauswahl erfordert.

Chatbot Arena: Wie das Elo-Ranking KI-Modelle bewertet und was Entscheider daraus ableiten können

Das Chatbot Arena von LMSYS (heute betrieben unter arena.ai) zählt zu den meistzitierten öffentlichen Benchmarks für große Sprachmodelle. Das Prinzip: Nutzer vergleichen zwei anonymisierte Modellantworten direkt miteinander und stimmen für die bessere ab. Aus diesen paarweisen Urteilen errechnet die Plattform einen Elo-Score für jedes Modell. Laut dem öffentlich verfügbaren Datensatz auf Hugging Face umfasst die aktuelle Rangliste 218 Modelle, deren Scores zwischen 814 und 1.474 Punkten liegen.

Aktuelle Spitzenreiter laut Datensatz

Nach dem auf Hugging Face veröffentlichten Datensatz mathewhe/chatbot-arena-elo führt Gemini-2.5-Pro von Google die Rangliste mit einem Arena-Score von 1.474 (95%-Konfidenzintervall: +5/-4, basierend auf 19.209 Votes) an. Auf Rang zwei folgt Gemini-2.5-Pro-Preview-05-06 ebenfalls von Google mit einem Score von 1.446 (+4/-5, 13.692 Votes). Den dritten Platz belegt Grok-4-0709 von xAI mit 1.443 Punkten (+7/-8, 5.725 Votes). Beide Google-Modelle sind unter proprietärer Lizenz verfügbar, der Wissens-Cutoff ist für alle drei als “Unknown” ausgewiesen.

So funktioniert der Elo-Mechanismus

Das Elo-System stammt ursprünglich aus dem Schach und bewertet relative Stärke auf Basis von Paarvergleichen. Gewinnt ein Modell gegen einen stärkeren Gegner, steigt sein Score überproportional. Die Plattform veröffentlicht zusätzlich ein Style-Controlled-Ranking (Rank StyleCtrl), das Antwortlänge und Formatierungseffekte herausrechnen soll, um stilistische Verzerrungen zu reduzieren. Die 95%-Konfidenzintervalle im Datensatz zeigen, wie stabil ein Rang ist: Enge Intervalle bei hoher Votezahl signalisieren zuverlässigere Einschätzungen.

Bekannte Schwachstellen: Vote Rigging als Forschungsthema

Eine im Januar 2025 auf arXiv veröffentlichte Studie (Min et al., DOI: 10.48550/arXiv.2501.17858) trägt den Titel “Improving Your Model Ranking on Chatbot Arena by Vote Rigging” und beschreibt, wie gezielte Manipulation von Nutzerstimmen das Ranking verschieben kann. Die Autoren Rui Min, Tianyu Pang, Chao Du, Qian Liu, Minhao Cheng und Min Lin legen damit eine methodische Schwachstelle offen: Weil jeder Nutzer abstimmen kann, sind koordinierte Kampagnen zur Stimmverzerrung prinzipiell möglich. Die Plattform selbst arbeitet an Gegenmaßnahmen, unter anderem durch das Style-Controlled-Ranking.

Praktische Implikationen für Entscheider

1. Rangunterschiede innerhalb des Konfidenzintervalls nicht überinterpretieren. Die Abstände zwischen Rang 2 und Rang 3 betragen im aktuellen Datensatz lediglich 3 Punkte bei überlappenden Konfidenzintervallen. Für Beschaffungsentscheidungen bedeutet das: Modelle auf benachbarten Rängen sind in der Praxis als gleichwertig einzustufen, solange keine aufgabenspezifischen Tests vorliegen.

2. Votezahl als Qualitätsindikator für den Score heranziehen. Grok-4-0709 auf Rang 3 basiert mit 5.725 Votes auf einer deutlich schmaleren Datenbasis als Gemini-2.5-Pro mit 19.209 Votes. Scores mit wenigen Votes können stärker schwanken, je mehr Vergleiche hinzukommen.

3. Das Arena-Ranking misst menschliche Präferenz, nicht Aufgabenleistung. Der Benchmark erfasst, welche Antwort Nutzern im direkten Vergleich besser gefällt. Für spezialisierte Anwendungen wie Code-Generierung, juristische Analyse oder strukturierte Datenausgabe sind domänenspezifische Evaluierungen ergänzend notwendig.

4. Lizenzstatus und Wissens-Cutoff separat prüfen. Alle drei aktuellen Spitzenmodelle laufen unter proprietärer Lizenz, der Wissens-Cutoff ist nicht dokumentiert. Wer Compliance-Anforderungen oder Aktualitätsansprüche hat, muss diese Parameter unabhängig vom Ranking recherchieren.

Quellen

• mathewhe/chatbot-arena-elo – Hugging Face Datensatz
• Min et al. (2025): Improving Your Model Ranking on Chatbot Arena by Vote Rigging, arXiv:2501.17858
• Chatbot Arena – Arena.ai

Häufige Fragen

Was ist die Chatbot Arena und wie funktioniert das Ranking?

Die Chatbot Arena (arena.ai) ist eine öffentliche Vergleichsplattform für KI-Sprachmodelle. Nutzer stellen zwei Modellen anonym dieselbe Frage und wählen die bessere Antwort. Aus diesen Paarvergleichen wird ein Elo-Score berechnet, ähnlich dem Schach-Rating. Je mehr Stimmen ein Modell erhält, desto stabiler ist sein Score. Der Datensatz umfasst derzeit 218 bewertete Modelle.

Welche Modelle führen das Ranking aktuell an?

An der Spitze steht Gemini-2.5-Pro von Google mit einem Arena-Score von 1.474 und rund 19.200 Stimmen. Dahinter folgt Gemini-2.5-Pro-Preview-05-06 (Score 1.446, ca. 13.700 Stimmen), ebenfalls von Google. Den dritten Platz belegt Grok-4-0709 von xAI mit einem Score von 1.443 bei rund 5.700 Stimmen. Alle drei Modelle werden unter proprietären Lizenzen angeboten.

Wie zuverlässig sind die Elo-Scores und was bedeutet das Konfidenzintervall?

Jeder Arena-Score wird mit einem 95-Prozent-Konfidenzintervall angegeben, zum Beispiel +5/-4 Punkte bei Gemini-2.5-Pro. Dieses Intervall zeigt, wie präzise der Schätzwert ist: Ein engeres Intervall bedeutet mehr statistische Sicherheit, was in der Regel mit einer höheren Stimmenzahl korreliert. Modelle mit wenigen Stimmen weisen breitere Intervalle auf und sind damit schlechter vergleichbar.

Kann das Ranking durch gezielte Stimmabgabe manipuliert werden?

Ja, das ist ein bekanntes Problem. Forscher der Autoren Rui Min, Tianyu Pang, Chao Du, Qian Liu, Minhao Cheng und Min Lin haben in einem Preprint (arXiv 2501.17858) gezeigt, dass sogenanntes Vote Rigging die Platzierung eines Modells gezielt verbessern kann. Die Studie beschreibt konkrete Angriffsvektoren auf das Elo-basierte System und unterstreicht, dass externe Validierung der Ergebnisse wichtig bleibt.

Was ist der Unterschied zwischen dem Standard-Rang und dem Style-Controlled-Rang?

Die Chatbot Arena weist zwei Rangwerte aus: den Standard-Rang (Rank UB, Obergrenze) und den Style-Controlled-Rang. Letzterer korrigiert stilistische Präferenzen der Abstimmenden, etwa eine Bevorzugung längerer oder strukturierter Antworten. Beide Skalen reichen im vorliegenden Datensatz von Platz 1 bis 217 bzw. 218, können aber für einzelne Modelle deutlich voneinander abweichen.