Ein öffentlicher Vergleichsdatensatz von Salt Technologies AI listet für 2026 Preise und Benchmarkwerte von 16 LLMs aus 7 Anbietern: Claude Opus 4.5 kostet mit 25 US-Dollar pro Million Output-Token das Fünffache von GPT-4.1 (8 US-Dollar), während Llama 4 Scout als Open-Source-Modell mit 0,34 US-Dollar pro Million Herstellerangaben zu Leistung und Preis lassen sich selten direkt vergleichen, da Anbieter unterschiedliche Benchmark-Sets und Testbedingungen nutzen. Unabhängige Datensätze wie der von Salt Technologies AI oder das Arena-Hard-Auto-Framework (aktualisiert April 2025) bieten Entscheidern eine neutrale Grundlage. Wer Modellanbieter unkritisch vertraut, riskiert Fehlinvestitionen bei der API-Wahl für unternehmenskritische Anwendungen.

LLM-Herstellerangaben im Faktencheck: Was unabhängige Messungen zu GPT-4.1, Claude und Gemini zeigen

Unabhängige Benchmark-Plattformen wie Artificial Analysis liefern für Entscheider systematisch andere Messwerte als die Eigenangaben der Modellanbieter. Wer auf Basis von Herstellerversprechen Beschaffungsentscheidungen trifft, riskiert fehlerhafte Kostenkalkulation und falsch gesetzte Leistungserwartungen.

Leitfakt: Zwei Datenwelten für dasselbe Modell

Arena-Hard-Auto, das Evaluierungswerkzeug des LMArena-Teams, weist nach eigenen Angaben die höchste Korrelation und Trennschärfe zu menschlichen Präferenzurteilen unter den gängigen offenen Benchmarks auf. Die Plattform nutzt seit der Version 2.0 (veröffentlicht am 23. April 2025) verbesserte automatische Richter, darunter GPT-4.1 und Gemini 2.5, sowie 500 neue reale Nutzeranfragen und 250 Aufgaben aus dem Bereich kreatives Schreiben. Dieser Aufbau macht die Ergebnisse schwerer direkt mit Herstellerangaben zu vergleichen, die häufig auf selektiv gewählten Testsets basieren.

Das Open-Source-Dataset von Salt Technologies AI vergleicht 16 große Sprachmodelle über 22 Felder hinweg, darunter Preise, Benchmark-Scores, Kontextfenster, Latenz und empfohlene Anwendungsfälle. Die dort dokumentierten Listenpreise weichen in Teilen erheblich von dem ab, was Anbieter in ihren Marketingmaterialien kommunizieren.

Laut diesem Datensatz liegt der Eingabepreis für GPT-4.1 bei 2,00 USD pro Million Token, der Ausgabepreis bei 8,00 USD. Für Claude Sonnet 4.5 werden 3,00 USD (Eingabe) und 15,00 USD (Ausgabe) ausgewiesen. Gemini 2.5 Flash ist mit 0,30 USD (Eingabe) und 2,50 USD (Ausgabe) deutlich günstiger positioniert. Diese Zahlen stammen aus dem öffentlich zugänglichen Datensatz; aktuelle API-Preise können sich kurzfristig ändern.

Artificial Analysis wiederum betreibt einen Intelligence Index (Stand: Version 4.3.2), der zehn verschiedene Evaluierungen zusammenführt, von AA-Briefcase über SciCode bis zu Humanity’s Last Exam. Dieser zusammengesetzte Score erlaubt Quervergleiche, die einzelne Modell-Eigenbenchmarks naturgemäß nicht leisten.

Vier praktische Implikationen für Entscheider

1. Kontextfenstergröße schlägt sich direkt in der Kostenkalkulation nieder

GPT-4.1 und Gemini 2.5 Flash bieten laut dem Salt-Technologies-Datensatz ein Kontextfenster von je einer Million Token. Llama 4 Scout und Llama 4 Maverick von Meta liegen mit bis zu zehn Millionen Token darüber, zu Preisen von 0,11 USD bzw. 0,20 USD pro Million Eingabe-Token. Wer lange Dokumente oder umfangreiche Codebasen verarbeitet, sollte den effektiven Preis pro genutztem Kontextblock berechnen, nicht den Listenpreis pro Token in Isolation. Weiterführende Kosten- und Kontextanalysen finden Sie im Artikel zu API-Preisen und Kontextfenstern im Vergleich.

2. Benchmarks sind nicht gleich Benchmarks

Arena-Hard-Auto v2.0 setzt automatische Richter ein und prüft explizit kreatives Schreiben zusätzlich zu technischen Aufgaben. Herstellerbenchmarks beziehen sich dagegen oft auf einzelne Datensätze wie MMLU oder HumanEval, die in der Forschungsgemeinschaft als zunehmend kontaminationsanfällig gelten. Entscheider sollten Eigenangaben daher immer mit Ergebnissen aus unabhängigen Suiten abgleichen. Hintergründe zur Methodik unabhängiger Messung bietet der Artikel Artificial Analysis Q1 2025: TCO-Vergleich Claude, GPT, Gemini.

3. Open-Source-Modelle verschieben den Preisanker

DeepSeek V3 ist laut Datensatz zu 0,25 USD pro Million Eingabe-Token und 1,10 USD pro Million Ausgabe-Token verfügbar. Mistral Large 3 und Llama 4 Maverick liegen in vergleichbarer Preisklasse. Diese Modelle setzen einen neuen Referenzpunkt für die Kostendiskussion, den propriätare Anbieter bei der Kommunikation ihrer Leistungsfähigkeit in Relation setzen müssen. Einen strukturierten Überblick zu Open-Source-Alternativen im Enterprise-Kontext liefert der Artikel DeepSeek R1 vs. OpenAI o3 Reasoning Benchmarks.

4. Style Control verändert, was gemessen wird

Seit Oktober 2024 unterstützt Arena-Hard-Auto Style Control: Die Funktion trennt inhaltliche Qualität von Formulierungspräferenzen, die sonst Bewertungen verzerren können. Modelle, die zu ausführlichen oder besonders formellen Antworten neigen, können ohne Style Control systematisch besser abschneiden als Modelle mit kompakteren Ausgaben, unabhängig vom tatsächlichen Informationsgehalt. Wer Modelle für Kundenkommunikation oder interne Dokumentation auswählt, sollte Benchmark-Ergebnisse mit und ohne Style Control vergleichen. Methodenfragen rund um Benchmark-Manipulation und Datenkontamination behandelt der Artikel Benchmark-Manipulation, Datenkontamination und Leaderboard-Gaming.

Quellen

• GitHub: dpanea/llm-benchmarks – Arena-Hard-Auto
• GitHub: salttechno/LLM-Model-Comparison-2026 – 16 LLMs für Enterprise 2026
• Artificial Analysis: GLM-4.7 vs. Gemini 2.0 Flash – Intelligence Index v4.3.2

Häufige Fragen

Wie verlässlich sind die Benchmark-Angaben der LLM-Anbieter im Vergleich zu unabhängigen Messungen?

Anbieter veröffentlichen Benchmarks häufig unter optimalen Bedingungen, etwa mit speziell abgestimmten Prompts oder ausgewählten Testsets. Unabhängige Plattformen wie Artificial Analysis messen dagegen standardisiert über mehrere Dimensionen: Intelligenz-Index, Latenz und Preis-Leistung. Der Artificial Analysis Intelligence Index v4.3.2 etwa kombiniert zehn separate Evaluationen, darunter SciCode, Humanity’s Last Exam und AutomationBench-AA, um ein breiteres Leistungsbild zu zeichnen.

Was ist Arena-Hard-Auto und warum gilt es als besonders aussagekräftiger Benchmark?

Arena-Hard-Auto ist ein automatisiertes Evaluierungswerkzeug für instruktionsoptimierte Sprachmodelle. Es weist laut seinen Entwicklern die höchste Korrelation und Trennschärfe zu LMArena (Chatbot Arena) unter den gängigen Open-Ended-Benchmarks auf. Version 2.0, veröffentlicht am 23. April 2025, enthält 500 neue, anspruchsvolle Praxisanfragen sowie 250 Creative-Writing-Aufgaben. Als automatische Richter fungieren GPT-4.1 und Gemini 2.5, die menschliche Präferenzen kosteneffizient approximieren.

Welche Preisunterschiede bestehen zwischen den führenden Unternehmensmodellen laut verfügbaren Vergleichsdaten?

Laut dem Open-Dataset von Salt Technologies AI (Stand 2026-Vergleich, 16 Modelle, 7 Anbieter) variieren die API-Kosten erheblich: Claude Opus 4.5 kostet 5,00 US-Dollar pro Million Input-Token und 25,00 US-Dollar pro Million Output-Token. GPT-4.1 liegt bei 2,00 bzw. 8,00 US-Dollar. Gemini 2.5 Flash ist mit 0,30 bzw. 2,50 US-Dollar deutlich günstiger. Open-Source-Modelle wie Llama 4 Scout (Meta) starten ab 0,11 US-Dollar Input.

Welche Kontextfenster bieten die Modelle, und wie relevant ist das für Unternehmen?

Das Kontextfenster bestimmt, wie viel Text ein Modell in einer Anfrage verarbeiten kann. Metas Llama 4 Scout und Llama 4 Maverick bieten laut Salt-Technologies-Datensatz mit 10 Millionen Token das größte verfügbare Fenster. GPT-4.1 und Gemini 2.5 Pro kommen auf 1 Million Token. Claude-Modelle der 4.5-Generation sowie o3 und o4-mini von OpenAI sind auf 200.000 Token begrenzt. Für Dokumentenanalyse oder Code-Reviews großer Repositories ist diese Kennzahl kaufentscheidend.

Wie berücksichtigt Arena-Hard-Auto kreatives Schreiben in der Bewertung?

Seit Version 2.0 vom April 2025 fließen explizit 250 Creative-Writing-Aufgaben in die Evaluation ein, die direkt aus Chatbot Arena bezogen wurden. Damit reagieren die Entwickler auf die Kritik, frühere Benchmarks hätten analytische und Coding-Aufgaben übergewichtet. Ergänzend wurde Style Control bereits im Oktober 2024 in Arena-Hard-Auto integriert, um stilistische Präferenzen der Bewerter-Modelle kontrollierbar zu machen.

Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.