IBM Research veröffentlichte am 15. August 2025 die Granite Embedding R2-Modellfamilie unter Apache-2.0-Lizenz, darunter ein 47-Millionen-Parameter-Modell als ersten Small-ModernBERT-Ansatz für effiziente Unternehmenssuche. Für Unternehmen, die Retrieval-Systeme betreiben, verschärfen sich 2025 die Anforderungen an Benchmarkvergleichbarkeit: MTEB v2 erweitert die Bewertung auf multimodale Modelle und nicht-embedding-basierte Systeme, während Forscher der Waseda University und des RIKEN AIP zeigen, dass selbst führende Mehrsprachmodelle bei Code-Switching-Anfragen messbar schlechter abschneiden. Entscheider müssen beim Modellvergleich also sowohl Latenz als auch sprachliche Robustheit als eigenständige Kennzahlen berücksichtigen.
Embedding-Modelle 2025: Was MTEB v2 und IBMs Granite R2 für Retrieval-Systeme bedeuten
Das Massive Text Embedding Benchmark (MTEB) liegt seit seiner Einführung 2022 als meistgenutzter Bewertungsrahmen für Embedding-Modelle vor. Mit der Veröffentlichung von MTEB v2 und IBMs Granite Embedding R2 im Jahr 2025 stehen Entscheidern zwei neue Referenzpunkte zur Verfügung, die die bisherige Bewertungspraxis grundlegend erweitern.
Leitfakt: MTEB v2 und Granite R2 setzen neue Maßstäbe für die Retrieval-Evaluierung
Die neue Version des MTEB-Benchmarks erweitert den bisherigen Fokus auf reine Textevaluierung um multimodale Modelle und nicht-einbettungsbasierte Retrieval-Systeme. Gleichzeitig veröffentlichte IBM Research am 15. August 2025 die Granite Embedding R2-Modellfamilie, die drei Modelle unter Apache-2.0-Lizenz umfasst: das Flaggschiffmodell granite-embedding-english-r2 mit 149 Millionen Parametern und 768-dimensionalen Einbettungen, das kompakte granite-embedding-small-english-r2 mit 47 Millionen Parametern und 384-dimensionalen Einbettungen sowie einen Cross-Encoder für Re-Ranking (granite-embedding-reranker-english-r2, ebenfalls 149 Millionen Parameter). IBM beschreibt das Small-Modell als erstes kleines ModernBERT-Modell seiner Art.
Parallel dazu zeigt eine Forschungsgruppe aus Waseda University, Brown University und RIKEN AIP in einem neuen Benchmark-Paper, dass Code-Switching ein systematisches Leistungsproblem für aktuelle Retrieval-Systeme darstellt: Selbst starke multilinguale Modelle degradieren bei gemischtsprachigen Anfragen messbar. Das neu eingeführte CSR-L-Benchmark (Code-Switching Retrieval benchmark-Lite) liefert dafür eine menschlich annotierte Vergleichsbasis.
Praktische Implikationen für Entscheider
1. Offline-Benchmarks allein reichen nicht mehr aus
MTEB v2 erweitert den Bewertungsrahmen explizit um multimodale Modelle und alternative Retrieval-Architekturen. Unternehmen, die Retrieval-Augmented-Generation (RAG) einsetzen, sollten ihre Modellauswahl nicht länger ausschließlich auf statischen MTEB-Leaderboards basieren. Für eine realitätsnahe Einschätzung empfiehlt sich der Abgleich mit unabhängigen Latenzmessungen, wie sie etwa Artificial Analysis regelmäßig veröffentlicht. Lesen Sie dazu auch unsere Analyse zu MTEB vs. Artificial Analysis im Embedding-Modell-Vergleich.
2. Lizenzbedingungen sind ein unterschätzter Entscheidungsfaktor
IBM stellt alle drei Granite R2-Modelle unter der Apache-2.0-Lizenz bereit. Das ist für Enterprise-Deployments relevant, bei denen proprietäre Lizenzbedingungen den produktiven Einsatz einschränken können. Wer bisher aus Lizenzgründen auf kommerzielle Embedding-APIs angewiesen war, findet hier eine geprüfte Open-Source-Alternative. Eine Einordnung kommerzieller Embedding-API-Kosten im Vergleich bietet unser Artikel zur Cohere Embed 3 API und ihren Konditionen.
3. Mehrsprachige und gemischtsprachige Anfragen erfordern gesonderte Tests
Die CSR-L-Studie belegt, dass Code-Switching ein persistentes Leistungsproblem darstellt, das auch dense Retrieval-Modelle und Cross-Encoder betrifft. Für Unternehmen mit internationalen Nutzergruppen oder Dokumentenbeständen in mehreren Sprachen bedeutet das: Benchmarks auf monolingualem Datenmaterial sind für die eigene Produktionssituation möglicherweise nicht repräsentativ. Eigene Evaluierungen mit realen, gemischtsprachigen Testmengen sind notwendig. Hintergründe zur Benchmark-Validität im Allgemeinen finden Sie in unserem Beitrag zum AI Index 2025 und Benchmark-Qualität.
4. Modellgröße und Embedding-Dimension sind Latenz-Treiber
Das Granite-Small-Modell mit 47 Millionen Parametern und 384-dimensionalen Einbettungen adressiert explizit den Zielkonflikt zwischen Genauigkeit und Verarbeitungsgeschwindigkeit. Für Anwendungen mit hohem Anfragevolumen und strengen Latenzanforderungen kann ein kleineres Embedding-Modell bei vertretbaren Genauigkeitseinbußen wirtschaftlich sinnvoller sein als ein Flaggschiffmodell. Wie dieser Trade-off in der API-Praxis aussieht, beleuchtet unser Vergleich von Latenz-Benchmarks unabhängiger Labore vs. Herstellerangaben.
Einordnung
Die zeitgleiche Weiterentwicklung von MTEB und das Erscheinen neuer Modelle wie Granite R2 machen deutlich, dass sich das Retrieval-Benchmarking methodisch konsolidiert. MTEB v2 schließt mit der Integration multimodaler Auswertung eine wichtige Lücke, die mit der wachsenden Verbreitung von Bild- und Dokumenten-RAG entstanden war. Für Entscheider bedeutet das mehr Vergleichbarkeit, aber auch mehr Aufwand bei der Auswahl des richtigen Bewertungsrahmens für den jeweiligen Anwendungsfall.
Weiterführende Einordnungen zum Thema Embedding-Benchmarking und Retrieval-Performance bieten unsere Artikel zu MTEB, ChromaDB und RAG-Evaluierung 2025 sowie zum MTEB Leaderboard und Retrieval-RAG-Performance im zweiten Quartal 2025.
Quellen
- Granite Embedding R2: Setting New Standards for Enterprise Retrieval – Hugging Face Blog, IBM Research, August 2025
- Introducing MTEB v2: Evaluation of embedding and retrieval systems for more than just text – Hugging Face Blog, 2025
- Code-Switching Information Retrieval: Benchmarks, Analysis, and the Limits of Current Retrievers – arXiv, Lu et al. (Waseda University, Brown University, RIKEN AIP u. a.), 2025
Häufige Fragen
Was ist MTEB v2 und warum wurde es entwickelt?
Das Massive Text Embedding Benchmark (MTEB) wurde 2022 von Muennighoff et al. als breites Evaluierungsframework für Embedding-Aufgaben wie Klassifikation, Clustering, Reranking und Retrieval eingeführt. Version 2 erweitert das System um eine konsistentere Schnittstelle, verbesserte Typisierung, neue Dokumentation sowie bessere Unterstützung für multimodale Modelle und nicht-embedding-basierte Retrievalsysteme.
Welche Modelle umfasst IBMs Granite Embedding R2 Familie?
IBM Research veröffentlichte am 15. August 2025 drei Modelle unter Apache-2.0-Lizenz: das Flaggschiffmodell granite-embedding-english-r2 (149M Parameter, 768-dimensionale Embeddings), das kompakte granite-embedding-small-english-r2 (47M Parameter, 384 Dimensionen, erstes Small-ModernBERT-Modell) sowie den Cross-Encoder granite-embedding-reranker-english-r2 (149M Parameter) für präzises Reranking.
Welchen Zielkonflikt lösen neuere Enterprise-Embedding-Modelle laut IBM?
Laut IBM Research stehen Unternehmen beim Einsatz von Embedding-Modellen typischerweise vor dem Abwägen zwischen Genauigkeit und Geschwindigkeit, zwischen langer Kontextunterstützung und kommerziell nutzbaren Lizenzen sowie zwischen allgemeiner und domänenspezifischer Leistung. Die Granite-R2-Modelle zielen darauf ab, diese Zielkonflikte zu verringern, ohne sie vollständig aufzulösen.
Wie schneidet Code-Switching als Retrieval-Szenario in aktuellen Benchmarks ab?
Forscher der Waseda University, Brown University und des RIKEN AIP zeigen im CSR-L-Benchmark, dass Code-Switching ein anhaltender Leistungsengpass für moderne IR-Systeme ist. Selbst starke mehrsprachige Modelle verlieren messbar an Qualität, wenn Suchanfragen Sprachenwechsel enthalten. Statistische, dichte und Cross-Encoder-Methoden wurden getestet, ohne dass ein Ansatz das Problem vollständig löste.
Warum reicht ein einzelner Benchmark wie MTEB für die Bewertung von Retrieval-Systemen 2025 nicht mehr aus?
MTEB wurde ursprünglich primär für textbasierte, monolinguäre Szenarien konzipiert. Neuere Erweiterungen wie MMTEB (Enevoldsen et al., 2024) und MIEB (Xiao et al., 2025) ergänzen Mehrsprachigkeit und Bilddaten. Zusätzlich zeigen Studien zu Code-Switching, dass reale mehrsprachige Suchanfragen von gängigen Benchmarks nicht abgedeckt werden, was die Aussagekraft isolierter Benchmark-Ergebnisse für Entscheider begrenzt.
Dieser Artikel wurde von einem KI-System automatisiert erstellt. Kennzeichnung gemäß Art. 50 der EU-KI-Verordnung.
