Google stellt Gemini 1.5 Pro mit einem Kontextfenster von zwei Millionen Tokens öffentlich bereit und erweitert damit die ursprüngliche Kapazität von einer Million Tokens erheblich (Quelle: VentureBeat). Ein Kontextfenster von zwei Millionen Tokens ermöglicht es Entwicklern, umfangreiche Datenmengen in einem einzigen Modellaufruf zu verarbeiten, etwa zwei Stunden hochauflösendes Videomaterial oder sehr große Code-Repositorien. Gleichzeitig reduziert die neu verfügbare Kontext-Caching-Funktion die Eingabekosten laut Google um bis zu 75 Prozent. Für Unternehmen bedeutet das konkret: Komplexe Anwendungsfälle wie Dokumentenanalyse oder KI-Agenten lassen sich kosteneffizienter und mit deutlich größerem Informationsumfang umsetzen, als es mit bisherigen Modellen möglich war.

Google Gemini 1.5 Pro: Kontextfenster wächst auf zwei Millionen Tokens

Google hat sein leistungsstärkstes Sprachmodell Gemini 1.5 Pro öffentlich zugänglich gemacht und dabei das Kontextfenster auf zwei Millionen Tokens erweitert. Parallel dazu steht das kleinere Modell Gemini 1.5 Flash mit einem Kontextfenster von einer Million Tokens zur Verfügung. Beide Modelle sind über die API in Google AI Studio sowie über die Cloud-Plattform Vertex AI abrufbar.

Was die Kontextfenster-Erweiterung in der Praxis bedeutet

Verarbeitung sehr langer Inhalte in einem einzigen Schritt: Laut Google ermöglicht das Zwei-Millionen-Token-Fenster von Gemini 1.5 Pro die Verarbeitung von bis zu zwei Stunden hochauflösendem Videomaterial als zusammenhängende Eingabe. Zum Vergleich: Das Vorgängermodell Gemini 1.0 konnte maximal 32.000 Tokens verarbeiten, GPT-4 Turbo von OpenAI verarbeitet nach Angaben von Heise bis zu 128.000 Tokens.

Zwei Modelle für unterschiedliche Anwendungsfälle: Gemini 1.5 Flash ist laut VentureBeat auf Aufgaben mit hoher Frequenz und geringer Latenz ausgelegt, etwa für Retail-Chat-Agenten, Dokumentenverarbeitung oder Code-Repository-Analyse. Gemini 1.5 Pro adressiert rechenintensivere Szenarien, bei denen ein deutlich größerer Kontext notwendig ist. Google gibt an, dass Gemini 1.5 Flash bei einer Eingabe von 10.000 Zeichen im Schnitt 40 Prozent schneller arbeitet als GPT-3.5 Turbo.

Kostensenkung durch Context Caching: Google führt Context Caching in der Public Preview für beide Modelle ein. Dabei werden wiederkehrende Eingabe-Kontexte zwischengespeichert. Google gibt an, dass dieses Verfahren die Eingabekosten um bis zu 75 Prozent senken kann. Context Caching greift bei Gemini 1.5 Flash ab einer Eingabegröße von mehr als 32.000 Zeichen. Gemini 1.5 Flash weist laut Google zudem einen Eingabepreis auf, der viermal niedriger liegt als der von GPT-3.5 Turbo.

Skalierbarkeit für Entwickler: Mit der Einführung von “Provisioned Throughput” erhalten Entwickler eine weitere Möglichkeit, ihre Nutzung der Gemini-Modelle besser zu skalieren. Diese Funktion soll eine planbarere Kapazitätsnutzung ermöglichen, was insbesondere für den produktiven Unternehmenseinsatz relevant ist.

Einordnung

Gemini ist Googles Familie multimodaler KI-Modelle, die Audio, Bilder, Softwarecode, Text und Video verarbeiten können. Die Modellreihe gliedert sich grundsätzlich in drei Varianten: Ultra als leistungsstärkstes Modell, Pro als mittlere Stufe und Nano für den Einsatz auf Endgeräten wie Smartphones. Gemini 1.5 Pro soll laut Google bei vergleichbaren Ergebnissen weniger Rechenleistung benötigen als das Vorgängermodell Gemini 1.0 Ultra.

Für Unternehmen, die KI-Agenten oder automatisierte Verarbeitungspipelines entwickeln, erweitern die größeren Kontextfenster und die neuen Caching-Mechanismen den praktischen Spielraum. Ob und in welchem Umfang sich daraus konkrete Produktivitätsgewinne ergeben, hängt jedoch vom jeweiligen Anwendungsfall und der Integration in bestehende Systeme ab.

Quellen

• Google opens up Gemini 1.5 Flash, Pro with 2M tokens to the public – VentureBeat
• Google Gemini – IBM Think Topics (de)
• Googles KI-Modell: Gemini 1.5 und 1.5 Pro sind da – Heise Online

Häufige Fragen

Was bedeutet das Kontextfenster von 2 Millionen Tokens bei Gemini 1.5 Pro konkret?

Ein Kontextfenster von 2 Millionen Tokens erlaubt es, sehr große Datenmengen in einem einzigen Verarbeitungsschritt an das Modell zu übergeben. Laut Google entspricht das beispielsweise etwa zwei Stunden hochauflösendem Video, das das Modell als zusammenhängende Einheit versteht und analysiert. Zum Vergleich: Gemini 1.0 verarbeitete maximal 32.000 Tokens, was etwa einer Stunde Video, 700.000 Wörtern oder 30.000 Zeilen Code entsprach. GPT-4 Turbo von OpenAI unterstützt ein Kontextfenster von bis zu 128.000 Tokens.

Für welche Anwendungsfälle eignet sich Gemini 1.5 Flash im Vergleich zu Gemini 1.5 Pro?

Gemini 1.5 Flash ist ein kleineres multimodales Modell mit einem Kontextfenster von einer Million Tokens. Es ist auf niedrige Latenz und hohen Durchsatz bei eng definierten, häufig wiederkehrenden Aufgaben ausgelegt. Typische Einsatzbereiche sind Retail-Chat-Agenten, Dokumentenverarbeitung und Bots, die ganze Code-Repositories auswerten. Gemini 1.5 Pro hingegen adressiert Aufgaben, die ein sehr großes Kontextfenster und stärkere Reasoning-Fähigkeiten erfordern, etwa die Analyse sehr langer Dokumente oder komplexer Videoinhalte.

Wie viel schneller und günstiger ist Gemini 1.5 Flash gegenüber Konkurrenzmodellen?

Laut Google ist Gemini 1.5 Flash bei einer Eingabe von 10.000 Zeichen im Durchschnitt 40 Prozent schneller als GPT-3.5 Turbo von OpenAI. Der Eingabepreis liegt viermal niedriger als bei OpenAIs Modell, sofern Context Caching für Eingaben ab 32.000 Zeichen aktiviert ist.

Was ist Context Caching und welche Kostenvorteile bringt es?

Context Caching ermöglicht es, bereits verarbeitete Kontextinformationen zwischenzuspeichern, sodass sie bei Folgeanfragen nicht erneut vollständig verarbeitet werden müssen. Google gibt an, dass Context Caching die Eingabekosten um bis zu 75 Prozent senken kann. Die Funktion steht für Gemini 1.5 Pro und Gemini 1.5 Flash in der Public Preview zur Verfügung und richtet sich vor allem an Entwickler, die mit großen Kontextfenstern arbeiten.

Über welche Plattformen können Entwickler auf Gemini 1.5 Pro und Flash zugreifen?

Entwickler und Unternehmenskunden können auf die Gemini-Modelle über Googles AI Studio sowie über Vertex AI zugreifen. Vertex AI bietet zusätzlich Provisioned Throughput an, mit dem Entwickler die Nutzung der Gemini-Modelle besser skalieren können. Gemini ist dabei als multimodale Modellfamilie konzipiert, die Text, Bilder, Audio, Video und Softwarecode verarbeitet.