Gartner: Agenten kosten fünfmal so viel wie Chat

5 Min. Lesezeit

Wer einen Chatbot durch einen Agenten ersetzt, zahlt nach Gartner mindestens fünfmal so viel Inferenz. Oft mehr, sobald der Lauf Werkzeuge aufruft und sich selbst prüft. Will Sommer nennt das Inference Paradox: günstigere Tokenpreise subventionieren komplexere Abläufe, ohne dass der Nutzen automatisch mitwächst.

Verwandt:Copilot im Mittelstand: Was Sitze wirklich kosten  /  KI-Token-Kosten: Warum der Enterprise-ROI früh kippt

Was ist das Inference Paradox? Gartner beschreibt damit eine Lage, in der bessere Stückkosten die Gesamtrechnung von KI nach oben treiben. Günstigere Tokens machen komplexere Agenten-Abläufe billiger im Einstieg. Die längeren Läufe und teureren Modelle fressen die Ersparnis auf, ohne dass der Nutzen klar und planbar mitwächst.

Der Tokenpreis fällt, die Rechnung steigt

Gartner hat die Zahl am 17. August 2026 aus Stamford veröffentlicht. Die Inferenzkosten je agentischem Ablauf steigen bis 2028 um mehr als das Fünffache. Das klingt nach einem Preisschock. Es ist vor allem ein Mengen- und Komplexitätsschock.

Die Forschungsfirma nennt drei Treiber. Die Kostenökonomie der Basismodelle verbessert sich rasch. Genau diese Effizienz macht mächtigere und teurere Modelle für anspruchsvollere Anwendungen einsetzbar. Und diese Abläufe verbrauchen weit mehr Tokens als ein Chat, der eine Frage liest und eine Antwort schreibt.

Will Sommer, Senior Director Analyst bei Gartner, sagt es ohne Umschweife: Produktverantwortliche können effizientere Token-Ökonomie nicht als Begründung für KI-Kosten nutzen. Jede nächste Fähigkeitsstufe braucht mehr Tokens und oft teurere Tokens. Ein zuverlässiges, wirtschaftliches Einheitsmodell sei nicht in Sicht.

Was ein Agent mehr verbraucht als ein Chat

Ein Chatbot liest eine Anfrage, deutet sie und antwortet. Ein Agent muss fortlaufend schlussfolgern, verhandeln und sich selbst hinterfragen. Er ruft Werkzeuge auf, prüft Zwischenergebnisse und entscheidet den nächsten Schritt. Jeder dieser Schritte erzeugt neue Tokens.

Gartner beziffert den Sprung für den Anbieter: Ein Task an ein agentisches Reasoning-Modell erhöht die Inferenzkosten um mindestens das Fünffache. Mit wachsender Aufgabenkomplexität oft deutlich mehr. Wer den Listenpreis je Million Tokens in die Tabelle schreibt, sieht den günstigen Trend. Wer den abgeschlossenen Vorgang misst, sieht die andere Kurve.

Das gilt zuerst für den Anbieter der Modelle. Es landet in der Kundenrechnung, sobald der Vertrag über Verbrauch läuft oder der Anbieter die teureren Läufe in die Paketpreise einpreist. Eine Sitzlizenz beruhigt die Planung nur so lange, wie der Hersteller die Last intern schluckt.

Die Kosten gehören auf den abgeschlossenen Fall

Im Betrieb zählt der erledigte Vorgang. Eine Rechnung zuordnen, ein Ticket schließen, ein Angebot schreiben: Das sind Einheiten, die ein Controller versteht. Dafür braucht es eine Stoppuhr am Prozess.

Sobald ein Agent in einer Schleife hängt, Kontext nachlädt oder dasselbe Dokument dreimal liest, explodiert genau diese Einheit. Der Preis je Token kann in derselben Woche fallen. Die Rechnung für den einen Vorgang steigt weiter. Deshalb gehört in jedes Pilotprotokoll die Frage: Was hat dieser eine abgeschlossene Fall gekostet? Was hätte ein Sachbearbeiter dafür gebraucht?

Sommer macht die Schwelle hart: Fortgeschrittene KI wie Reasoning-Agenten verlangt entweder einen deutlich höheren Ertrag gegenüber einfachen Modellen oder ein sehr scharfes Inference-Tiering. Beides ist machbar. Beides kostet Arbeit an den Abläufen, bevor der erste Agent frei läuft.

Drei Modellstufen im selben Prozess

Inference-Tiering heißt: Jeder Schritt bekommt nur so viel Intelligenz, wie der Schritt braucht. Eine Eingangsmail klassifizieren kann ein kleines, spezialisiertes Modell. Eine Ausnahme mit Vertragsklausel und Haftungsrisiko bekommt das teure Reasoning-Modell. Die teure Stufe bleibt die Ausnahme.

Sommer warnt vor dem Gegenteil. Wer pauschal auf generische autonome Intelligenz setzt, bekommt ungedeckelte Kosten, um Größenordnungen höher als in einem orchestrierten Modellmix. Das ist die Differenz zwischen einem Werkzeugkasten und einem Dauerlauf auf der teuersten Spur.

Konkret heißt das: Prozess in Schritte schneiden, je Schritt das kleinste tragfähige Modell festlegen, nur bei Unsicherheit eskalieren. Drei Schalter gehören in den ersten Monat: Tokenbudget je Prozess, Stopp bei wiederholter Schleife, Limit für den mitgegebenen Kontext. Der Pilot bleibt bei zehn bis zwanzig Vorgängen. Erst wenn die Kosten je Fall unter der manuellen Bearbeitung liegen, verdient der Prozess eine Ausweitung. Vor dem Preisschild steht die europäische Frage: Wo liegen die Daten, wer hält den Vertrag, welches Recht gilt.

Die Zahl, die ins Budget gehört

Finanzleitung und IT brauchen dieselbe Einheit. Kosten je abgeschlossenem Vorgang, oben begrenzt, unten mit einer Qualitätsschwelle. Darunter die Aufteilung: Anteil kleines Modell, Anteil teures Modell, Anteil menschlicher Eingriff. Wer nur Sitze zählt, sieht die Lizenz. Wer nur Tokens zählt, sieht den Rabatt. Wer den Fall zählt, sieht ob der Agent weiterlaufen darf.

Gartner hat die Richtung der Kurve beschrieben. Die Steuerung bleibt im Haus. Billigere Tokens laden dazu ein, mehr zu automatisieren. Sie entbinden niemanden davon, jeden Ablauf vorher zu schneiden.

Häufige Fragen

Bildquelle: KI-generiert (August 2026)