KI-Daten-Reife im Mittelstand 2026: Fünf Hausaufgaben vor dem ersten Produktiv-Agent
Am 7. April 2026 hat Gartner die Ergebnisse einer Umfrage unter 782 IT-Führungskräften veröffentlicht: 72 Prozent der KI-Projekte scheitern oder liefern nicht, was versprochen wurde. Kombiniert mit der Bitkom-KI-Studie vom Februar 2026 (41 Prozent aktive KI-Nutzer in Deutschland) ergibt sich das Bild, mit dem wir in den Mittelstandsmandaten der letzten Wochen regelmäßig konfrontiert sind: Die Copilot- und Agent-Plattformen sind da, nur die Daten, an denen sie arbeiten sollen, sind es noch nicht. Hier sind die fünf Hausaufgaben, die vor dem ersten Produktiv-Agent sauber erledigt sein müssen.
- Gartner meldet am 07.04.2026 eine 72-Prozent-Scheiter-Quote bei Enterprise-KI-Projekten; Bitkom bestätigt im Februar 41 Prozent aktive Unternehmens-Nutzer und eine Verdopplung gegenüber 2025.
- Sieben von zehn Scheiter-Fällen landen laut Gartner-Detailanalyse auf schlechter Datenqualität und fehlender Daten-Governance, nicht auf Modell-Problemen.
- Die fünf Hausaufgaben: Stammdaten-Hygiene, Rollen- und Rechtedokumentation, Prozess-Transparenz, Audit-Trail sowie ein sauber definierter Use-Case-Rahmen pro Agent.
- Mittelständler, die vor dem ersten Copilot oder Agent diese Hausaufgaben machen, erreichen laut unseren Projekt-Reviews Time-to-Value in 8 bis 12 Wochen statt 9 bis 14 Monaten.
- Die oft zitierte ERP-Rolle ist zentral, aber nicht exklusiv: Auch CRM-, DMS- und HR-Systeme brauchen die gleiche Reife, sonst scheitert der Agent an der zweitklassigsten Quelle.
Warum die 72-Prozent-Scheiter-Quote kein Modell-Problem ist
Was ist KI-Daten-Reife? KI-Daten-Reife bezeichnet den Zustand, in dem die für einen KI-Anwendungsfall benötigten Datensätze vollständig, aktuell, konsistent, rechtekonform und maschinenlesbar vorliegen. Der Begriff stammt aus dem Gartner-Framework „AI-Ready Data“ und umfasst fünf Dimensionen: Inhaltliche Qualität, Governance, Technische Integration, Kontextualisierung und Rechtliche Zulässigkeit. Mittelständler, die eine dieser Dimensionen auslassen, scheitern in der Produktivsetzung systematisch.
Die Gartner-Zahl vom 7. April 2026 überrascht in der Schärfe, aber nicht im Befund. Schon seit 2024 zeichnet sich ab, dass die Modell-Qualität der großen LLM-Anbieter nicht mehr der Engpass ist. Was den Projektabbruch auslöst, ist fast immer die gleiche Kette: Der Use-Case ist sauber beschrieben, der Agent-Prototyp arbeitet in der Demo-Umgebung überzeugend, dann wird er an die produktive Datenlage angeschlossen; die Antworten werden widersprüchlich, unvollständig oder juristisch riskant. Der Projektleiter diskutiert zwei Monate mit dem Plattform-Anbieter, bis beide Seiten verstehen, dass es nicht am Modell liegt, sondern an fünf ERP-Feldern, die in drei Niederlassungen unterschiedlich gepflegt werden.
Die Konsequenz ist nicht, dass Mittelständler keine Agenten einführen sollten. Die Konsequenz ist, dass die Hausaufgaben vor dem ersten Produktiv-Agent eine eigene Projektphase brauchen, die in der typischen Budget-Planung unterschätzt wird. In unseren Mandaten der letzten drei Quartale setzen wir vier bis sechs Wochen allein für diese Vorarbeit an, bevor das erste Modell in die Fachabteilung geht.
Was die Bitkom-Zahlen dazu sagen
Die Bitkom-KI-Studie aus dem Februar 2026 (604 befragte Unternehmen ab 20 Mitarbeitenden) zeigt die Verdopplung der aktiven KI-Nutzung gegenüber 2025, aber sie zeigt auch eine Spreizung. Unternehmen mit mehr als 250 Mitarbeitenden liegen bei 58 Prozent aktiver Nutzung, während Unternehmen mit 20 bis 99 Mitarbeitenden bei 32 Prozent verharren. Die Lücke ist nicht technisch, sie ist operativ. Kleinere Mittelständler haben oft weder dedizierte Data-Engineering-Rollen noch ein strukturiertes Master-Data-Management; genau das rächt sich beim ersten Agent.
Die fünf Hausaufgaben im Detail
Hausaufgabe 1: Stammdaten-Hygiene
Stammdaten sind der unterschätzte Kern jeder Agent-Einführung. Kunden-, Artikel-, Lieferanten- und Mitarbeiter-Daten müssen vor dem ersten Produktiv-Agent auf vier Dinge geprüft werden: Eindeutige Identifier über Systemgrenzen hinweg, konsistente Schlüsselfelder ohne Duplikate, vollständige Pflichtfelder je Use-Case und ein dokumentierter Pflegeprozess. Wer hier liefert, was das ERP zufällig ausgespuckt hat, bekommt Antworten, in denen drei Varianten desselben Kunden als drei verschiedene Entitäten behandelt werden.
Ein einfacher Pragmatismus-Test: Nehmen Sie Ihre Top-20-Kunden, zählen Sie die Schreibvarianten im ERP, CRM und im Ticket-System. Alles über drei Varianten heißt, dass der Agent entweder halluzinieren oder aufgeben wird. Das Bereinigen dauert selten länger als zwei Wochen, verhindert aber 80 Prozent der späteren Frust-Gespräche mit dem Fachbereich.
Hausaufgabe 2: Rollen- und Rechtedokumentation
Agenten handeln. Sie lesen nicht nur, sie schreiben, versenden, buchen und dokumentieren. Das bedeutet: Was der Mensch darf, muss auch der Agent dürfen; was der Mensch nicht darf, darf der Agent erst recht nicht. In der Praxis heißt das eine saubere Rollen- und Rechtematrix, die idealerweise in Entra ID, im ERP-Berechtigungskonzept und in den Fachanwendungen identisch abgebildet ist. Mittelständler, die historisch gewachsene Berechtigungen pflegen, brauchen hier eine Konsolidierungs-Runde, bevor ein Agent Buchungen anlegt oder Mails versendet.
Die interessanten Leadership-Entscheidungen im KI-Projekt sind nicht die, die im Quartalsbericht stehen. Es sind die, die jemand in der dritten Woche trifft, wenn zum ersten Mal klar wird, dass der Agent die Berechtigungsmatrix strenger nimmt als die Menschen, die sie geschrieben haben.
Hausaufgabe 3: Prozess-Transparenz
Agenten verstehen keine impliziten Prozesse. Alles, was im Kopf der Sachbearbeiterin mit 15 Jahren Erfahrung steckt, muss vor der Produktivsetzung in eine explizite Form gebracht werden. Das ist nicht gleichbedeutend mit einer klassischen ISO-Prozessdokumentation, aber es ist mehr als ein Flussdiagramm auf Power-Point. In unseren Mandaten nutzen wir eine leichte Form aus Prozess-Narrativ (halbseitig, in voller Sprache), Entscheidungspunkte mit Kriterien und Ausnahmeregelungen. Wer den Use-Case nicht in dieser Form aufschreiben kann, hat noch nicht den richtigen Use-Case für den ersten Agent.
Hausaufgabe 4: Audit-Trail und Nachvollziehbarkeit
Ab der Produktivsetzung wird die Frage wichtig, die in der Demo noch nebensächlich war: Wer hat entschieden und auf welcher Datenbasis? Agenten brauchen einen Audit-Trail, der Eingabe, verwendete Datenquellen, Modell-Version und Ausgabe so verknüpft, dass die Revision sechs Monate später die Entscheidung nachvollziehen kann. Für den Mittelstand heißt das konkret: Ein Protokoll-Layer zwischen Plattform (Copilot Studio, LangChain, Azure AI Foundry) und Fachanwendung, der pro Agent-Lauf mindestens fünf Felder speichert und drei Monate vorhält.
Hausaufgabe 5: Use-Case-Rahmen
Die erste Agent-Einführung ist keine Plattform-Entscheidung, sondern eine Use-Case-Entscheidung. Ein klarer Rahmen definiert drei Dinge: Was soll der Agent konkret leisten, welche Grenzen sind absolute Tabus (zum Beispiel keine eigenständige Kundenkommunikation ohne Human-in-the-Loop) sowie welche Metriken entscheiden nach zwölf Wochen über Fortsetzung oder Stopp. Wer diesen Rahmen nicht vor Projektstart schriftlich fixiert, diskutiert ihn später im Eskalationskreis.
Hausaufgaben im Vergleich: Mittelstand versus Konzern
Die gleichen fünf Hausaufgaben sehen im Mittelstand und im Konzern fundamental unterschiedlich aus. Der Konzern hat Teams, Budgets und bestehende Governance-Strukturen, muss aber historisch gewachsene Legacy-Landschaften aufräumen. Der Mittelstand startet mit einer übersichtlichen IT-Landschaft, hat aber selten eine Rolle, die sich hauptberuflich um Datenqualität kümmert. Beide Ausgangslagen sind eine Chance, aber sie brauchen verschiedene Reihenfolgen.
| Hausaufgabe | Mittelstand (typisch) | Konzern (typisch) |
|---|---|---|
| Stammdaten-Hygiene | Top-20-Entitäten manuell bereinigen, zwei Wochen Aufwand. | Master-Data-Programm, sechs bis zwölf Monate, mehrere FTE. |
| Rollen-Dokumentation | Entra ID als Leitsystem, drei bis vier Wochen Konsolidierung. | IAM-Refactoring quer über SAP, Salesforce, ServiceNow. |
| Prozess-Transparenz | Narrative aus Interviews mit Fachbereich, fünf bis zehn Tage. | Enterprise-Architektur und BPM-Suiten, oft schon vorhanden. |
| Audit-Trail | Log-Layer auf Plattform-Ebene, gestützt durch SIEM light. | Integration in bestehendes SOC und Compliance-Management. |
| Use-Case-Rahmen | Ein Use-Case, klar begrenzt, GF-Freigabe in einem Meeting. | Portfolio von fünf bis zehn Use-Cases, Steering-Committee. |
Die Lesart der Tabelle ist nicht „Mittelstand ist einfacher“, sondern „Mittelstand ist schneller, wenn die Rollen stimmen“. Wer im Konzern ein KI-Projekt startet, muss mit mehr Stakeholdern, mehr Legacy und mehr Policies rechnen, hat dafür aber dedizierte Ressourcen. Der Mittelstand ist schneller in der Umsetzung, aber nur, wenn die Geschäftsführung selbst in den Use-Case-Rahmen eingreift und nicht nur abnickt.
Das Spielfeld der Plattformen: Copilot, Gemini, Claude, Llama
Die Bitkom-Studie nennt Microsoft Copilot mit 28 Prozent Marktanteil als führende Plattform im deutschen Markt, gefolgt von Google Gemini mit 22 Prozent. Llama (7 Prozent), Claude (2 Prozent) und Amazon Q (2 Prozent) sind für Mittelständler in DACH meist keine ernsten Optionen, weil entweder Support-Strukturen oder Compliance-Mappings fehlen. Für den typischen Mittelständler bedeutet das: Die Plattform-Entscheidung ist selten Copilot gegen Claude, sondern Copilot Studio gegen Power Platform gegen Azure AI Foundry; dabei geht es weniger um Modelle als um Integrations-Tiefe und Lizenzmodell.
Ein ehrlicher Blick auf die Plattform-Diskussion: Wer schon in einer Microsoft-Welt lebt, braucht sich die Frage kaum zu stellen. Wer dagegen in einer heterogenen Landschaft arbeitet, sollte zwei bis drei konkrete Use-Cases gegen zwei Plattformen piloten und die Ergebnisse gegen die fünf Hausaufgaben laufen lassen. Die Plattform, die die Hausaufgaben am wenigsten schmerzhaft macht, gewinnt den Zuschlag.
Was sich nach der Hausaufgaben-Phase wirklich ändert
Die praktischste Beobachtung aus unseren Mandaten: Mittelständler, die alle fünf Hausaufgaben vor dem ersten Agent machen, erreichen Time-to-Value zwischen acht und zwölf Wochen. Mittelständler, die mit einem Plattform-Pilot starten und die Hausaufgaben parallel abwickeln, brauchen zwischen neun und vierzehn Monaten und geben in der Zwischenzeit häufig auf. Die Hausaufgaben sind nicht die spannendste Projektphase, aber sie sind die, über die sich der ROI am Ende entscheidet.
Es gibt noch einen zweiten Effekt, den wir in fast allen Mandaten sehen: Sobald die Hausaufgaben sauber durchlaufen sind, verschiebt sich die interne Diskussion. Statt über Modelle, Prompts und Plattformen zu streiten, geht es plötzlich um Use-Case-Portfolios, Skalierung und Governance. Das ist der Punkt, an dem KI von einem IT-Projekt zu einem Business-Projekt wird. Geschäftsführerinnen und Geschäftsführer, die diesen Übergang erleben, berichten übereinstimmend, dass sie die KI-Diskussion in ihrer Organisation ab diesem Moment anders führen: weniger technikgetrieben, mehr fachlich.
Drei Warnsignale, die den nächsten Abbruch ankündigen
Aus der umgekehrten Perspektive: Woran erkennt die Geschäftsführung, dass ein KI-Projekt auf eine der 72-Prozent-Ecken zusteuert? Wir achten in Reviews auf drei Signale. Erstens, der Steering-Kreis diskutiert primär über Plattform-Funktionen statt über Use-Case-Ergebnisse. Zweitens, die Fachabteilung hat noch keine schriftliche Prozess-Beschreibung abgegeben, obwohl der Prototyp bereits läuft. Drittens, das Datenqualitäts-Thema wird als „Legacy-Problem“ gelabelt und ausgegliedert, anstatt es als Kern-Hausaufgabe anzuerkennen. Wenn zwei dieser Signale gleichzeitig auftauchen, ist die Wahrscheinlichkeit eines Abbruchs in den nächsten drei Monaten signifikant erhöht.
Häufige Fragen
Wie lange dauert eine realistische Hausaufgaben-Phase im Mittelstand?
Für ein Unternehmen mit 50 bis 250 Mitarbeitenden und einer sauber gewählten ersten Use-Case-Familie rechnen wir mit vier bis sechs Wochen für die Hausaufgaben-Phase, bevor der erste Agent-Prototyp produktiv geht. Wer breiter aufsetzt (mehrere Use-Cases parallel), sollte realistisch mit zehn bis zwölf Wochen kalkulieren.
Brauche ich ein Data-Lake oder reicht das ERP?
Für den ersten Agent reicht in den meisten Mittelstandsszenarien ein sauber angebundenes ERP plus eine begrenzte Zahl angeschlossener Fachsysteme. Ein Data-Lake lohnt sich ab drei bis vier parallelen Use-Cases oder wenn die Daten aus mehr als fünf Systemen zusammengeführt werden müssen. Vorher ist der Data-Lake oft das, was den Use-Case um sechs Monate verzögert.
Wie gehe ich mit dem EU AI Act um?
Die meisten Mittelstandsagenten fallen in die Kategorie „begrenztes Risiko“ oder „minimal“ und brauchen damit Transparenz-Pflichten und interne Dokumentation, aber keine aufwändige Konformitätsbewertung. Wichtig ist, die Klassifizierung pro Use-Case vor Produktivsetzung schriftlich festzuhalten und den Audit-Trail (Hausaufgabe 4) so zu gestalten, dass er den Anforderungen standhält.
Welche Rolle sollte die Geschäftsführung im Agent-Projekt übernehmen?
Die Geschäftsführung entscheidet drei Dinge: Den Use-Case-Rahmen, die Eskalationsschwellen für Human-in-the-Loop sowie die Investitionsbereitschaft für die Hausaufgaben-Phase. Alles andere kann delegiert werden, diese drei Punkte aber nicht. Wer sie delegiert, landet am Ende im Change-Freeze, weil die Fachabteilung die Agent-Entscheidungen als IT-Diktat wahrnimmt.
Wie erkenne ich, dass eine Hausaufgabe wirklich erledigt ist?
Jede der fünf Hausaufgaben hat einen konkreten Akzeptanz-Test. Stammdaten-Hygiene: Die Top-20-Entitäten laufen ohne Duplikate. Rollen-Dokumentation: Der Agent darf nichts, was der Mensch nicht darf. Prozess-Transparenz: Die Fachabteilung beschreibt den Use-Case in eigenen Worten und stimmt mit der IT überein. Audit-Trail: Eine Test-Query lässt sich nach 24 Stunden vollständig rekonstruieren. Use-Case-Rahmen: Die Metriken sind schriftlich fixiert und von der Geschäftsführung freigegeben.
Was kostet die Hausaufgaben-Phase?
Für einen typischen Mittelständler mit einer ersten Use-Case-Familie liegt die Hausaufgaben-Phase zwischen 25.000 und 60.000 Euro. Das ist spürbar günstiger als die Kosten eines gescheiterten Agent-Projekts nach sechs Monaten, die wir in Mandaten zwischen 80.000 und 200.000 Euro gesehen haben. Der ROI-Rechner ist also konservativ und häufig eindeutig.
Netzwerk: Weiterlesen auf MyBusinessFuture
- Unsere Einordnung zur 80-Prozent-AI-Failure-Rate und den Strukturfragen dahinter
- Hintergrund zur Gartner-Umfrage zur AI-First-Strategie vieler Unternehmen
- Report-Review zum Deloitte State of AI 2026 und der Mittelstands-Execution-Lücke
Quelle Titelbild: Pexels / Yan Krukau (px:7691673)