KI im Unternehmen einführen: Leitfaden für den Mittelstand

Wer KI im Unternehmen einführen will, hat selten ein Technikproblem. Die Modelle sind verfügbar, die Plattformen auch. Schwierig wird es an anderer Stelle: Welcher Prozess zuerst? Wer entscheidet mit? Was sagt der Betriebsrat? Wie merken wir, ob es etwas gebracht hat? Dieser Leitfaden beschreibt den Weg von der ersten Bestandsaufnahme bis zum Betrieb, mit Rollen, Zeithorizonten und den Fehlern, die am meisten kosten.

Stand: September 2026. Die rechtlichen Hinweise geben einen fachlichen Überblick und ersetzen keine Rechtsberatung im Einzelfall.

KI im Unternehmen einführen bedeutet, generative KI und KI-Agenten so in Arbeitsabläufe einzubauen, dass ein definierter Prozess messbar schneller, günstiger oder besser wird. Es geht nicht darum, Beschäftigten einen Chat-Zugang zu geben und auf Ideen zu hoffen.

Der Unterschied zeigt sich an vier Wirkungsstufen. Chat ist der sichere Einstieg: ein Assistent mit Rollen, Rechten und Protokollierung statt privater Konten. Assistenz bringt Wissen und Daten in den Alltag, etwa die Suche über Confluence, SharePoint oder Ihr Dateisystem. Automatisierung lässt einzelne Prozessschritte selbstständig laufen. Die individuelle Lösung denkt einen Prozess von Grund auf neu.

Die meisten Unternehmen bleiben auf Stufe eins stehen. Genau dort entsteht der Eindruck, KI liefere wenig: Ein Chatfenster ohne Anbindung an Ihre Daten kann Ihre Prozesse nicht kennen. Wo Sie stehen, können Sie mit dem KI-Reifegrad-Modell in rund 90 Minuten selbst einschätzen.

Erstmals nutzt die Mehrheit KI: 57 % der Unternehmen ab 20 Beschäftigten setzen KI ein, nach 36 % im Vorjahr und 20 % im Jahr 2024 (Bitkom-KI-Studie, 14. September 2026, 603 Unternehmen). Das ifo-Institut kommt für alle Unternehmen auf 54,5 %, für mittelgroße auf 47,2 % gegenüber 67,2 % bei großen (ifo, Juni 2026).

Interessanter als die Nutzungsquote ist die Wirkungsfrage. In derselben Bitkom-Erhebung gibt kein einziges Unternehmen an, das Potenzial von KI vollständig auszuschöpfen; 59 % sagen, sie schöpfen es überhaupt nicht aus. Die Lücke liegt also nicht mehr beim Zugang, sondern zwischen Nutzung und Prozess.

Was bremst? Unternehmen ohne KI nennen vor allem fehlendes Umsetzungswissen (85 %), rechtliche Unsicherheit (66 %) und schwer kalkulierbare Kosten (63 %). Diese drei Hürden strukturieren auch diesen Leitfaden. Warum der Mittelstand dabei eigene Voraussetzungen hat, lesen Sie im Artikel zu KI im Mittelstand.

Am Anfang steht keine Softwareauswahl, sondern eine Bestandsaufnahme: Welche Aufgaben kosten am meisten Zeit, wo liegen die Daten, und wer muss mitentscheiden? Planen Sie dafür zwei bis drei Wochen ein.

Stakeholder zuerst. Fünf Gruppen entscheiden über den Verlauf: die Geschäftsführung (Budget und sichtbare Unterstützung), die IT-Leitung (Systeme, Berechtigungen, Betrieb), der Datenschutz (Rechtsgrundlage, Auftragsverarbeitung, gegebenenfalls Datenschutz-Folgenabschätzung), der Betriebsrat und die Fachbereiche, aus denen die Anwendungsfälle kommen.

Betriebsrat früh und formal. Nach § 90 Abs. 1 Nr. 3 BetrVG unterrichten Sie den Betriebsrat über den geplanten Einsatz von Künstlicher Intelligenz. Weil KI-Systeme Nutzungsdaten erfassen und damit objektiv zur Verhaltens- oder Leistungskontrolle geeignet sind, greift in der Regel zusätzlich die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG. Eine Zusicherung, nicht überwachen zu wollen, ersetzt sie nicht. Planen Sie deshalb früh eine Betriebsvereinbarung zum KI-Einsatz ein.

Der Use-Case-Workshop. Ein halber Tag mit Fachbereichen, IT, Datenschutz und Betriebsrat reicht. Jede Abteilung bringt ihre drei größten Zeitfresser mit, inklusive grober Mengengerüste: Wie oft pro Woche, wie lange je Vorgang, wie viele Personen? Danach wird bewertet, was KI heute tatsächlich übernehmen kann.

Priorisierung mit der Impact-Effort-Matrix. Tragen Sie jeden Kandidaten nach erwartetem Nutzen und Aufwand ein. Starten Sie mit zwei bis drei Fällen aus dem Feld „hoher Nutzen, geringer Aufwand“. Typische Kandidaten: Suche über verstreutes Unternehmenswissen, Protokolle und Zusammenfassungen, Angebots- und Textbausteine, Auswertung wiederkehrender Dokumente. Ob Ihre Daten dafür tragen, klärt eine KI-Datenstrategie.

Der zweite Schritt beantwortet eine einzige Frage: Wirkt der priorisierte Anwendungsfall auf Ihren Daten so, dass sich der Ausbau lohnt? Starten Sie ihn mit 10 bis 20 Personen aus mehreren Abteilungen. In dieser Größe lassen sich Rückmeldungen, Anpassungen und Support noch eng führen; bei 100 Beteiligten verlieren Sie beides.

Erfolgskriterien vor dem Start. Legen Sie für jeden Anwendungsfall drei Dinge schriftlich fest: den heutigen Ausgangswert (Bearbeitungszeit, Durchlaufzeit, Fehlerquote), den Zielwert und die Messweise. Ohne Ausgangswert lässt sich später nichts belegen. Wie Sie sauber rechnen, zeigt der Artikel zum ROI von KI-Projekten.

Die Gruppe bewusst mischen. Nehmen Sie nicht nur Technikbegeisterte. Meinungsführer und ausgewiesene Skeptiker im Proof of Value sind wertvoller als im späteren Rollout: Was hier nicht überzeugt, überzeugt später erst recht nicht.

Dauer und Rhythmus. Rechnen Sie mit rund vier Wochen bis zum ersten Ergebnis im Betrieb und mit sechs bis acht Wochen für eine belastbare Bewertung. Ein kurzer wöchentlicher Termin mit den Beteiligten genügt, um Antwortqualität, Datenlücken und fehlende Berechtigungen aufzunehmen.

Entscheidung am Ende. Drei Ausgänge sind legitim: ausbauen, nachschärfen oder beenden. Ein beendeter Anwendungsfall mit klarer Begründung ist kein Scheitern, sondern gesparte Investition. Wie der Übergang in den Regelbetrieb gelingt, beschreibt der Artikel vom Pilot in die Produktion.

Jetzt wird aus dem Versuch ein Betriebsmittel. Drei Arbeitsstränge laufen parallel: technische Integration, Rechte und Regeln, Befähigung der Beschäftigten.

Integration. Der Nutzen entsteht dort, wo die KI an Ihre Systeme kommt: Dateiablage, Wissensdatenbank, ERP, CRM, Ticketsystem. Klären Sie früh, welche Inhalte überhaupt indexiert oder abgefragt werden dürfen und wie bestehende Berechtigungen übernommen werden. Für ältere Systeme ohne moderne Schnittstelle brauchen Sie einen Weg über Datenbank, Dateischnittstelle oder Konnektor; welche Variante passt, hängt von Datenlage und Sicherheitsanforderungen ab.

Regeln. Eine knappe KI-Richtlinie beantwortet die praktischen Fragen: Welche Daten dürfen hinein, welche nicht? Was muss vor der Weitergabe geprüft werden? Wer entscheidet über neue Anwendungsfälle? Dazu gehören der Auftragsverarbeitungsvertrag mit dem Anbieter und die Frage des Verarbeitungsorts, siehe DSGVO-konforme KI-Lösungen.

Schulung ist auch Pflicht. Art. 4 der KI-Verordnung verlangt von Anbietern und Betreibern Maßnahmen, um die KI-Kompetenz der Beschäftigten zu fördern. Seit dem Digital Omnibus (Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026) wird kein bestimmtes Kompetenzniveau je Person mehr verlangt, ein Pflichtkurs oder Zertifikat ist nicht vorgeschrieben. Dokumentieren Sie Angebot und Teilnahme trotzdem, siehe KI-Kompetenz nach Art. 4.

Der Aufwand lohnt sich auch ohne Recht: 70 % der Unternehmen bieten inzwischen KI-Weiterbildung an, jedes vierte bietet noch gar keine (Bitkom, September 2026). Drei Formate reichen in der Praxis: eine kurze Einführung für alle mit echten Aufgaben aus dem eigenen Bereich, eine Vertiefung für Administratoren und ein Format für Multiplikatoren in den Fachbereichen.

Rollout in Wellen. Verteilen Sie Zugänge abteilungsweise über mehrere Wochen statt an einem Stichtag. Jede Welle bekommt zwei Wochen Vorlauf, eine Schulung und eine benannte Ansprechperson. Die Kommunikation gehört in die Geschäftsführung, nicht in die IT-Abteilung: Menschen wollen wissen, warum das Unternehmen das tut und was es für ihre Arbeit bedeutet. Mehr dazu im Artikel zum Change Management bei der KI-Einführung.

Nach dem ersten produktiven Anwendungsfall entscheidet sich, ob KI ein Projekt bleibt oder Teil des Betriebs wird. Drei Routinen tragen diesen Schritt.

Messen im Quartalsrhythmus. Sinnvoll sind wenige Kennzahlen: aktive Nutzung je Bereich, Zeit oder Durchlaufzeit je Anwendungsfall gegenüber dem Ausgangswert, Qualitätsstichproben und die Kosten je Bereich. Wer das nicht misst, verliert im nächsten Budgetzyklus die Diskussion.

Verantwortung bündeln. Ab einer Handvoll produktiver Anwendungsfälle braucht es eine feste Stelle, die priorisiert, Standards setzt und Wissen teilt. Im Mittelstand ist das selten eine eigene Abteilung, sondern eine benannte Person mit einem kleinen Kreis aus IT, Datenschutz und Fachbereich, ergänzt um Multiplikatoren. Der Artikel zum KI-Kompetenzzentrum beschreibt die Betriebsmodelle nach Unternehmensgröße.

Nachschub organisieren. Neue Anwendungsfälle kommen am besten aus den Fachbereichen. Ein einfacher Eingangskanal, eine monatliche Sichtung und dieselbe Bewertung nach Nutzen und Aufwand genügen. Ein Review-Rhythmus hat sich bewährt: monatlich die Zahlen, quartalsweise die Prioritäten, jährlich die Strategie und der Plattformvertrag.

KI-Einführungen scheitern selten an fehlendem Willen, sondern an unklarer Zuständigkeit. Diese Aufteilung funktioniert in Unternehmen zwischen 100 und 1.000 Beschäftigten:

Prüfen Sie Anbieter nicht anhand von Funktionslisten, sondern an Ihren eigenen Anwendungsfällen aus dem Workshop. Sieben Kriterien entscheiden in der Praxis:

1. Anbindung Ihrer Systeme: Kommen Wissensdatenbank, Dateiablage, ERP und Ticketsystem an, und werden bestehende Berechtigungen übernommen?
2. Modellwahl: Lässt sich je Team und Anwendungsfall zwischen Modellen wechseln, oder binden Sie sich an einen Anbieter?
3. Betrieb und Datenort: Dedizierte Instanz, EU-Datenresidenz oder Betrieb im eigenen Tenant, mit DSGVO-konformem Auftragsverarbeitungsvertrag.
4. Rollen und Rechte: Feingranulare Berechtigungen, Anmeldung über Ihr Verzeichnis, Protokollierung.
5. Kostensteuerung: Verbrauch und Kosten je Bereich sichtbar und begrenzbar.
6. Erweiterbarkeit: Lassen sich eigene Oberflächen und Abläufe bauen, wenn der Standard nicht reicht?
7. Umsetzungsbegleitung: Gibt es Menschen, die die ersten Anwendungsfälle mit in den Betrieb bringen, oder bekommen Sie nur einen Zugang?

Ob Standardplattform oder Eigenentwicklung wirtschaftlicher ist, hängt vor allem von der Zahl der Anwendungsfälle ab. Die Abwägung samt Kostenblöcken finden Sie unter Build vs. Buy.

Kein Leitfaden garantiert Erfolg. Die folgenden fünf Muster erklären aber einen Großteil der Projekte, die nach einem Jahr eingestellt werden. Eine RAND-Untersuchung nennt als Hauptursachen unter anderem unklare gemeinsame Ziele von Führung und Technik, unzureichende Daten und den Fokus auf Technologie statt auf das Geschäftsproblem (RAND, 2024).

1. Flächenstart statt Proof of Value. Alle Beschäftigten auf einmal freischalten überlastet den Support und produziert in den ersten Wochen schlechte Erfahrungen, die später kaum zu korrigieren sind.

2. Zu viele Anwendungsfälle gleichzeitig. Wer zwanzig Vorhaben parallel startet, hat am Ende zwanzig halbfertige. Zwei bis drei gleichzeitig sind das Maximum, alles Weitere folgt nach der ersten Messung.

3. Schulung sparen. Eine Unternehmensplattform ist nicht selbsterklärend, und gute Anfragen zu formulieren ist eine erlernbare Fähigkeit. Ohne Befähigung bleibt die Nutzung auf einem kleinen Kreis hängen.

4. KI als reines IT-Projekt behandeln. Nach der Erfahrungsregel 10-20-70 der Boston Consulting Group entfallen rund 70 % des Aufwands erfolgreicher KI-Vorhaben auf Menschen und Prozesse, nur 10 % auf Algorithmen (Forbes, Januar 2026). Wer die Einführung allein der IT überlässt, arbeitet an den falschen 10 %.

5. Keine Messung. Ohne Ausgangswert und Zielwert gibt es im zweiten Jahr kein Argument für das Budget, und die Diskussion endet bei Bauchgefühlen.

Plotdesk verbindet eine KI-Plattform mit einem Umsetzungsteam für den Mittelstand. Die Zusammenarbeit folgt denselben vier Schritten, die dieser Leitfaden beschreibt: 01 KI-Potenzialanalyse (Prozesse, Systeme und Datenlage ansehen, Hypothese priorisieren), 02 Proof of Value (ein Anwendungsfall auf Ihren Daten, gegen vereinbarte Erfolgskriterien), 03 Produktive Lösung (Integration in Prozesse, Berechtigungen und Infrastruktur) und 04 Systematischer Ausbau (weitere Anwendungsfälle auf demselben Fundament).

Technisch heißt das: eine dedizierte Instanz in der EU oder im eigenen Tenant, mehr als 100 Modellvarianten aus zehn Provider-Typen pro Team steuerbar, Anmeldung über Ihr Verzeichnis, mehr als 40 Berechtigungen, Audit-Logs und Kostensteuerung je Bereich. Lokale Systeme wie ERP, Fileserver oder ältere Datenbanken werden über Plotdesk Connect angebunden. Wo der Standard nicht reicht, entstehen eigene Oberflächen und Abläufe als Canvas-Anwendung, im Studio oder als Plugin.

Aus mehr als 1.200 umgesetzten Use Cases in 15 Branchen stammt auch die Einschätzung, was realistisch ist: rund vier Wochen bis zum ersten Ergebnis im Betrieb. Bei Melitta arbeiten heute mehr als 2.000 aktive Nutzer unternehmensweit mit der Plattform; Paul Töws, AI Hub Lead bei Melitta, fasst es so zusammen: „Die Expertise und Kreativität haben zu einer Lösung geführt, die unternehmensweit großen Anklang findet.“ Bei Siblik wurden mehr als 40.000 Artikel durchsuchbar gemacht.

KI im Unternehmen einführen ist kein IT-Projekt mit Enddatum, sondern eine Folge von Entscheidungen: welcher Prozess zuerst, wer entscheidet mit, was gilt als Erfolg. Die Reihenfolge ist dabei wichtiger als das Tempo. Potenzialanalyse, Proof of Value, produktive Lösung, systematischer Ausbau.

Drei Dinge tragen am meisten: ein klar priorisierter erster Anwendungsfall statt einer breiten Wunschliste, früh eingebundene Menschen aus IT, Datenschutz, Betriebsrat und Fachbereich, und eine Messung, die Ausgangswert und Zielwert kennt. Wer diese drei Punkte ernst nimmt, braucht weder Rekordtempo noch Sonderbudget.

Der nächste sinnvolle Schritt hängt davon ab, wo Sie stehen. Ohne Bestandsaufnahme lohnt der KI-Reifegrad-Selbsttest. Mit erstem produktivem Anwendungsfall geht es weiter beim Sprung vom Pilot in die Produktion. Wer zuerst die Ausgangslage im Mittelstand einordnen will, findet sie im Artikel zu Chancen und Hürden im Mittelstand.