KI im Mittelstand einführen: der Fahrplan

Wo steht der Mittelstand bei KI?

Die Mehrheit der kleinen und mittleren Unternehmen nutzt KI noch nicht systematisch, die Lücke zu großen Unternehmen ist deutlich. 2025 setzten 26 % (Destatis, 2025) aller Unternehmen ab 10 Beschäftigten KI ein — bei 10 bis 49 Beschäftigten waren es 23 % (Destatis, 2025), bei 50 bis 249 Beschäftigten 36 % (Destatis, 2025), ab 250 Beschäftigten 57 % (Destatis, 2025). Für den Zeitraum 2022 bis 2024 liegt der Anteil der Mittelständler mit KI-Einsatz bei 20 % (KfW Research, 2026), das sind rund 780.000 Unternehmen. Eine Umfrage vom Mai 2026 kommt mit 54,5 % (ifo Institut, 2026) auf einen höheren Wert, weil sie auch punktuelle Nutzung in Geschäftsprozessen erfasst. Für Ihre Planung heißt das: Sie sind nicht zu spät, aber Sie sind auch nicht allein — Ihre Wettbewerber in der Größenklasse 50 bis 249 sind zu gut einem Drittel bereits unterwegs.

Was hält Unternehmen zurück?

Nicht die Technik, sondern Wissen, Recht und Datenschutz. Unter den Unternehmen, die keine KI einsetzen, nennen 72 % (Destatis, 2025) fehlendes Wissen als Grund, 62 % (Destatis, 2025) Unklarheit über rechtliche Folgen und 60 % (Destatis, 2025) Bedenken beim Datenschutz. Zu hohe Kosten geben nur 32 % (Destatis, 2025) an. Bitkom bestätigt das Bild: 53 % (Bitkom, 2025) nennen fehlendes technisches Know-how als Hemmnis. Dieser Fahrplan setzt deshalb dort an, wo die Unsicherheit am größten ist — beim Rechtsrahmen und bei der Frage, welche Lösung überhaupt zum eigenen Anwendungsfall passt.

Phase 1: Welchen Anwendungsfall wählen Sie zuerst?

Den, der heute am meisten wiederkehrende Arbeitszeit bindet und dessen Ergebnis sich leicht prüfen lässt. Das ist selten die spektakulärste Idee. Typische Kandidaten: E-Mail-Entwürfe und Zusammenfassungen für alle Mitarbeitenden, die Erfassung eingehender Bestellungen im Innendienst, Standardanfragen im Kundenservice, das Auffinden von Wissen in Ablagen. Unter den Unternehmen, die KI nutzen, setzen 88 % (Bitkom, 2025) sie im Kundenkontakt ein — ein Hinweis darauf, wo Nutzen und Machbarkeit zusammenkommen. Formulieren Sie den Anwendungsfall als Satz: „Wir wollen, dass [Rolle] bei [Aufgabe] pro Woche [Stunden] spart, ohne dass [Qualitätskriterium] leidet.“ Die Kategorieübersicht auf Alle Kategorien zeigt, welche Lösungsart zu welchem Satz passt.

Phase 2: Wo steht Ihr Unternehmen heute?

Meist weiter, als die Geschäftsführung denkt — und ungeordneter. Der häufigste Befund im Mittelstand ist nicht „keine KI“, sondern „einzelne Mitarbeitende nutzen private Konten“. Das ist ein Datenschutzrisiko, aber auch ein Vorteil: Es gibt schon Erfahrung im Haus. Erheben Sie in einer Woche, wer welche Werkzeuge wofür nutzt, welche Daten dabei eingegeben werden und welche Systeme (ERP, CRM, Dokumentenablage, Telefonie) später angebunden werden müssten. Der KI-Readiness-Check strukturiert diese Bestandsaufnahme in acht Fragen und ordnet das Ergebnis in drei Stufen ein.

Phase 3: Welchen Rechtsrahmen müssen Sie klären?

Zwei Regelwerke, die sich ergänzen: die DSGVO für personenbezogene Daten und die KI-Verordnung für das KI-System selbst. Nach der DSGVO brauchen Sie eine Rechtsgrundlage für jede Verarbeitung (Art. 6), einen Auftragsverarbeitungsvertrag mit dem Anbieter (Art. 28) und bei voraussichtlich hohem Risiko eine Datenschutz-Folgenabschätzung (Art. 35); bei Anbietern außerhalb der EU kommen die Regeln für Drittlandtransfers hinzu. Die KI-Verordnung verlangt seit dem 02.02.2025 KI-Kompetenz beim Personal (Art. 4) und für Chatbots Transparenz gegenüber den Nutzenden (Art. 50); die meisten Mittelstands-Anwendungen fallen nicht in die Hochrisiko-Klasse — die Einordnung Ihres konkreten Systems sollten Sie dennoch prüfen lassen. Beide Themen sind in eigenen Ratgebern vertieft: KI und DSGVO und EU AI Act. Keiner der Texte ersetzt Rechtsberatung.

Phase 4: Wie wählen Sie eine Lösung aus?

Anhand harter, nachprüfbarer Kriterien — nicht anhand von Demos. Wir prüfen bei jeder aufgenommenen Lösung dieselben Punkte auf der Anbieter-Website: Hosting-Region, AV-Vertrag, Nachweise wie ISO 27001 oder SOC 2, On-Premise-Option, Einstiegspreis, Integrationen. Jede Angabe trägt Quelle und Stand-Datum; was nicht auf der Website steht, weisen wir als „nicht belegt“ aus. Drei Fragen trennen bei der Auswahl die Spreu vom Weizen: Wo genau laufen die Sprachmodelle (nicht nur die Plattform)? Was kostet die Lösung bei Ihrer Nutzerzahl im Jahr, inklusive Einführung? Und lässt sich das System an Ihre Kernsysteme anbinden, ohne ein Projekt zu starten? Wie wir gewichten, steht auf Wie wir vergleichen.

Phase 5: Wie führen Sie einen Pilot durch?

Klein, kurz und messbar. Eine Pilotgruppe von 10 bis 20 Personen aus der Fachabteilung, die den Anwendungsfall täglich hat, vier Wochen Laufzeit, ein vorher festgelegtes Ziel — etwa die Zeit pro Aufgabe oder die Zahl der ohne Rückfrage erledigten Vorgänge. Messen Sie vorher und nachher, nicht nur nachher. Legen Sie fest, wer im Pilot welche Daten eingeben darf, und dokumentieren Sie die Ausnahmen. Mit dem Zeitersparnis-Rechner können Sie die im Pilot gemessenen Stunden auf das ganze Unternehmen hochrechnen und den Lizenzkosten gegenüberstellen.

Phase 6: Was regeln Richtlinie, Betriebsrat und Schulung?

Die Richtlinie regelt, was Mitarbeitende dürfen; der Betriebsrat wird beteiligt, weil KI-Systeme Verhalten oder Leistung überwachen könnten; die Schulung stellt die Kompetenz sicher, die Art. 4 der KI-Verordnung verlangt. Eine KI-Richtlinie muss keine zwanzig Seiten haben — entscheidend sind klare Antworten auf die Fragen, welche Daten eingegeben werden dürfen, welche Werkzeuge freigegeben sind und wer Ergebnisse prüft; die Muster-Gliederung finden Sie unter KI-Richtlinie im Unternehmen. Gibt es einen Betriebsrat, greift § 90 Abs. 1 Nr. 3 BetrVG (Unterrichtung über den KI-Einsatz) und bei Überwachungseignung § 87 Abs. 1 Nr. 6 BetrVG — wie Sie das frühzeitig und ohne Blockade gestalten, erklärt KI einführen mit Betriebsrat. Welche Schulungsformate zu welcher Rolle passen, zeigt KI-Schulung für Mitarbeitende.

Phase 7: Wie gelingen Rollout und Messung?

In Wellen, mit sichtbaren Zahlen. Nach dem Pilot schalten Sie nicht das ganze Unternehmen frei, sondern die nächsten Teams mit demselben Anwendungsfall — und erst danach weitere Anwendungsfälle. Jede Welle bekommt dieselbe Einweisung und dieselbe Messgröße. Berichten Sie monatlich in einer Zahl, was die Nutzung bringt, und in einer zweiten, wo es hakt. Prüfen Sie quartalsweise, ob Anbieterangaben noch stimmen: Preise, Hosting-Regionen und Subprozessoren ändern sich. Nach sechs Monaten steht die Frage an, ob konsolidiert werden muss — viele Unternehmen haben dann drei Werkzeuge für dieselbe Aufgabe im Haus.

Welche Fehler kosten am meisten Zeit?

• Werkzeug vor Anwendungsfall. Eine Lizenz für alle, ohne Aufgabe — nach drei Monaten nutzt sie niemand mehr.
• Private Konten dulden, statt eine Plattform anzubieten. Das Risiko bleibt, der Nutzen verteilt sich unsichtbar.
• Betriebsrat erst beim Rollout informieren. Dann wird aus einer Unterrichtung eine Verhandlung.
• „Server in Deutschland“ als Freifahrtschein lesen. Die Plattform steht in Frankfurt, das Sprachmodell läuft beim Subprozessor in den USA — das steht in der Subprozessorenliste, nicht in der Überschrift.
• Nur den Lizenzpreis budgetieren. Einführung, Schulung und Integration sind bei Spezialanwendungen oft der größere Posten; Was KI im Unternehmen kostet rechnet das vor.

Die Ratgeber im Einzelnen

• KI und DSGVO: was Unternehmen prüfen müssen — Rechtsgrundlage, AV-Vertrag, Drittlandtransfer, Subprozessoren.
• EU AI Act: Pflichten für den Mittelstand — Fristen, Risikoklassen, KI-Kompetenz nach Art. 4, Transparenz nach Art. 50.
• KI-Richtlinie im Unternehmen: Aufbau und Muster-Gliederung — Welche Regeln Mitarbeitende brauchen, bevor das erste Tool freigeschaltet wird.
• KI einführen mit Betriebsrat: Mitbestimmung und Ablauf — § 87, § 90 und § 80 BetrVG — und wie Sie die Beteiligung zum Beschleuniger machen.
• KI-Schulung für Mitarbeitende: Formate und Anbieterarten — Vom 90-Minuten-Grundkurs bis zum Rollenprogramm — was zur KI-Kompetenz-Pflicht passt.
• Was KI im Unternehmen kostet — Preismodelle je Kategorie mit Stand-Datum und drei Rechenbeispielen.
• Lohnt sich KI? Zeitersparnis und ROI realistisch rechnen — mit dem Zeitersparnis-Rechner.