Small Language Models im Unternehmen: Einsatz, Kosten, Grenzen

Small Language Models sind kompakte Sprachmodelle, die im Unternehmen dieselbe Arbeit erledigen wie ein großes Modell, solange die Aufgabe eng genug gefasst ist: klassifizieren, extrahieren, zusammenfassen, formatieren. Sie laufen auf einer einzelnen GPU, oft sogar auf einem Notebook, und kosten je Anfrage einen Bruchteil eines Frontier-Modells.

Der Anstoß kam aus der Forschung. NVIDIA Research hat am 2. Juni 2025 das Positionspapier Small Language Models are the Future of Agentic AI veröffentlicht: In agentischen Systemen, in denen Modelle spezialisierte Teilaufgaben wiederholt ausführen, seien kleine Modelle „sufficiently powerful, inherently more suitable, and necessarily more economical". Die Harvard Business Review hat im September 2025 mit The Case for Using Small Language Models nachgezogen.

Dieser Leitfaden zeigt, was Small Language Models im Unternehmen leisten, welche Modellfamilien in Frage kommen, wann sie wirtschaftlich günstiger sind, wo große Modelle unverzichtbar bleiben und wie ein Einstieg in 90 Tagen aussieht. Stand: September 2026.

Ein Small Language Model ist ein Sprachmodell, das klein genug ist, um auf einer einzelnen GPU oder auf Consumer-Hardware zu laufen, und das für abgegrenzte Aufgaben trainiert oder nachtrainiert wird. In der Praxis liegt die Grenze bei grob 30 Milliarden Parametern. Eine verbindliche Definition existiert nicht, und die Grenze verschiebt sich mit jeder Modellgeneration.

Drei Abgrenzungen helfen bei der Einordnung:

• Gegenüber Frontier-Modellen. Große Modelle laufen in den Rechenzentren ihrer Anbieter, sind proprietär und liefern das beste Reasoning. Kleine Modelle laufen dort, wo Sie es bestimmen, zu deutlich geringeren Kosten je Anfrage, und zwar für einen definierten Aufgabenkorridor.
• Gegenüber den kleinen Modellen früherer Jahre. BERT oder die ersten Llama-Generationen waren klein in Parametern, aber weit von heutigen Fähigkeiten entfernt. Die aktuellen Familien sind auf Instruktionstreue, Werkzeugnutzung und strukturierte Ausgaben trainiert.
• Gegenüber reinen Geräte-Modellen. Modelle, die auf Smartphone oder Notebook laufen, sind eine Untergruppe. Der Regelfall im Unternehmen ist der Betrieb auf Servern oder in einer europäischen Cloud.

Warum kleine Modelle heute so viel mehr können, liegt an der Qualität der Trainingsdaten, nicht an der Größe. Microsoft hat Phi-4 laut Modellkarte auf 9,8 Billionen Token sorgfältig kuratierter Daten mit einem hohen Anteil synthetischer, auf Schlussfolgern ausgerichteter Beispiele trainiert. Das Ergebnis ist ein Modell mit 14 Milliarden Parametern, das auf Mathematik- und Code-Aufgaben mit deutlich größeren Modellen mithält.

Die Ausgangslage hat sich 2026 verschoben: KI ist im Mittelstand angekommen, die Kostenfrage ist damit von der Theorie in den Betrieb gewandert. Laut der Bitkom-KI-Studie vom 14. September 2026 (603 Unternehmen ab 20 Beschäftigten) nutzen erstmals 57 % der Unternehmen KI, nach 36 % im Vorjahr. 38 % planen oder diskutieren den Einsatz, 11 % setzen KI-Agenten ein, 29 % planen das.

Zwei Zahlen aus derselben Erhebung erklären, warum die Modellgröße zur Führungsfrage wird. Unter den Unternehmen, die bisher keine KI nutzen, nennen 63 % schwer kalkulierbare Kosten als Hürde und 66 % Rechtsunsicherheit. Kleine Modelle adressieren beides: Die Kosten je Anfrage sind niedriger und im Self-Hosting sogar vom Volumen entkoppelt, und der Betriebsort lässt sich frei wählen.

Dazu kommt die agentische Nutzung. Ein Agent, der eine Anfrage bearbeitet, führt selten einen, sondern häufig fünf bis fünfzehn Modellaufrufe aus: klassifizieren, extrahieren, entscheiden, Werkzeug aufrufen, formatieren, antworten. Läuft jeder dieser Schritte gegen ein Frontier-Modell, multiplizieren sich Kosten und Latenz. Genau das ist der Kern der NVIDIA-These und der Grund, warum die Modellwahl je Teilaufgabe wichtiger geworden ist als die Wahl des einen besten Modells. Hintergrund dazu im Leitfaden zu KI-Agenten im Unternehmen.

Vier Modellfamilien decken den praktischen Bedarf im europäischen Mittelstand ab. Die Eckdaten stammen aus den Modellkarten und Ankündigungen der Anbieter und beziehen sich auf die jeweils genannte Generation. Alle vier Familien werden fortgeschrieben; prüfen Sie vor einer Auswahl die aktuelle Modellkarte.

Phi-4 hat Microsoft am 12. Dezember 2024 veröffentlicht, die kleinere Variante Phi-4-mini am 26. Februar 2025 mit 128K Kontext und Unterstützung für 24 Sprachen (Microsoft-Ankündigung). Die Grenze des großen Phi-4 ist der Kontext von 16K Token: Für lange Dokumente oder eine Suche über viele Textabschnitte ist das schnell zu wenig.

Gemma 3 kam am 12. März 2025 in vier Größen (Google Developers Blog), mit 128K Kontext ab der 4-Milliarden-Variante, Bildverarbeitung und über 140 Sprachen. Wichtig für die Rechtsabteilung: Gemma steht nicht unter Apache 2.0, sondern unter den Gemma Terms of Use mit einer Richtlinie verbotener Nutzungen. Für die meisten Anwendungen im Mittelstand ist das unkritisch, gehört aber einmal geprüft und dokumentiert.

Mistral Small ist die europäische Option: Version 3 erschien am 30. Januar 2025, Version 3.1 am 17. März 2025 mit Bildverarbeitung und 128K Kontext, Version 3.2 am 20. Juni 2025 mit besserer Instruktionstreue. Das Modell steht unter Apache 2.0, läuft laut Anbieter auf einer einzelnen leistungsfähigen Grafikkarte und ist über einen europäischen Anbieter oder selbst betrieben nutzbar.

Qwen3 hat Alibaba am 28. April 2025 veröffentlicht (Qwen-Blog): sechs dichte Modelle von 0,6 bis 32 Milliarden Parametern und zwei Mixture-of-Experts-Varianten, alle unter Apache 2.0, trainiert auf 36 Billionen Token, mit einem umschaltbaren Denkmodus und einem Budget für die Länge der Gedankengänge. Der Hersteller sitzt in China; für personenbezogene Daten ist deshalb der Betrieb auf eigener oder europäischer Infrastruktur der saubere Weg. Die freie Lizenz macht genau das möglich.

Die Frage lautet nie „kleines oder großes Modell", sondern „welche Modellgröße für welche Aufgabe". Sieben Konstellationen sprechen klar für ein kleines Modell.

1. Massenhafte Klassifizierung und Extraktion. Tickets kategorisieren, Rechnungen auslesen, Absichten erkennen, Namen und Werte aus Dokumenten ziehen. Ein feinjustiertes kleines Modell erreicht hier regelmäßig die Genauigkeit eines großen, bei einem Bruchteil der Kosten je Anfrage.
2. Vorsortierung im Modellmix. Ein kleines Modell entscheidet in Millisekunden, ob eine Anfrage einfach ist oder an ein großes Modell gehört. Das ist der schnellste Kostenhebel in einem produktiven Aufbau, siehe FinOps für KI.
3. Sehr sensible Daten. Konstruktionsdaten, Patientenakten, Mandatsunterlagen, Datenräume für Unternehmenskäufe. Wo Daten das eigene Netz nicht verlassen dürfen, ist ein kleines Modell auf eigener Hardware nicht die günstigere, sondern die einzige Möglichkeit.
4. Latenzkritische Dialoge. Sprachassistenten, Live-Unterstützung im Kundenservice, Übersetzung in Echtzeit. Kurze Antwortzeiten sind leichter zu halten, wenn das Modell nah an der Anwendung läuft.
5. Fachsprache mit eigenem Vokabular. Ein auf eigenen Daten nachtrainiertes kleines Modell schlägt in der Nischenaufgabe regelmäßig ein generisches großes Modell, und der Trainingsprozess bleibt unter eigener Kontrolle.
6. Planbare Kosten in großen Rollouts. Selbst betriebene Modelle haben feste Infrastrukturkosten statt einer Rechnung, die mit jeder Nutzungsspitze steigt.
7. Arbeit ohne Netz. Servicetechnik in der Halle, Außendienst unterwegs, Stationen mit schwachem WLAN. Kleine Modelle laufen lokal auf Notebook oder Tablet. Apple zeigt mit seinen Foundation Models, wie weit Modelle direkt auf dem Gerät inzwischen kommen.

In vier Bereichen führt ein kleines Modell zu schlechteren Ergebnissen, nicht zu Einsparungen. Stand September 2026:

• Anspruchsvolles Schlussfolgern über viele Schritte. Marktanalysen über hunderte Quellen, Vertragsprüfungen mit mehreren rechtlichen Ebenen, lange agentische Entwicklungsläufe. Hier bleiben Frontier-Modelle von Anthropic, OpenAI und Google erste Wahl, siehe LLM-Vergleich für Unternehmen.
• Sehr lange Kontexte mit hoher Treffsicherheit. Die großen Modelle verarbeiten inzwischen Kontexte im Millionenbereich. Kleine Modelle liegen bei 128K Token, und ihre Genauigkeit fällt über lange Eingaben stärker ab.
• Agentische Softwareentwicklung. Für Entwicklungsagenten auf gewachsenen Codebasen sind große Modelle weiterhin der Maßstab.
• Multimodale Erzeugung. Für Video und komplexe Medienerzeugung gibt es keine ernsthafte kleine Alternative.

Die produktive Frage lautet deshalb: Welche Aufgaben in meinem Bestand kann ich auf ein kleines Modell verlagern, und welche brauchen wirklich ein großes?

Der Satz „kleine Modelle sparen 90 % der Kosten" ist bequem und unvollständig. Drei Kostenblöcke unterscheiden einen Aufbau über Programmierschnittstellen von einem selbst betriebenen Modell.

• Kosten je Anfrage. Hier gewinnen kleine Modelle deutlich. Je nach Anbieter und Modell liegt der Preis je Million Token typischerweise eine Größenordnung unter dem eines Frontier-Modells. Konkrete Preise ändern sich häufig und gehören vor jeder Kalkulation aus den aktuellen Preislisten geprüft.
• Feste Infrastrukturkosten. Wer selbst betreibt, zahlt unabhängig von der Nutzung. Eine leistungsfähige Rechenzentrums-GPU kostet als Annahme einen niedrigen vierstelligen Betrag pro Monat, inklusive Strom, Kühlung und Wartung; produktiver Betrieb braucht in der Regel mehr als eine.
• Personal und Governance. Der am häufigsten übersehene Block: Betrieb, Überwachung, Leitplanken, Kostenkontrolle. Wer diese Kompetenz nicht hat, muss sie aufbauen oder einkaufen.

Als Faustregel, nicht als Messwert: Bis etwa 50 Millionen Token im Monat ist der Bezug über eine Programmierschnittstelle fast immer günstiger. Zwischen 50 und 200 Millionen Token lohnt ein gemischter Aufbau mit einem kleinen Modell bei einem europäischen Anbieter für Standardaufgaben. Oberhalb von etwa 200 Millionen Token kann sich eigene Hardware innerhalb eines Jahres rechnen, sofern der Betrieb gesichert ist. Die tiefere Modellierung dazu steht im Vergleich von Eigenbau und Einkauf.

Ein Realitätsabgleich gehört dazu: Der richtige Zeitpunkt für eigene Hardware ist selten der Projektstart. In der Praxis beginnen Unternehmen mit bezogenen Modellen und wechseln erst nach einigen Monaten produktiven Betriebs, wenn Volumen, Anwendungsfälle und Betriebsreife feststehen.

Ja, wenn der Betrieb sauber aufgesetzt ist. Ein selbst betriebenes Modell verkürzt die Liste der Pflichten spürbar: kein Drittlandtransfer, kein Auftragsverarbeitungsvertrag mit einem Anbieter außerhalb der EU, keine Diskussion über Datenregionen. Die DSGVO-Konformität entsteht dann über die Architektur statt über Verträge. Ersetzt sind die Pflichten nicht: Rechtsgrundlage, Zweckbindung, Löschkonzept, gegebenenfalls eine Datenschutz-Folgenabschätzung und die Dokumentation nach der KI-Verordnung bleiben.

Vier Betriebsmuster sind gebräuchlich:

Für die KI-Verordnung gilt: Sie unterscheidet nicht nach Modellgröße, sondern nach Anwendungsfall und Risiko. Die Transparenzpflichten nach Artikel 50 greifen seit dem 2. August 2026 unabhängig davon, ob ein kleines oder ein großes Modell antwortet. Die Pflicht zur KI-Kompetenz nach Artikel 4 gilt seit dem 2. Februar 2025; seit dem Digital Omnibus verlangt sie Maßnahmen zur Förderung der Kompetenz, aber kein bestimmtes Niveau und kein Zertifikat. Offene Gewichte und dokumentierte Modellkarten erleichtern die Nachweisführung, ersetzen sie aber nicht. Dieser Überblick ersetzt keine Rechtsberatung.

Erfolgreiche Aufbauten haben nicht ein Modell, sondern eine Modellbibliothek mit klaren Zuständigkeiten. Vier Bausteine tragen:

• Ein kleines Modell zur Vorsortierung. Jede Anfrage läuft durch ein schnelles Modell, das die Aufgabe einordnet und den Weg bestimmt.
• Ein Arbeitsmodell für den Alltag. Zusammenfassungen, strukturierte Extraktion, einfache Fragen an das Firmenwissen laufen auf einem Modell mittlerer Größe.
• Ein großes Modell für die schwierigen Fälle. Tiefe Analysen, mehrstufige Prüfungen, anspruchsvolle Entwicklungsaufgaben. Der Premiumpreis fällt dann nur dort an, wo er verdient ist.
• Eine Steuerungsebene für Kosten und Nachweise. Ohne Kostentransparenz je Anwendungsfall wird jede kluge Modellwahl unwirtschaftlich, ohne Protokolle wird der Nachweis nach der KI-Verordnung mühsam.

Der Hebel liegt fast nie im Wechsel des großen Modells, sondern in der Verlagerung der Routine. Wie sich das ohne neue Abhängigkeit organisieren lässt, steht im Leitfaden zur Multi-Modell-Strategie.

Die folgende Zuordnung ist ein Startpunkt für die eigene Bewertung, kein Urteil. Prüfen Sie jede Empfehlung an Ihren eigenen Daten.

Plotdesk verbindet eine KI-Plattform mit einem Umsetzungsteam für den Mittelstand. Für die Modellfrage heißt das konkret:

• Model Garden. Mehr als 100 Modellvarianten aus zehn Provider-Typen stehen bereit und lassen sich je Team steuern, von den großen Anbietern bis zu offenen Modellen. Kleine Modelle lassen sich über OpenAI-kompatible Endpunkte anbinden, etwa auf eigener Hardware oder bei einem europäischen Anbieter.
• Betrieb. Plotdesk läuft als dedizierte Instanz in der EU oder im eigenen Tenant, etwa in Azure, mit DSGVO-konformem Auftragsverarbeitungsvertrag. Lokale Systeme werden über Plotdesk Connect erreichbar.
• Steuerung. SSO, Rollen und mehr als 40 Berechtigungen, Audit-Logs sowie Nutzungs- und Kostenanalysen je Bereich. Damit lässt sich belegen, welcher Anwendungsfall welche Kosten erzeugt, und genau das ist die Voraussetzung für jede Verlagerung auf kleinere Modelle.
• Vier Schritte. KI-Potenzialanalyse, Proof of Value, produktive Lösung, systematischer Ausbau. Aus 1.200+ Use Cases in 15 Branchen entsteht die Vorauswahl, gemessen wird am eigenen Prozess.

Unsere Empfehlung aus der Projektarbeit: erst messen, dann verlagern. Wer die Kosten je Anwendungsfall kennt, sieht innerhalb weniger Wochen, welche Anfragen ein kleines Modell tragen kann.

Die großen Modelle bekommen die Aufmerksamkeit, die kleinen erledigen im Betrieb einen großen Teil der Arbeit. Drei Punkte bleiben:

• Frontier-Modelle bleiben unverzichtbar für Spitzenaufgaben. Wer sie für alles einsetzt, zahlt an Stellen, an denen ein kleines Modell dasselbe Ergebnis liefert.
• Kleine Modelle sind reif für einen erheblichen Teil der Aufgaben im Mittelstand. Klassifizieren, extrahieren, zusammenfassen, vorsortieren.
• Der Hebel ist die Architektur, nicht das einzelne Modell: mehrere Modelle, klare Zuständigkeiten, Kostentransparenz, der passende Betriebsort und dokumentierte Nachweise.

Wer den Einstieg sucht, beginnt nicht mit einer Hardwareinvestition, sondern mit einer ehrlichen Liste der eigenen Anwendungsfälle und einem Test gegen die heutigen Ergebnisse.