Kaum ein Thema kommt in meinen Gesprächen mit Mittelständlern gerade so oft auf den Tisch wie dieses: Sollen wir uns ein eigenes Sprachmodell ins Haus holen, Llama, Mistral oder Qwen auf eigener Hardware, oder reicht die API der großen Anbieter? Die einen träumen vom „eigenen ChatGPT im Keller", die anderen halten Self-Hosting für teuren Unsinn. Beide liegen daneben. Die ehrliche Antwort ist eine Rechenaufgabe mit drei Variablen: Volumen, Vertraulichkeit und Auslastung. Genau die rechnen wir hier durch.
Warum die Frage 2026 anders klingt als noch vor drei Jahren
Vor drei Jahren war die Sache einfach. Offene Modelle waren nette Spielzeuge, für ernsthafte Arbeit brauchte man die API. Das stimmt so nicht mehr. Meta hat mit Llama 4 eine Generation veröffentlicht, deren Scout-Variante mit 109 Milliarden Parametern (17 Milliarden davon aktiv) auf einer einzigen H100-GPU läuft. Das französische Unternehmen Mistral hat im Dezember 2025 die Mistral-3-Familie komplett unter Apache-2.0-Lizenz freigegeben, vom kompakten 3B-Modell bis zum Flaggschiff Mistral Large 3 mit 675 Milliarden Parametern. Und Alibaba liefert mit Qwen3 eine ganze Staffel offener Modelle, die in Benchmarks für Code und Mathematik regelmäßig ganz vorne mitspielt.
Mehr zum Thema: KI im Gründeralltag – Grundlagen, Praxis und alle Artikel an einer Stelle.
Heißt übersetzt: Die Qualität offener Modelle ist für die meisten Mittelstandsaufgaben längst gut genug. Dokumente zusammenfassen, E-Mails klassifizieren, Angebote vorstrukturieren, internes Wissen durchsuchbar machen. Dafür brauchst du kein Frontier-Modell. Die Frage ist also nicht mehr, ob ein eigenes Modell kann, was du brauchst. Die Frage ist, ob es sich rechnet.
Was ein eigenes LLM wirklich kostet
Und hier wird oft schöngerechnet. Die Hardware ist nur der Anfang. Eine einzelne Datacenter-GPU bekommst du in der Cloud je nach Anbieter und Laufzeit ab etwa anderthalb bis zwei Dollar pro Stunde, ein eigener Server mit mehreren GPUs liegt schnell im mittleren fünfstelligen bis sechsstelligen Bereich. Dazu kommen Strom, Kühlung, Ausfallsicherheit.
Der teuerste Posten steht aber auf keiner Hardware-Rechnung: Menschen. Jemand muss den Inferenz-Server aufsetzen, Treiber und Modellversionen pflegen, Batchgrößen tunen, Monitoring bauen und nachts ran, wenn das Ding steht. Das ist kein Projekt, das ist ein Dauerbetrieb. Wer im Team niemanden hat, der das kann und will, kauft sich mit dem eigenen Modell vor allem eines: eine neue Abhängigkeit von einem einzelnen Kollegen oder einem Dienstleister.
Die Auslastung entscheidet, nicht die Ideologie
Der eigentliche Hebel ist banal und wird trotzdem ständig übersehen: Wie viel Prozent der Zeit arbeitet deine GPU wirklich? Eine Kostenanalyse von DigitalOcean hat das sauber durchgerechnet: Self-Hosting schlägt die nutzungsbasierte API erst ab einer Auslastung von grob 20 bis 50 Prozent, je nachdem, wie schnell die Antworten sein müssen. Bei nur 10 Prozent Auslastung zahlst du mit eigener Hardware mehr als das Doppelte, bei 5 Prozent mehr als das Vierfache. Umgekehrt kostet eine typische Antwort auf einer voll ausgelasteten eigenen GPU nur einen Bruchteil des API-Preises.
Die Faustregel, die ich daraus ziehe: Ein Chatbot, der ein paar hundert Anfragen am Tag beantwortet, gehört auf die API. Eine Pipeline, die rund um die Uhr Millionen von Dokumenten, Produktdaten oder Tickets durchnudelt, ist ein Kandidat fürs eigene Modell. Dazwischen liegt eine Grauzone, in der du ehrlich messen musst, statt zu schätzen. Und Latenz zählt auch: Wer das Modell direkt in der eigenen Produktionshalle oder am Edge braucht, ohne stabile Internetleitung, hat gar keine Wahl.
Das Datenschutz-Argument, ehrlich betrachtet
„Wir dürfen unsere Daten nicht in die Cloud geben" ist das häufigste Argument fürs eigene Modell. Und es hat einen wahren Kern. Laut der Bitkom-Studie zur künstlichen Intelligenz in Deutschland nutzt inzwischen gut jedes dritte Unternehmen KI aktiv, doch rund die Hälfte nennt rechtliche Unsicherheit und hohe Datenschutzanforderungen als zentrale Hürde. Diese Sorge ist real, aber sie führt oft zur falschen Schlussfolgerung.
Denn DSGVO-konform geht beides. Die großen API-Anbieter bieten Auftragsverarbeitungsverträge, EU-Rechenzentren und die Zusicherung, nicht auf deinen Daten zu trainieren. Für die meisten Anwendungsfälle reicht das, sauber geprüft und dokumentiert. Das eigene Modell gewinnt dort, wo es um wirklich kritische Daten geht: Patientendaten, Konstruktionsgeheimnisse, M&A-Unterlagen, alles, was vertraglich oder regulatorisch das Haus nicht verlassen darf. Und es gewinnt beim Thema Souveränität: Deine Preise, deine Modellversion, deine Verfügbarkeit hängen nicht an der Roadmap eines Anbieters in San Francisco. Dass mit Mistral ein europäischer Anbieter seine Spitzenmodelle offen lizenziert, macht diesen Weg strategisch nochmal attraktiver.
Wann lohnt sich was: meine Entscheidungshilfe
Wenn du nur eine Sache aus diesem Artikel mitnimmst, dann diese vier Fälle:
Nimm die API, wenn du gerade erst startest, dein Volumen unter ein paar Millionen Tokens am Tag liegt, deine Anwendungsfälle sich noch ändern und kein Datum im Spiel ist, das rechtlich das Haus nicht verlassen darf. Du bleibst flexibel und zahlst nur, was du nutzt.
Nimm ein eigenes Modell, wenn du dauerhaft hohes, planbares Volumen hast (die Pipeline, die 24/7 läuft), wenn Daten zwingend on-premise bleiben müssen oder wenn du Latenz und Verfügbarkeit selbst kontrollieren musst, etwa in der Produktion.
Nimm ein feinjustiertes kleines Modell, wenn du eine einzige, eng umrissene Aufgabe in Masse hast, etwa Klassifikation oder Extraktion. Ein spezialisiertes 8B-Modell schlägt hier oft ein Generalisten-Frontier-Modell, zu einem Bruchteil der Kosten.
Nimm keins von beiden, wenn du den Anwendungsfall noch nicht kennst. Erst der Prozess, dann das Werkzeug. Warum so viele Projekte genau an dieser Reihenfolge scheitern, habe ich in Warum KI-Agenten-Projekte scheitern aufgeschrieben.
Mein Fazit: hybrid denken, nicht dogmatisch
In der Praxis läuft es bei fast allen Unternehmen, die ich kenne und die es ernst meinen, auf eine Hybrid-Architektur hinaus. Ein Router entscheidet pro Anfrage: Massenware wie Klassifikation und Extraktion läuft auf einem günstigen offenen Modell, lokal oder bei einem EU-Hoster. Die schweren Fälle, komplexes Reasoning, heikle Kundenkommunikation, gehen an die beste verfügbare API. So bekommst du Kostenkontrolle und Datensouveränität, ohne auf Spitzenqualität zu verzichten.
Und noch etwas: Das Modell ist am Ende der kleinste Teil der Wertschöpfung. Der Wert entsteht, wenn KI in deine Prozesse eingebaut wird, mit Zugriff auf deine Systeme, mit klaren Verantwortlichkeiten. Wie so eine Organisation aussieht, in der Agenten echte Arbeit übernehmen, habe ich in Die autonome Organisation beschrieben. Ob darunter dann Llama, Mistral, Qwen oder eine API arbeitet, ist eine Zeile in der Konfiguration. Die Architektur darüber ist das, was dein Unternehmen wirklich verändert.
Häufige Fragen
Ab welchem Volumen lohnt sich ein selbst gehostetes LLM?
Als Faustregel: erst bei dauerhaft hoher Auslastung der eigenen Hardware, grob ab 20 bis 50 Prozent GPU-Auslastung rund um die Uhr, also bei Millionen von Tokens pro Tag. Bei sporadischer Nutzung ist die API fast immer günstiger, weil du nur zahlst, was du nutzt.
Ist die Nutzung von LLM-APIs DSGVO-konform möglich?
Ja, grundsätzlich schon. Große Anbieter bieten Auftragsverarbeitungsverträge, EU-Rechenzentren und trainieren auf Geschäftskundendaten nicht. Entscheidend ist eine saubere rechtliche Prüfung. Nur bei besonders kritischen Daten, die das Haus gar nicht verlassen dürfen, ist ein lokales Modell die sicherere Wahl.
Welches offene Modell eignet sich für den Mittelstand?
Für die meisten Aufgaben reichen mittelgroße Modelle wie Qwen3 in den 8B- bis 32B-Varianten oder die kleineren Mistral-3-Modelle, beide unter Apache-2.0-Lizenz frei nutzbar. Llama 4 Scout ist interessant, wenn sehr lange Dokumente verarbeitet werden sollen. Wichtiger als das Modell ist, den Anwendungsfall vorher sauber zu definieren.
Was ist eine Hybrid-Architektur bei LLMs?
Ein Aufbau, bei dem ein Router jede Anfrage an das passende Modell schickt: einfache Massenaufgaben an ein günstiges offenes Modell (lokal oder EU-gehostet), komplexe Aufgaben an eine leistungsstarke API. So kombinierst du Kostenkontrolle und Datenschutz mit Spitzenqualität.
Herzlich,
Euer Dennis Weidner
