Dürfen offene Sprachmodelle kommerziell genutzt werden?

Meist ja, aber es kommt auf die Lizenz an. Modelle unter Apache 2.0, etwa Mistral 3, Mistral Small 4, Gemma 4, gpt-oss und viele Qwen-Varianten, erlauben kommerzielle Nutzung, Änderung und Weitergabe. Andere Lizenzen enthalten Auflagen, etwa Namensregeln, Umsatzgrenzen oder Ausschlüsse bestimmter Nutzergruppen. Bei Llama 4 sind Unternehmen mit Hauptsitz in der EU von den Rechten an den multimodalen Modellen ausgenommen. Prüfen Sie immer die Lizenzdatei des konkreten Modells.

Sind offene Modelle so gut wie ChatGPT?

Bei klar umrissenen Aufgaben wie Dokumentensuche, Zusammenfassungen, Klassifikation oder Datenextraktion liefern aktuelle offene Modelle oft gleichwertige Ergebnisse, besonders mit RAG und guter Abstimmung. Bei sehr komplexen, offenen Aufgaben und breitem Weltwissen liegen die großen Cloud-Modelle meist noch vorn. Ein Test mit Ihren eigenen Beispielen zeigt schnell, ob ein offenes Modell für Ihren Zweck reicht.

Wie aufwendig ist der Betrieb eines lokalen Sprachmodells?

Überschaubar, wenn er sauber aufgesetzt ist. Nötig sind ein Server mit passender Grafikkarte, eine Software, die das Modell bereitstellt, etwa vLLM, die Anmeldung über Firmenkonten, Protokollierung, Überwachung und ein Plan für Updates. Neue Modellversionen sollten Sie vor dem Wechsel mit Ihren Testfragen prüfen. Den Betrieb kann auch ein Dienstleister übernehmen, die Daten bleiben trotzdem im eigenen Netz.

Welche Hardware brauche ich für ein lokales LLM?

Für kleine und mittlere Modelle genügt oft ein Server mit einer Grafikkarte mit 24 bis 48 GB Speicher. Größere Modelle oder viele gleichzeitige Nutzer brauchen mehrere Karten oder Karten mit 80 GB und mehr. Ausschlaggebend sind Modellgröße, Komprimierung, Kontextlänge und Last. Testen Sie zuerst mit Ihren Aufgaben und dimensionieren Sie danach.

Kann man offene Modelle mit eigenen Daten trainieren?

Ja, durch Feinabstimmung mit einigen hundert bis wenigen tausend guten Beispielen, etwa für Fachsprache oder ein festes Antwortformat. Für Wissen aus Dokumenten ist RAG meist besser geeignet: Das Modell sucht die passenden Stellen und antwortet mit Quelle, ohne neu trainiert zu werden. Neue Dokumente stehen dann sofort zur Verfügung.

Open-Source-LLM oder ChatGPT im Unternehmen: Vergleich

Open Source, offene Gewichte und ChatGPT: die Begriffe

Wenn von Open-Source-LLMs die Rede ist, sind meist Modelle mit offenen Gewichten gemeint (Open Weights): Die trainierten Parameter lassen sich herunterladen und auf eigener Hardware betreiben. Die Open Source AI Definition der Open Source Initiative verlangt für echtes Open Source zusätzlich den vollständigen Trainingscode und ausführliche Angaben zu den Trainingsdaten. Das erfüllen viele bekannte Modelle nicht. Für Unternehmen ist ohnehin eine andere Frage wichtiger: Was erlaubt die Lizenz?

ChatGPT ist dagegen ein Dienst von OpenAI. Die Modelle laufen in den Rechenzentren des Anbieters, Sie nutzen sie über die Oberfläche oder eine Programmierschnittstelle (API). Dasselbe Prinzip gilt für vergleichbare Dienste anderer Anbieter. Für Unternehmen gibt es eigene Angebote mit vertraglichen Zusagen. Nach eigenen Angaben trainiert OpenAI seine Modelle standardmäßig nicht mit Daten aus den Business-Angeboten und der API und bietet für ChatGPT Enterprise, ChatGPT Edu und die API seit Februar 2025 eine Datenspeicherung in Europa an.

Offene Modelle und ChatGPT im direkten Vergleich

Kriterium	Offenes Modell auf eigener Hardware	ChatGPT und ähnliche Cloud-Dienste
Datenkontrolle	Daten verlassen Ihr Netz nicht	vertraglich geregelt, Verarbeitung beim Anbieter, je nach Angebot mit Speicherung in der EU
Qualität	für klar umrissene Aufgaben oft ausreichend, bei sehr komplexen Aufgaben schwächer	Spitzenmodelle, breites Weltwissen, stark bei offenen und komplexen Aufgaben
Hardware	Server mit einer oder mehreren Grafikkarten	keine eigene Hardware
Lizenz	je Modell verschieden, von Apache 2.0 bis zu Lizenzen mit Auflagen	Nutzungsbedingungen und Vertrag des Anbieters
Änderungen am Modell	Sie entscheiden, wann ein Modell getauscht wird	der Anbieter ändert und ersetzt Modelle nach eigenem Zeitplan
Betrieb und Wartung	Updates, Überwachung, Sicherheit und Skalierung in Ihrer Verantwortung oder bei einem Dienstleister	beim Anbieter
Anpassung	Feinabstimmung und tiefe Einbindung in eigene Systeme möglich	über Anweisungen, eigene Assistenten und API, Feinabstimmung je nach Angebot
Abhängigkeit	einmal geladenes Modell bleibt nutzbar	abhängig von Konditionen und Verfügbarkeit des Anbieters

Einen pauschalen Sieger gibt es nicht. Die Entscheidung hängt davon ab, welche Daten verarbeitet werden, wie anspruchsvoll die Aufgabe ist und wie intensiv die KI genutzt wird.

Öffentliche Ranglisten und Benchmarks geben nur eine grobe Richtung. Aussagekräftiger ist ein eigener Vergleich: Stellen Sie 50 bis 100 echte Aufgaben aus Ihrem Alltag zusammen, etwa Fragen an Handbücher, zu prüfende Verträge oder einzuordnende E-Mails, und lassen Sie die Antworten mehrerer Modelle von Fachleuten bewerten, ohne dass diese wissen, welches Modell geantwortet hat. Messen Sie neben der Richtigkeit auch Antwortzeit, Umgang mit fehlenden Informationen und die Qualität der deutschen Sprache. Oft zeigt sich dabei, dass ein mittelgroßes offenes Modell mit guter Dokumentensuche näher an den großen Diensten liegt als erwartet.

Welche offenen Modelle 2026 für Unternehmen infrage kommen

Der Markt bewegt sich schnell, neue Versionen erscheinen im Abstand weniger Monate. Stand November 2026 sind für Unternehmen vor allem die folgenden Familien interessant. Prüfen Sie vor dem Einsatz immer die Lizenzdatei des konkreten Modells, denn innerhalb einer Familie können Lizenzen abweichen.

Familie	Anbieter	Lizenz	Hinweis
Mistral 3 und Mistral Small 4	Mistral AI, Frankreich	Apache 2.0	europäischer Anbieter; Ministral 3 mit 3, 8 und 14 Milliarden Parametern, dazu Mistral Small 4 und Mistral Large 3 als Mixture-of-Experts-Modelle; einzelne andere Mistral-Modelle haben eigene Lizenzen
Qwen ab Version 3.5	Alibaba	überwiegend Apache 2.0	sehr breite Auswahl an Größen, stark bei mehrsprachigen Aufgaben; das größte Modell der Reihe 3.8 steht unter einer eigenen Lizenz mit Auflagen
Gemma 4	Google	Apache 2.0 seit April 2026	vier Größen von Edge-Modellen bis 31 Milliarden Parameter; ältere Gemma-Versionen stehen unter eigenen Nutzungsbedingungen
gpt-oss	OpenAI	Apache 2.0	seit August 2025; gpt-oss-20b ist für Systeme mit 16 GB Speicher gedacht, gpt-oss-120b läuft auf einer Grafikkarte mit 80 GB
Muse Glimmer	Meta	Apache 2.0	seit August 2026; rund 30 Milliarden Parameter, für den lokalen Betrieb ausgelegt
Llama 4	Meta	Llama 4 Community License mit Auflagen	Die Nutzungsrichtlinie nimmt Unternehmen mit Hauptsitz in der EU von den Lizenzrechten an den multimodalen Llama-4-Modellen aus. Scout und Maverick sind multimodal, betroffen ist also praktisch die ganze Familie. Endnutzer fertiger Produkte sind ausgenommen.

Quellen sind die Ankündigungen zu Mistral 3, Mistral Small 4 und Gemma 4 sowie die Nutzungsrichtlinie zu Llama 4.

Neben der Lizenz zählen Herkunft und Pflege: Wie oft erscheinen Updates und Sicherheitshinweise? Ist die Modellkarte vollständig? Gibt es Angaben zu Trainingsdaten und Tests? Seit August 2025 gelten nach der KI-Verordnung außerdem Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, mit Erleichterungen für Modelle unter freier und offener Lizenz. Wer ein offenes Modell nur einsetzt oder feinabstimmt, wird nach den Leitlinien der EU-Kommission in der Regel nicht selbst zum Anbieter des Modells; das ändert sich erst bei sehr umfangreichen Änderungen.

Welche Hardware ein offenes Modell braucht

Der Bedarf hängt von Modellgröße, Komprimierung (Quantisierung), Kontextlänge und der Zahl gleichzeitiger Nutzer ab. Als grobe Orientierung:

Kleine Modelle bis etwa 14 Milliarden Parameter laufen komprimiert auf einer einzelnen Grafikkarte mit 16 bis 24 GB Speicher und eignen sich für Klassifikation, Extraktion und einfache Assistenten.
Mittlere Modelle mit etwa 20 bis 35 Milliarden Parametern passen komprimiert auf eine Karte mit 24 bis 48 GB. Für Dokumentensuche mit RAG, Zusammenfassungen und Entwürfe sind sie die häufigste Wahl.
Große Modelle mit 70 Milliarden Parametern und mehr sowie große Mixture-of-Experts-Modelle brauchen mehrere Grafikkarten oder Karten mit 80 GB und mehr. Sie lohnen sich für anspruchsvollere Aufgaben und viele Nutzer.

Bei Mixture-of-Experts-Modellen bestimmt die Gesamtzahl der Parameter den Speicherbedarf, die Zahl der aktiven Parameter dagegen die Geschwindigkeit. Ein solches Modell antwortet deshalb schnell, braucht aber trotzdem viel Grafikspeicher.

Dazu kommen ein Dienst, der das Modell bereitstellt, eine Vektorsuche für Ihre Dokumente, die Anmeldung über Ihr Firmenkonto sowie Protokollierung und Überwachung. Ausführlich beschreibt das der Ratgeber Lokale KI für Unternehmen. Dimensionieren Sie die Hardware nach einem Test mit Ihren Aufgaben, nicht nach dem größten verfügbaren Modell.

Wann ein offenes Modell passt und wann ChatGPT

Ein offenes Modell auf eigener Hardware passt, wenn

vertrauliche Daten verarbeitet werden, etwa Konstruktionsdaten, Verträge, Personal- oder Patientendaten,
Kunden, Aufsicht oder interne Regeln eine Verarbeitung im eigenen Haus verlangen,
die Aufgabe klar umrissen ist und sich mit Tests absichern lässt,
die KI tief in eigene Abläufe eingebunden oder auf Fachsprache abgestimmt werden soll,
viele Mitarbeitende die KI täglich nutzen und Sie Kapazität und Antwortzeiten selbst in der Hand haben wollen.

Ein Cloud-Dienst wie ChatGPT passt, wenn

es um allgemeine Aufgaben mit wenig vertraulichen Daten geht, etwa Texte formulieren, recherchieren oder übersetzen,
die bestmögliche Qualität bei komplexen, offenen Fragen zählt,
keine eigene IT-Kapazität für Betrieb und Updates vorhanden ist,
schnell viele Funktionen wie Bild, Sprache und Code gebraucht werden.

Gibt es gar kein offizielles Angebot, nutzen Mitarbeitende oft private Konten, und Firmendaten landen ungeregelt bei Dritten. Diese Schatten-KI ist in der Praxis das größere Risiko. Ein freigegebenes Werkzeug mit klaren Regeln ist deshalb fast immer besser als ein Verbot ohne Alternative. Beim Cloud-Einsatz mit personenbezogenen Daten brauchen Sie einen Vertrag zur Auftragsverarbeitung und eine Prüfung der Datenübermittlung in Drittländer. Was dabei zu beachten ist, beschreibt der Ratgeber KI und DSGVO.

Hybridbetrieb: lokal und Cloud mit klaren Regeln

In der Praxis entscheiden sich viele Unternehmen nicht für eine Seite, sondern für eine klare Aufteilung:

Daten einstufen: öffentlich, intern, vertraulich, streng vertraulich.
Regeln festlegen: Vertrauliche Daten gehen nur an das lokale Modell, unkritische Aufgaben dürfen in die Cloud.
Technisch durchsetzen: Ein zentraler Zugang (Gateway) leitet Anfragen je nach Anwendung oder Datenklasse an das passende Modell, protokolliert und filtert. So müssen Mitarbeitende nicht raten.
Wechsel offenhalten: Anwendungen sprechen eine einheitliche Schnittstelle an, damit Modelle ausgetauscht werden können, ohne die Anwendung neu zu bauen.

Ein typisches Beispiel: Ein Wissensassistent beantwortet Fragen zu internen Handbüchern und Verträgen mit einem lokalen Modell, während das Marketing für allgemeine Texte einen Cloud-Dienst nutzt. Gängige Software für den Betrieb offener Modelle, etwa vLLM oder Ollama, bietet eine zur OpenAI-API kompatible Schnittstelle. Das erleichtert den Wechsel zwischen beiden Welten erheblich. Wie die Suche in eigenen Dokumenten funktioniert, erklärt der Ratgeber KI-Wissensmanagement mit RAG.

So unterstützen wir Sie

Wir testen mit Ihren echten Aufgaben, welche Modelle gut genug sind, offen oder aus der Cloud, und dimensionieren erst danach die Hardware. Weil wir neben der KI auch Server, Netzwerk und IT-Sicherheit planen, erhalten Sie den lokalen Betrieb aus einer Hand, einschließlich Anmeldung, Protokollierung und Updates. Mehr dazu unter Lokale KI.

Open-Source-LLM oder ChatGPT? Offene Sprachmodelle für Unternehmen im Vergleich