Die Frage kommt inzwischen in fast jedem zweiten Gespräch: Können wir das nicht selbst betreiben? Gemeint sind offene Sprachmodelle, die man herunterladen und auf eigener Hardware laufen lassen kann, statt jede Anfrage an einen Anbieter zu schicken. Die Antwort ist unbequem, weil sie mit einer Rechnung anfängt und nicht mit einer Überzeugung.
Was Selbst-Hosten praktisch bedeutet
Ein offenes Modell laufen zu lassen ist technisch kein Kunststück mehr. Sie brauchen eine Maschine mit passender Grafikhardware, entweder im eigenen Serverraum oder gemietet bei einem Rechenzentrumsbetreiber, dazu eine Laufzeitumgebung und eine Schnittstelle, an die Ihre Anwendungen sprechen. Für einen ersten Versuch reicht ein Nachmittag. Genau das ist die Falle. Der Aufbau ist der billige Teil.
Was danach kommt, ist Betrieb. Die Hardware fällt aus. Treiber wollen aktualisiert werden. Ein neues Modell erscheint und Ihre Prompts verhalten sich plötzlich anders. Jemand muss sehen, ob der Dienst noch antwortet, wenn nachts um drei ein Prozess darauf zugreift. Das ist keine Raketenwissenschaft, aber es ist Arbeit, und diese Arbeit hört nie auf. Wer im ersten Gespräch nur über Modellqualität redet und nicht über Bereitschaftsdienst, hat den teuren Teil noch nicht angefasst.
Was dafür spricht
Der stärkste Grund ist Datenhoheit. Wenn Ihre Konstruktionszeichnungen, Patientendaten oder Vertragsentwürfe das Haus nicht verlassen, verschwindet eine ganze Klasse von Fragen aus Ihren Gesprächen mit Kunden, Betriebsrat und Auftraggebern. Nicht weil das Risiko null wäre, sondern weil es in Ihrer Hand liegt.
Der zweite Grund ist Kostenkontrolle bei hohem und gleichmäßigem Volumen. Wer Millionen Textabschnitte klassifiziert oder täglich große Dokumentmengen durch ein Modell schickt, zahlt bei einem Anbieter für jede einzelne Anfrage. Eine eigene Maschine kostet einmal Geld und danach Strom. Ab einer bestimmten Last kippt die Rechnung, und dieser Punkt liegt niedriger, als viele vermuten.
Der dritte Grund wird oft übersehen: Unabhängigkeit. Ein Anbieter kann Preise ändern, ein Modell abschalten oder sein Verhalten anpassen, ohne Sie zu fragen. Wenn ein zentraler Geschäftsprozess daran hängt, ist das ein Klumpenrisiko. Ein Modell, das auf Ihrer Hardware liegt, verhält sich morgen so wie heute.
Was dagegen spricht
Die stärksten Modelle sind derzeit nicht die offenen. Der Abstand wird kleiner, aber er ist da, und er ist spürbar, sobald eine Aufgabe wirklich schwierig wird. Wer die beste verfügbare Qualität für anspruchsvolles Schlussfolgern braucht, wird sie bei einem Anbieter finden und nicht auf der eigenen Karte.
Dazu kommt das Auslastungsproblem. Grafikhardware ist teuer und sie wird nicht billiger, wenn sie nichts tut. Ein Modell, das im Schnitt zwei Stunden am Tag arbeitet und den Rest der Zeit wartet, ist eine sehr elegante Art, Geld zu verbrennen. Anbieter rechnen pro Anfrage ab, und bei schwankender Last ist das schlicht die günstigere Struktur.
Und dann ist da noch der Faktor, den niemand im Angebot stehen hat: die Person, die sich kümmert. Wenn das Wissen über Ihren Modellbetrieb an einem einzelnen Kollegen hängt, haben Sie kein Infrastrukturproblem, sondern ein Personalproblem, und es fällt Ihnen genau dann auf die Füße, wenn dieser Kollege im Urlaub ist.
Eine brauchbare Faustregel
Wer selten und unregelmäßig anfragt, fährt mit einem Anbieter besser. Punkt. Der Aufwand für Betrieb, Wartung und Ausfallsicherheit steht in keinem Verhältnis zu ein paar hundert Anfragen im Monat. Wer dagegen sensible Daten dauerhaft und in Masse verarbeitet, sollte rechnen, und zwar ehrlich: Hardware, Strom, Ausfallsicherheit und Personentage im Monat gehören in die Rechnung, nicht nur der Anschaffungspreis.
Der Zwischenweg ist in der Praxis oft der beste. Sensible Aufgaben laufen lokal, unkritische gehen an einen Anbieter, und die Trennung ist sauber gezogen und dokumentiert. Vertragsentwürfe bleiben im Haus, die Formulierung eines Newsletters darf nach draußen. Das setzt allerdings voraus, dass Ihre Anwendung von Anfang an mit austauschbaren Modellen gebaut wurde. Wer sich fest an eine Schnittstelle nagelt, hat die Wahl später nicht mehr. Genau deshalb ist das eine Frage der Architektur und nicht der Beschaffung.
Ein Missverständnis, das teuer wird
Selbst-Hosting ist nicht automatisch datenschutzkonform. Diese Gleichung höre ich oft und sie ist falsch. Wenn Sie ein Modell im eigenen Haus mit personenbezogenen Daten füttern, brauchen Sie weiterhin eine Rechtsgrundlage, ein Löschkonzept, Zugriffsbeschränkungen und eine Antwort auf die Frage, was in Ihren Protokolldateien landet. Der Betrieb im eigenen Rechenzentrum verlagert die Verantwortung zu Ihnen. Er löst sie nicht auf. Er nimmt Ihnen nur den Auftragsverarbeiter aus der Kette, und das ist eine Erleichterung, keine Absolution.
Häufige Fragen
Welche Hardware brauchen wir für den Anfang?
Das hängt von der Modellgröße und der gewünschten Antwortzeit ab. Für erste Versuche mit kleineren offenen Modellen reicht oft eine einzelne Grafikkarte in einem gemieteten Server. Bevor Sie kaufen, sollten Sie eine Woche lang mieten und messen, wie viele Anfragen tatsächlich anfallen.
Können wir später zwischen eigenem Betrieb und Anbieter wechseln?
Ja, wenn die Anwendung das vorsieht. Der Modellzugriff gehört hinter eine eigene Schnittstelle, damit der Austausch eine Konfigurationsfrage bleibt und kein Umbau wird.
Rechnet sich das für einen mittelständischen Betrieb überhaupt?
Manchmal. Es hängt an der Menge und an der Sensibilität der Daten. Rechnen Sie mit realen Zahlen aus Ihrem Betrieb, nicht mit Beispielrechnungen aus Vorträgen, und beziehen Sie den laufenden Betreuungsaufwand mit ein.
Wenn Sie diese Rechnung einmal mit jemandem durchgehen wollen, der beide Wege kennt und keinen davon verkaufen muss, melden Sie sich, unverbindlich und ohne Verkaufsdruck.
Dieser Beitrag gehört zu unserem Wissens-Hub Individuelle Softwareentwicklung.