Ein Sprachmodell hat sehr viel gelesen. Ihre Preisliste war nicht dabei. Auch nicht der Wartungsvertrag von 2019, die interne Notiz zur Rücknahme von Sonderanfertigungen und der Ordner, in dem steht, welcher Kunde welche Maschine bekommen hat. Wenn Sie ein solches Modell trotzdem danach fragen, bekommen Sie fast immer eine Antwort. Sie klingt gut. Sie ist erfunden.
An dieser Stelle erleben die meisten Unternehmen ihre erste Enttäuschung mit Sprachmodellen. Und genau hier setzt Retrieval-Augmented Generation an, meist als RAG abgekürzt.
Erst suchen, dann antworten
Die Idee ist unspektakulär und deshalb tragfähig. Bevor das Modell überhaupt einen Satz formulieren darf, wird in Ihren eigenen Dokumenten gesucht. Die Stellen, die zur Frage passen, werden herausgezogen und dem Modell als Kontext mitgegeben. Erst dann formuliert es eine Antwort, ausschließlich aus dem, was es bekommen hat, und nennt dazu die Quelle.
Aus einem Allwissenden, der nichts über Sie weiß, wird so ein Kollege, der Ihre Ablage lesen kann und dazusagt, wo er es gefunden hat. Das ist ein kleiner Unterschied im Aufbau und ein sehr großer im Vertrauen.
Die Kette, verständlich erklärt
Zuerst werden die Dokumente zerlegt. Ein Handbuch mit dreihundert Seiten wird in überschaubare Abschnitte geschnitten, weil niemand, auch kein Modell, dreihundert Seiten auf einmal als Kontext gebrauchen kann. Jeder Abschnitt wird anschließend in eine Zahlenreihe überführt, einen Vektor. Der beschreibt nicht die Wörter, sondern die Bedeutung. Deshalb findet die Suche später auch dann etwas, wenn jemand nach Garantie fragt und im Dokument Gewährleistung steht.
Kommt eine Frage herein, wird sie ebenfalls in so einen Vektor überführt, und das System sucht die ähnlichsten Abschnitte. Die gehen zusammen mit der Frage und einer klaren Anweisung an das Modell: Antworte nur hieraus, und wenn es nicht drinsteht, sag das.
Woran es in der Praxis scheitert
Nicht am Modell. Fast nie am Modell. Es scheitert an den Dokumenten. Wenn drei Versionen derselben Preisliste im Laufwerk liegen und keine ein Datum trägt, holt das System die falsche heraus, und zwar zuverlässig. Wenn eine Regelung nur in den Köpfen von zwei Mitarbeitern existiert und nirgends aufgeschrieben ist, findet die Suche nichts, und dann hilft auch die beste Technik nicht.
Deshalb der ehrlichste Satz, den wir zu dem Thema sagen können: Ein RAG-System repariert kein Wissenschaos. Es macht es sichtbar. Meist in der ersten Woche und vor Publikum.
Wer darf was sehen
Der zweite Punkt, den viele unterschätzen, sind die Zugriffsrechte. Eine Suche über alle Firmendokumente ist bequem, bis der Werkstudent nach Gehältern fragt und eine hilfreiche, ordentlich belegte Antwort bekommt. Die Rechte müssen an der Suche hängen, nicht an der Oberfläche. Gesucht wird immer nur in dem, was der fragende Mensch ohnehin öffnen dürfte. Alles andere ist ein Datenleck mit Chatfenster.
Darf eine Antwort ohne Beleg raus?
Bleibt die Frage, was passiert, wenn nichts Passendes gefunden wird. Technisch könnte das Modell trotzdem antworten, aus seinem allgemeinen Wissen. Wir raten davon ab. Ein System, das in neun von zehn Fällen belegt und im zehnten still fantasiert, ist schlechter als gar keins, weil niemand mehr weiß, welchem Satz er trauen kann. Lieber ein klares Ich finde dazu nichts. Das ist eine brauchbare Antwort. Sie führt zu einem Telefonat statt zu einem Fehler.
Wie ein solcher Aufbau in Ihrem Haus aussehen könnte, ordnen wir in der KI-Beratung ein.
Häufige Fragen
Brauchen wir dafür ein eigenes, trainiertes Modell?
Meistens nicht. Ihr Wissen kommt über die Suche in die Antwort, nicht über ein Training. Das ist schneller, deutlich günstiger und hat den angenehmen Nebeneffekt, dass ein korrigiertes Dokument sofort wirkt.
Bleiben unsere Dokumente im Haus?
Das hängt davon ab, wo Suche und Modell laufen. Beides lässt sich im eigenen Rechenzentrum betreiben. Diese Frage sollten Sie früh stellen, weil sie die Architektur bestimmt und nicht am Ende noch nachgerüstet werden kann.
Ab wie vielen Dokumenten lohnt sich das?
Interessant wird es in dem Moment, in dem Menschen anfangen, sich gegenseitig zu fragen, wo etwas steht. Je nach Firma passiert das schon bei einigen hundert Dateien.
Wenn Sie einschätzen möchten, ob Ihr Wissen für so einen Schritt reif ist, sprechen wir darüber, unverbindlich und ohne Verkaufsdruck.
Dieser Beitrag gehört zu unserem Wissens-Hub KI und Digitalisierung im Mittelstand.