KI-Avatar auf dem eigenen Dokumentenbestand, woher die Antwort kommt und wie sie prüfbar wird

Was hier abläuft, in einem Satz ohne Fachwort

Erst suchen, dann formulieren. Nicht erst formulieren.

Ein Sprachmodell allein beantwortet eine Frage aus dem, was beim Training in seine Gewichte eingegangen ist. Ihre Verfahrensanweisung von letzter Woche ist dort nicht. Der Abruf, in der Fachsprache Retrieval Augmented Generation, setzt eine Stufe davor: Die Frage geht zuerst an eine Suche über Ihre eigenen Unterlagen, die gefundenen Abschnitte werden dem Modell mitgegeben, und erst dann formuliert es die Antwort. Das Modell bleibt dabei unverändert.

Diese Reihenfolge ist der ganze Unterschied, und sie erklärt beides: warum der Aufbau nützlich ist und wo er versagt. Nützlich, weil das Wissen austauschbar wird, ohne das Modell anzufassen. Anfällig, weil jede Antwort nur so gut ist wie der Treffer davor. Findet die Suche das falsche Dokument, formuliert das Modell die falsche Antwort sehr überzeugend.

Für die Einordnung nach der KI-Verordnung ist so ein System nach Auffassung der deutschen Datenschutzaufsichtsbehörden ein KI-System im Sinne von Artikel 3 Nummer 1. Das ist keine Randnotiz, sondern der Grund, warum die folgenden Abschnitte von Pflichten sprechen und nicht von Empfehlungen.

Diese Reihenfolge macht ein System auskunftsfähig. Gesprächsfähig macht sie es noch nicht, denn dafür muss eine Rückfrage im Zusammenhang der vorigen bleiben und die zweite Suche von der ersten wissen. Was dazwischen liegt, steht auf der Seite zu dialogfähige KI-Avatare. Wer das trennt, spart sich die häufigste Enttäuschung: ein System, das jede Frage einzeln richtig beantwortet und nach der dritten trotzdem als unbrauchbar gilt.

Wie viel Erfundenes übrig bleibt

9,3 Prozent beim stärksten geprüften Modell. Nicht null.

Die Behauptung, mit angebundenen Dokumenten sei das Erfinden erledigt, lässt sich prüfen, und sie stimmt nicht. Für die Untersuchung RAGTruth haben Niu und Mitautoren knapp 18.000 Antworten aus einem solchen Aufbau von Hand annotiert und je Antwort festgehalten, ob sie Bestandteile enthält, die in den übergebenen Abschnitten nicht stehen. Die Arbeit ist auf der Jahreskonferenz der Association for Computational Linguistics 2024 erschienen und damit begutachtet, nicht nur veröffentlicht.

Zwei Dinge folgen daraus. Erstens die Größenordnung: Der Sprung von einem großen zu einem kleinen Modell kostet den Faktor fünf, und kleine Modelle wählt man aus Kostengründen. Zweitens die letzte Zeile, die unbequemer ist als die erste: Selbst wenn die Quelle vorliegt, erkennt das beste geprüfte Prüfverfahren das Erfundene nur mit einem Wert von 63,4 Prozent. Eine automatische Kontrolle ersetzt den Menschen also nicht, sie sortiert ihm vor.

Die Anbindung an Dokumente macht aus einem Ratesystem ein Nachschlagesystem. Kein fehlerfreies.

Die Stellen, an denen es tatsächlich schiefgeht

Fast immer im Abruf, fast nie im Modell.

Wenn eine Antwort falsch ist, liegt die Ursache meist eine Stufe vor dem Modell. Barnett und Mitautoren haben drei Systeme im Betrieb untersucht und sieben wiederkehrende Fehlerstellen benannt. Die Aufstellung ist nützlich, weil sie beschreibt, wonach man in der Abnahme sucht, statt allgemein von Qualität zu sprechen.

Die vorletzte Zeile verdient eine eigene Bemerkung, weil sie der Grund ist, warum die Fundstelle sichtbar sein muss. Die deutschen Datenschutzaufsichtsbehörden beschreiben denselben Fall: Bei widersprüchlichen Inhalten können die Berechnungen im Modell dazu tendieren, das Wissen aus den Trainingsdaten wiederzugeben und die Inhalte aus den Referenzdokumenten zu verwerfen. Das ist von außen nicht zu erkennen, solange niemand die angegebene Quelle aufmacht.

Berechtigungen wirken vor dem Abruf, nicht danach

Im Modell selbst lässt sich nichts steuern. Das ist keine Meinung.

Dies ist der Punkt, an dem die meisten Vorhaben scheitern, und er ist erfreulich klar geregelt. Die Konferenz der unabhängigen Datenschutzaufsichtsbehörden schreibt in ihrer Orientierungshilfe zu dieser Bauart, dass im Sprachmodell selbst nicht gesteuert werden kann, auf welche Informationen bestimmte Nutzer zugreifen dürfen und auf welche nicht. Steuerbar ist allein die Stufe davor, also welche Abschnitte gefunden und übergeben werden.

Daraus folgt eine Bauregel, die keinen Ermessensspielraum hat: Der Rechtefilter greift, bevor die Suche etwas an das Modell übergibt. Ein Aufbau, der zuerst über den gesamten Bestand sucht und anschließend die Antwort kürzt, hat die Grenze bereits überschritten, denn die Inhalte waren im Modell. Dass in der Ausgabe nichts davon auftaucht, ändert daran nichts.

Eine Folgerung daraus fällt positiv aus und wird selten genannt. Weil die Trennung im Bestand und nicht im Modell stattfindet, können bei Erfüllung der übrigen Anforderungen auch Unterlagen mit höherem Schutzbedarf einbezogen werden, etwa Gesundheitsdaten nach Artikel 9. Voraussetzung ist, dass sie getrennt liegen und mit ihnen weder trainiert noch nachtrainiert wird. Die Aufsicht schließt das ausdrücklich nicht aus.

Die Zweckbindung, die in der Ausgabe unsichtbar bleibt

Das Modell verkettet, was Sie getrennt halten wollten.

Es gibt ein Problem in dieser Bauart, das man nicht sieht und deshalb leicht übergeht. Wenn personenbezogene Daten aus dem eigenen Bestand an das Sprachmodell übergeben werden, können sie sich mit den personenbezogenen Daten verketten, die im Modell selbst stecken. Die Aufsichtsbehörden benennen das als möglichen Verstoß gegen die Zweckbindung nach Artikel 5 Absatz 1 Buchstabe b und weisen darauf hin, dass diese Verkettung in der Ausgabe unter Umständen nicht erkennbar ist.

Praktisch heißt das: Die Frage nach dem Zweck einer Abfrage gehört nicht in eine Absichtserklärung, sondern in die Rollenzuordnung. Wer denselben Bestand für zwei Zwecke nutzt, etwa für fachliche Auskunft und für die Vorbereitung einer Personalentscheidung, braucht dafür zwei Rollen und muss die passende vor der Abfrage bekommen. Das ist unbequem in der Einrichtung und später nicht nachholbar.

Der billigste Teil der Absicherung liegt am Anfang: Was nicht in den Bestand aufgenommen wird, kann auch nicht herausfallen. Die Aufsicht nennt genau diesen Weg, nämlich zu bestimmen, welche Dokumente überhaupt aufgenommen werden, und personenbezogene Daten schon bei der Aufbereitung zu entfernen oder zu anonymisieren, soweit sie nicht erforderlich sind. Eine Stunde Auswahl vorne erspart eine Diskussion hinten.

Was den Quellennachweis wirklich verlangt

Keine Vorschrift fordert das Zitat. Prüfbar wird es erst damit.

Hier ist eine Auskunft nötig, die gegen das eigene Interesse geht. Eine Vorschrift, die ausdrücklich verlangt, dass eine KI-Auskunft die Fundstelle mitliefert, gibt es nicht. Wer das behauptet, dehnt eine Norm. Die Begründung trägt trotzdem, sie kommt nur aus drei anderen Richtungen.

Die Fassung, die vor einem Qualitätsverantwortlichen hält, lautet deshalb anders als die im Verkaufsgespräch. Nicht: Das Gesetz verlangt Quellenangaben. Sondern: Wer nach ISO 9001 zertifiziert ist, muss den Freigabestand jedes Dokuments beherrschen, und eine Auskunft ohne Rückweg zum Dokument lässt sich in diesem System nicht prüfen. Aus derselben Überlegung folgt, dass die Fundstelle die Version enthalten sollte und nicht nur den Dateinamen.

Die Fundstelle ist keine Pflichtangabe. Sie ist der Unterschied zwischen einer Auskunft und einer Behauptung.

Aktualität ist eine Pflicht, keine Kennzahl

Wie schnell Unterlagen veralten, weiß niemand. Prüfen muss man trotzdem.

Zu der Frage, wie schnell interne Dokumentation veraltet, kursieren Zahlen. Wir haben sie nachverfolgt: Sie stammen ohne Ausnahme aus Beiträgen von Anbietern entsprechender Software, und die einzige darin genannte Erhebung ist eine Leserumfrage eines Fachmagazins ohne dokumentierte Stichprobe. Auf einer Seite, die von Nachprüfbarkeit handelt, hat davon nichts etwas zu suchen.

Die belastbare Aussage ist ohnehin die stärkere, weil sie eine Pflicht beschreibt und keine Statistik. Die Aufsichtsbehörden halten fest, dass unvollständige oder veraltete Daten zu unrichtigen Ausgaben führen und dass die verantwortliche Stelle deshalb regelmäßig überprüfen muss, ob die verwendeten Referenzdokumente den Anforderungen an Qualität, Aktualität und Vollständigkeit entsprechen. Wer prüft, ist also nicht besonders gründlich, sondern zuständig.

Die letzte Zeile ist die, die in Vorhaben regelmäßig fehlt. Ein ausgefallenes Einlesen macht kein System kaputt und wirft keine Fehlermeldung, es lässt es höflich weiter antworten, nur eben aus dem Bestand von vorletztem Monat. Wer hier keinen Alarm einbaut, erfährt es vom Kollegen aus dem Fachbereich, im besseren Fall.

Ein Vorteil dieser Bauart gehört an dieselbe Stelle, und die Aufsicht benennt ihn ausdrücklich: Anders als bei Informationen, die in einem Modell stecken, lassen sich Daten in den Referenzdokumenten löschen oder aktualisieren, wenn sie fehlerhaft oder veraltet sind. Genau das ist der Grund, warum diese Bauart für Auskunft aus einem lebenden Bestand die richtige ist und Nachtrainieren nicht.

Der Betriebsrat sitzt hier mit am Tisch

Objektive Eignung zur Überwachung genügt. Absicht ist nicht nötig.

Ein Auskunftssystem protokolliert Abfragen, und für den Nachweis, um den es auf dieser Seite geht, muss es das sogar. Damit ist es eine technische Einrichtung, die geeignet ist, Informationen über Beschäftigte zu erheben. Für § 87 Absatz 1 Nummer 6 Betriebsverfassungsgesetz genügt genau diese objektive Eignung; auf eine Überwachungsabsicht des Arbeitgebers kommt es nicht an. Das Bundesarbeitsgericht hat das im Beschluss vom 8. März 2022 (1 ABR 20/21) für eine gewöhnliche Büroumgebung bestätigt und dabei an seine frühere Entscheidung (1 ABR 13/17) angeknüpft.

Gegen diese Einordnung wird gelegentlich ein Beschluss des Arbeitsgerichts Hamburg vom 16. Januar 2024 ins Feld geführt, mit dem ein Antrag auf einstweilige Untersagung abgewiesen wurde. Der Beschluss existiert, das Aktenzeichen lautet 24 BVGa 1/24 und nicht, wie vielfach abgeschrieben, 42 BVGa 1/24. Er taugt aber nicht als Entwarnung: Die Begründung trägt allein deshalb, weil die Beschäftigten dort private Zugänge im Browser nutzten und der Arbeitgeber gar keine Nutzungsdaten erhielt. Ein internes System auf eigenen Dokumenten mit eigenen Konten ist der umgekehrte Sachverhalt.

Der praktische Rat ist unspektakulär. Die Beteiligung kostet Wochen, wenn sie eingeplant ist, und Monate, wenn sie nachgeholt werden muss. Was den Zeitplan dabei am häufigsten sprengt, ist nicht der Widerspruch, sondern die Frage, welche Protokolle wie lange aufbewahrt werden und wer sie auswerten darf. Diese Antwort sollte vorliegen, bevor sie gestellt wird.

Wo die KI-Verordnung greift, und wo nicht

Der Zweck entscheidet, nicht die Technik. Und die Fristen sind neu.

Ein System, das Beschäftigten Fachinformationen zugänglich macht, ist in Anhang III der KI-Verordnung nicht genannt und damit als solches nicht hochriskant. Hochrisiko entsteht über den Zweck, in dieser Umgebung insbesondere über Anhang III Nummer 4 zu Beschäftigung und Personalmanagement. Der Übergang ist schnell erreicht: Auskunft zu einer Verfahrensanweisung ist kein Fall, eine Bewertung von Leistung oder eine Zuweisung von Aufgaben schon.

Für die Planung wichtiger als die Einordnung ist eine Änderung vom Sommer 2026. Die Verordnung (EU) 2026/1744 vom 8. Juli 2026, im Amtsblatt am 24. Juli veröffentlicht und seit dem 27. Juli in Kraft, hat den Geltungsbeginn der Pflichten für Hochrisiko-Systeme nach Anhang III um sechzehn Monate auf den 2. Dezember 2027 verschoben, für Systeme in Produkten nach Anhang I auf den 2. August 2028. Die Einordnung selbst verschiebt sich nicht, nur der Tag, ab dem die Pflichten daran hängen.

Zu Artikel 4 gehört eine Berichtigung, weil die alte Fassung überall abgeschrieben wird, auch von uns bis vor kurzem. Der Artikel verlangt seit Juli 2026, Maßnahmen zu ergreifen, um die KI-Kompetenz der beteiligten Personen zu fördern. Im Text steht seitdem ausdrücklich, dass damit kein bestimmtes Kompetenzniveau einer einzelnen Person garantiert werden muss. Wer Ihnen ein Schulungspaket mit der Begründung verkauft, das Gesetz verlange den Nachweis je Person, verkauft eine Fassung, die es nicht mehr gibt. Die Schulung selbst bleibt sinnvoll, ihre Begründung ändert sich.

Unabhängig von der Einordnung empfehlen die Datenschutzaufsichtsbehörden für diese Bauart eine Datenschutz-Folgenabschätzung nach Artikel 35 der Datenschutz-Grundverordnung, und zwar über alle Bestandteile hinweg: Suche, Bestand und Sprachmodell zusammen. Das ist der Anlass, die Frage nach dem Verarbeitungsort einmal richtig zu beantworten, statt sie in einer Produktbeschreibung zu behaupten.

Was wir nicht zusagen

Vier Sätze, die in diesem Feld üblich sind und die wir nicht sagen.

In Angeboten zu dieser Bauart stehen regelmäßig vier Zusagen, die wir nicht geben, und es ist fairer, das vorher zu lesen als hinterher zu merken. Erstens sagen wir nicht, dass das System nichts erfindet. Die Zahlen weiter oben und die Aufsichtsbehörden selbst sagen etwas anderes. Zweitens sagen wir keine Trefferquote zu. Sie hängt an Ihren Unterlagen, und die kennen wir vor der Aufnahme nicht.

Drittens nennen wir keinen Verarbeitungsort, bevor geklärt ist, welche Unterlagen hineingehören. Der Betrieb im eigenen Rechenzentrum ist möglich, ebenso eine für Sie betriebene Umgebung oder ein Anbieter mit vertraglich festgelegtem Ort; was davon richtig ist, ergibt sich aus dem Bestand und gehört in den Vertrag. Viertens rechnen wir Ihnen keine eingesparten Suchstunden vor. Die dafür kursierende Prozentzahl geht auf eine Anpassung fremder Schätzungen aus der Zeit vor 2012 zurück, umfasst auch die Suche nach Ansprechpartnern und ist keine Messung.

Was wir stattdessen anbieten, ist unspektakulärer und prüfbar: eine Aufnahme der Quellen und der Berechtigungen, eine Antwort mit sichtbarer Fundstelle samt Version, eine benannte Zuständigkeit für die Pflege des Bestands und einen Nachweis, mit dem sich hinterher zeigen lässt, woher eine Auskunft kam.

Fünf Fragen vor der Anfrage

Wer diese beantwortet, spart im ersten Gespräch eine halbe Stunde.

1. Welche Ablagen sollen hinein, und wer gibt deren Inhalte fachlich frei?
2. Wie viele Berechtigungsstufen gibt es wirklich, und woher kommen sie?
3. Wer ist zuständig, wenn ein Dokument widerrufen wird oder ein Einlesen ausfällt?
4. Soll die Auskunft nur informieren, oder soll sie später eine Entscheidung vorbereiten?
5. Ist der Betriebsrat unterrichtet, und ist geklärt, welche Protokolle wie lange aufbewahrt werden?

Die vierte Frage entscheidet über die Einordnung nach der KI-Verordnung und damit über den ganzen Umfang des Vorhabens. Die fünfte entscheidet über den Zeitplan. Beide werden in Vorhaben oft erst gestellt, wenn die Technik schon steht, und dann sind sie teuer.

Was Sie als Nächstes lesen sollten

Fünf Seiten zu den Punkten, die hier nur angerissen sind.

Diese Seite behandelt die Herkunft der Antwort. Wie das sprechende Gegenüber davor technisch funktioniert, mit welcher Verzögerung zu rechnen ist und wann eine geschriebene Antwort die bessere ist, steht auf der Seite zum Avatar-Chatbot. Wie ein Dienst im laufenden Betrieb aussieht, mit Eskalationswegen und der Frage, woran sich der Effekt ablesen lässt, steht auf der Seite zum Kundenservice.

Für öffentliche Stellen kommen Amtssprache, Barrierefreiheit und die Grenze zur verbindlichen Auskunft hinzu, das steht auf der Seite zur Verwaltung. Wer mehrere Sprachfassungen plant, findet dort, was je Fassung neu entsteht und wer sie fachlich abnimmt. Und was von all dem in den Vertrag gehört, Nutzungsrechte, Ablageort, Aufbewahrung und Löschung, steht auf der Seite zur Zusammenarbeit.

Eine Größe aus dem Abruf wird erst im gesprochenen Betrieb zum Problem: Suche, Auswahl der Abschnitte und Formulierung brauchen Zeit, und im Gespräch fällt diese Zeit auf. Was sich davon verkürzen lässt, was nicht, und wie man mit dem Rest umgeht, steht auf der Seite zu interaktive Echtzeit-KI-Avatare.

Häufige Fragen zum Abruf aus dem eigenen Dokumentenbestand