Firmenwissen mit KI durchsuchen: Copilot, ChatGPT, Claude oder RAG?

„Wir haben fünfzehn Jahre Handbücher, Angebote und Verträge in SharePoint. Kann die KI da nicht einfach drübergehen?“ Die kurze Antwort: Technisch geht das heute mit jedem großen Anbieter. Aufwendig wird es an anderer Stelle, nämlich bei dem, was die KI dabei sichtbar macht. Die vier fertigen Lösungen, die wir uns angesehen haben, zeigen einer Person nur, was sie ohnehin öffnen darf, und eine eigene Lösung muss das genauso leisten. Sind eure Freigaben zu großzügig, findet die KI genau das.

Für diesen Ratgeber haben wir am 13. November 2026 die Dokumentation von Microsoft, OpenAI, Anthropic und Google zu Konnektoren, Berechtigungen und Grenzen gelesen, dazu die Doku von Azure KI-Suche für eigene Lösungen und die Orientierungshilfen der Datenschutzkonferenz. Ihr bekommt eine Entscheidungs-Matrix für die fünf Wege, eine Rechnung, was eine eigene Lösung technisch kostet, und eine Pilot-Checkliste mit Testfragen als Excel-Vorlage, dazu ein ausgefülltes Beispiel.

In a nutshell (as of November 2026)

Nehmt den Weg, der zu eurer Ablage passt, und testet ihn mit einer einzigen Wissensquelle und 30 bis 50 echten Fragen, bevor ihr irgendetwas breit freischaltet. Liegen die Dokumente in SharePoint, ist Microsoft 365 Copilot der kürzeste Weg, und die Werkzeuge gegen zu offene Freigaben sind laut Microsoft in der Copilot-Lizenz enthalten. Auf Google Workspace arbeitet Gemini mit genau euren Drive-Rechten. ChatGPT Business und Claude Team binden SharePoint, Drive und weitere Quellen über Konnektoren an, ChatGPT lässt sich dabei auf ausgewählte Websites begrenzen, der Microsoft-365-Konnektor von Claude laut Anthropic nicht. Eine eigene RAG-Lösung lohnt sich, wenn ihr eine eigene Oberfläche, Fachlogik oder Quellen außerhalb dieser Welten braucht. Die Technik ist dabei billig, Berechtigungen und Pflege sind es nicht. Wichtigste Regel für den Pilot: Mindestens zwei eurer Testfragen prüfen, ob die KI etwas zeigt, das die fragende Person nicht sehen darf.

So kommt die KI an eure Dokumente

Alle fünf Wege arbeiten nach demselben Muster: erst suchen, dann antworten. Das Verfahren heißt Retrieval Augmented Generation, kurz RAG. Auf eine Frage sucht das System die passenden Textstellen in euren Dokumenten, gibt sie dem Sprachmodell mit und lässt es daraus eine Antwort mit Quellenangabe formulieren. Die Anbieter unterscheiden sich darin, wo gesucht wird und wie die Berechtigungen geprüft werden.

Der gemeinsame Ablauf und die fünf Wege. Im zweiten Schritt, der Suche, gelten die Rechte der fragenden Person, und nur dort lässt sich der Zugriff eingrenzen.

Für die Entscheidung heißt das: Wichtiger als das Modell ist der Ort, an dem gesucht wird. Bei Copilot und Gemini ist es die Suche in eurer Bürosoftware, bei ChatGPT und Claude ein Konnektor, der mit euren Rechten in dieser Bürosoftware sucht, bei einer eigenen Lösung ein Index, den ihr selbst baut und dessen Rechteprüfung ihr selbst verantwortet. Anthropic weist in einem Beitrag zur Suchtechnik darauf hin, dass eine Wissensbasis unter etwa 200.000 Tokens, rund 500 Seiten, auch komplett in die Anfrage passt. Für ein einzelnes Handbuch braucht ihr also oft gar keine Suchtechnik, ein Projekt mit hochgeladenen Dateien reicht.

Microsoft 365 Copilot: der kürzeste Weg, wenn alles in SharePoint liegt

Wer auf Microsoft 365 arbeitet, bekommt mit der Copilot-Lizenz die Suche über SharePoint, OneDrive, Teams und Outlook ohne weiteren Aufbau. Laut Microsoft Learn stützt sich Copilot auf Microsoft Graph und einen semantischen Index, und dieser Index „berücksichtigt die auf der Benutzeridentität basierende Zugriffsgrenze“. Er wird nur für Nutzer mit bezahlter Lizenz erzeugt und lässt sich nicht abschalten. Eine Website schließt ihr laut derselben Seite nur aus, indem ihr sie aus den Suchergebnissen nehmt.

Nicht verwechseln solltet ihr das mit Copilot Chat, das in Microsoft 365 ohne Aufpreis enthalten ist. Es nutzt laut Microsoft vor allem Webdaten und greift nicht über Microsoft Graph auf eure Inhalte zu. Firmendokumente kommen nur hinein, wenn jemand sie ausdrücklich angibt. Wer Nutzern ohne Lizenz trotzdem ein Wissenswerkzeug geben will, kann Agents in SharePoint oder Copilot Chat mit nutzungsbasierter Abrechnung über ein Azure-Abonnement betreiben. Erstellen darf solche SharePoint-Agents laut Microsoft nur, wer eine Copilot-Lizenz hat.

Quellen außerhalb von Microsoft 365 schließt ihr über Copilot-Konnektoren an. Microsoft nennt mehr als 100 fertige Konnektoren, darunter Confluence, Google Drive, Netzwerk-Dateifreigaben, ServiceNow und Jira. Jedes indizierte Element trägt laut Doku eine Zugriffsliste aus dem Quellsystem. Für Antworten in Copilot braucht es die Copilot-Lizenz, mit Microsoft 365 allein landen die Inhalte nur in der normalen Suche. Die Indizierung kostet laut Microsoft nichts extra. Beim Testen hilft ein Hinweis aus Microsofts Support: Bei langen Dateien richtet das Modell seine Aufmerksamkeit eher auf Anfang und Ende als auf die Mitte.

ChatGPT Business und Enterprise: Apps und Company Knowledge

ChatGPT verbindet sich über sogenannte Apps mit SharePoint, Google Drive, Teams, Outlook, Box, Notion, Slack und GitHub und sucht dort mit den Rechten der jeweiligen Person. Für SharePoint schreibt OpenAI in der Hilfe, ChatGPT rufe nur Inhalte ab, auf die das verbundene Microsoft-Konto ohnehin zugreifen darf. Dafür müssen die Microsoft-Rechte Sites.Read.All und Files.Read.All sowohl in ChatGPT als auch in Microsoft Entra freigegeben sein. Die feinere Microsoft-Variante Sites.Selected wird für die Live-Suche nicht unterstützt.

Die Hilfe von OpenAI zur SharePoint-App: Abruf nur mit den Rechten des Microsoft-Kontos (1), die eingeschränkte Microsoft-Berechtigung Sites.Selected wird für die Live-Suche nicht unterstützt (2).

Begrenzt den Zugriff für den Pilot über die Liste erlaubter Websites. Laut OpenAI können Workspace-Admins SharePoint-Websitesammlungen erlauben oder sperren und Dateien mit bestimmten Purview-Vertraulichkeitsbezeichnungen ausschließen. Die Funktion muss für den Workspace erst freigeschaltet werden, sie wirkt nur auf ganze Websitesammlungen, und eine leere Erlaubnisliste sperrt nichts. Gesucht werden laut Hilfe .txt, .pdf, .docx, .pptx, .xlsx und .csv bis 100 MiB je Datei.

Die Funktion „Company Knowledge“ bündelt diese Quellen für Antworten mit Quellenlinks. Sie ist laut OpenAI inzwischen ein Plugin und in Business, Enterprise und Edu verfügbar. Für die IT zählt vor allem: In ChatGPT Business sind Apps standardmäßig eingeschaltet, neue Enterprise-Workspaces starten mit einer Auswahl. Rollenbasierte Freigaben je Gruppe gibt es laut OpenAI für Enterprise und Edu. Für kleine, feste Wissenssammlungen gibt es Projekte mit bis zu 40 Dateien in Business und Enterprise. Eingebettete Bilder in Projektdateien werden laut OpenAI unter Umständen nicht automatisch berücksichtigt, Schaubilder und Tabellen, die nur als Bild vorliegen, können also verloren gehen. Wie ihr ChatGPT im Alltag gut bedient, steht in ChatGPT richtig nutzen.

Claude Team und Enterprise: Projekte, Microsoft-365-Konnektor und „Ask Your Org“

Für eine überschaubare Wissenssammlung reicht in Claude ein geteiltes Projekt. Wird das Projektwissen zu groß für das Kontextfenster, schaltet Claude laut Anthropic automatisch in einen RAG-Modus und erweitert die Kapazität um bis zum Zehnfachen. Das gilt für alle bezahlten Tarife. Teilen mit Lese- oder Bearbeitungsrechten geht in Team und Enterprise. Anthropic empfiehlt dafür klare, beschreibende Dateinamen. Eine Datei namens „final_neu2.pdf“ verrät der Suche nichts über ihren Inhalt.

Der Microsoft-365-Konnektor durchsucht SharePoint, OneDrive, Outlook und Teams, aber immer den ganzen Mandanten. In Team und Enterprise schaltet ein Owner den Konnektor frei, zusätzlich braucht es eine einmalige Zustimmung eines globalen Administrators in Microsoft Entra. Laut Anthropic spiegelt Claude die bestehenden Microsoft-365-Rechte jeder Person. Eine Einschränkung auf bestimmte Websites wird laut Hilfe ausdrücklich nicht unterstützt. Begrenzen könnt ihr nur, welche Personen den Konnektor nutzen dürfen, über die Einstellung „Zuweisung erforderlich“ in Entra, und welche Microsoft-Rechte er bekommt.

Die Einrichtungshilfe von Anthropic zum Microsoft-365-Konnektor: Suche über den gesamten Mandanten ohne Einschränkung auf einzelne Websites (1), Claude übernimmt die Microsoft-365-Rechte jeder Person (2).

Für die unternehmensweite Suche hat Anthropic ein vorkonfiguriertes Projekt „Ask Your Org“ eingeführt, laut Hilfe für Team und Enterprise. Ein Owner richtet es ein und muss dabei mindestens je einen Konnektor für Dokumente und Chat wählen. Jede Person meldet sich danach mit eigenem Konto bei den Quellen an. Wer erst aufräumen muss, startet bei Claude besser mit einem geteilten Projekt als mit dem Konnektor. Mehr zur Bedienung steht in Claude richtig nutzen.

Gemini und Gemini Notebook: wenn ihr auf Google Workspace arbeitet

Auf Google Workspace sieht Gemini genau das, was ihr seht, und greift seit April 2026 automatisch auf Gmail, Chat, Kalender und Drive zurück. Google formuliert es in der deutschen Hilfe so: „Gemini hat denselben Zugriff auf Workspace-Daten wie Sie.“ Ausnahmen sind Drive-Dateien, bei denen der Eigentümer Herunterladen, Kopieren und Drucken gesperrt hat, und delegierte Postfächer. Die automatische Einbindung heißt laut Google „Workspace Intelligence“, ist standardmäßig an und lässt sich je Domain, Organisationseinheit oder Gruppe für einzelne Quellen abschalten.

Für feste Wissenssammlungen gibt es Gemini Notebook, früher NotebookLM. Eine Quelle darf laut Google bis zu 500.000 Wörter oder 200 MB umfassen, die Zahl der Quellen je Notizbuch hängt von der Edition ab. Ein Haken für Unternehmen mit Vorgaben zum Speicherort: Die Datenregionen von Workspace gelten laut Google nicht für Gemini Notebook, auch nicht für die zwischengespeicherten Drive-Dateien. Wer Confluence, SharePoint oder Jira mit einbinden will, landet bei Gemini Enterprise, einem eigenen Produkt in Google Cloud mit über 100 Integrationen. Öffentlich nennt Google dafür nur den Einstiegspreis der Business-Edition, ab 21 US-Dollar je Nutzer und Monat.

Eigene RAG-Lösung: wann sich der Bau lohnt

Baut selbst, wenn ihr eine eigene Oberfläche, eigene Fachlogik oder Quellen braucht, die kein Standardwerkzeug sauber anbindet. Typische Fälle sind ein Serviceportal für Kunden mit Handbüchern, eine Suche über Produktdaten aus dem ERP zusammen mit technischen Dokumenten oder ein Assistent, der in eine bestehende Fachanwendung eingebaut wird. Die Bausteine sind überschaubar: Dokumente in Abschnitte zerlegen, Abschnitte als Vektoren speichern, etwa in Azure KI-Suche, in PostgreSQL mit der Erweiterung pgvector oder in der Open-Source-Datenbank Qdrant, und die Treffer an ein Sprachmodell geben. Microsoft empfiehlt als Startwert Abschnitte von 512 Tokens mit 25 Prozent Überlappung.

Plant die Berechtigungen als eigenes Arbeitspaket, denn hier liegt das Risiko. Azure KI-Suche bietet laut Microsoft vier Ansätze für Rechte auf Dokumentebene. Allgemein verfügbar ist davon nur der Sicherheitsfilter, und den beschreibt Microsoft selbst nüchtern: Er „simuliert die Autorisierung auf Dokumentebene“, eine Authentifizierung über die Identität findet dabei nicht statt. Die Prüfung mit dem Entra-Konto des Nutzers sowie die Übernahme von SharePoint-Rechten und Purview-Bezeichnungen sind noch Vorschau. Außerdem greifen Rechteänderungen in der Quelle erst nach der nächsten Synchronisierung. Wer Abschnitte bildet, muss die Rechte in jeden Abschnitt mitnehmen, sonst wird auf Abschnittsebene nicht gefiltert.

Die Datenschutzkonferenz sieht darin sogar einen Vorteil. In ihrer Orientierungshilfe zu RAG vom Oktober 2025 schreibt sie, im RAG-Teil ließen sich „bewährte technische und organisatorische Maßnahmen“ wie ein Rechte- und Rollenkonzept anwenden, während „im Sprachmodell (LLM) selber nicht gesteuert werden“ könne, wer worauf Zugriff hat. Die Rechte gehören also in die Suche, nicht in die Anweisung an das Modell.

Die Entscheidungs-Matrix: welcher Weg zu euch passt

Entscheidet nach drei Fragen: Wo liegen die Dokumente, wie fein müsst ihr den Zugriff begrenzen, und braucht ihr eine eigene Oberfläche? Die Tabelle fasst zusammen, was die Hersteller dokumentieren. In der Vorlage findet ihr dieselben fünf Wege als gewichtete Matrix mit drei Ausschlusskriterien und acht Bewertungskriterien zum Anpassen.

Die fünf Wege im Vergleich, Stand 13. November 2026. In der Spalte „Achtung“ stehen vor allem Grenzen beim Eingrenzen des Zugriffs.

Ein pragmatischer Weg ist, zwei Wege zu kombinieren: Copilot oder Gemini für die Breite, weil dort die Suche über alles schon eingebaut ist, und für einen klar abgegrenzten Fachbereich ein geteiltes Projekt in ChatGPT oder Claude mit ausgewählten Dokumenten. Das funktioniert, solange schriftlich geregelt ist, welche Daten in welches Werkzeug dürfen. Eine Vorlage mit Daten-Ampel dafür findet ihr in unserer KI-Richtlinie für Mitarbeiter.

Oversharing: das eigentliche Risiko liegt in euren Freigaben

Prüft vor dem Anschließen, was in eurer Ablage für alle freigegeben ist, denn die KI ändert keine Rechte, sie macht sie nur sichtbar. Eine Datei, die vor Jahren mit „Jeder außer externen Benutzern“ geteilt wurde, hat bisher vielleicht nie jemand gesucht, die KI findet sie beim ersten passenden Stichwort. Microsoft schreibt zu dieser eingebauten SharePoint-Gruppe: „Die Freigabe mit der EEEU kann zu einer unbeabsichtigten Offenlegung von Daten führen, da sie allen aktuellen und zukünftigen Mitarbeitern Zugriff gewährt.“

Microsoft Learn zum Bericht „Jeder außer externen Benutzern“: warum Freigaben an diese Gruppe riskant sind (1) und dass der Bericht die Websites mit den meisten solchen Freigaben der letzten 28 Tage zeigt (2).

Nutzt die Werkzeuge, die mit der Copilot-Lizenz schon da sind. SharePoint Advanced Management ist laut Microsoft in der Copilot-Lizenz enthalten, schon eine einzige zugewiesene Lizenz im Mandanten schaltet die Funktionen für die SharePoint-Admins frei. Dazu gehören die Berichte zur Datenzugriffs-Governance, die Websites mit möglicherweise zu offenen Freigaben zeigen und laut Microsoft vierteljährlich laufen sollten, der Bericht zu „Jeder außer externen Benutzern“ mit den 100 auffälligsten Websites der letzten 28 Tage, Websitezugriffsüberprüfungen, bei denen die Websitebesitzer selbst nachbessern, und Richtlinien für inaktive Websites.

Fünf Freigabemuster, die eine KI-Suche sichtbar macht, und das passende Werkzeug dagegen. Die Werkzeuge sind Microsoft-spezifisch, die Muster gibt es in jeder Ablage.

Für den Übergang gibt es die eingeschränkte Inhaltsermittlung. Sie nimmt einzelne SharePoint-Websites aus der organisationsweiten Suche und aus Copilot-Antworten heraus, ändert aber laut Microsoft „keine bestehenden Berechtigungen“, wirkt nicht für OneDrive und ist ausdrücklich als vorübergehende Maßnahme gedacht. Die ältere eingeschränkte SharePoint-Suche mit ihrer Liste von höchstens 100 Websites wird eingestellt, neu aktivieren lässt sie sich laut Microsoft seit dem 31. Juli 2026 nicht mehr. Wer verschlüsselnde Vertraulichkeitsbezeichnungen nutzt, sollte wissen: Copilot fasst Inhalte nur zusammen, wenn die Person das Recht EXTRACT hat. Mit reinem Leserecht bekommt sie laut Microsoft nur einen Link.

Vor dem Anschließen aufräumen: Datenqualität entscheidet die Antwort

Archiviert Altbestand, löscht Dubletten und kennzeichnet gültige Fassungen, bevor ihr eine Quelle anschließt. Eine KI-Suche unterscheidet nicht zwischen der Prüfanweisung von 2019 und der von 2025, wenn beide gleich gut zur Frage passen. Fragen nach solchen Dokumenten gehören deshalb ins Testset des Pilots. Laut Bitkom nennen 50 Prozent der KI-anwendenden Unternehmen die Aufbereitung von Daten einen großen Kostenpunkt, Lizenzen nur 21 Prozent. Bitkom hat dafür 603 Unternehmen ab 20 Beschäftigten befragt. Als Einsatzbereich von KI hat sich das interne Wissensmanagement dort binnen eines Jahres verdoppelt, von 11 auf 22 Prozent.

Sechs typische Mängel in gewachsenen Ablagen, was die KI daraus macht und was ihr vorher tun solltet.

Prüft dabei auch, was die Werkzeuge überhaupt lesen. Der Microsoft-365-Konnektor von Claude liest laut Anthropic Word, Excel, PowerPoint, PDF und Textformate, OneNote dagegen nicht. Die SharePoint-App von ChatGPT kann laut OpenAI bei manchen unterstützten Dateien keinen Text auslesen, auch wenn sie in den Suchergebnissen auftauchen. Eingescannte Verträge ohne Texterkennung sind für alle Wege ein blinder Fleck. Zählt die Scans vorher im Steckbrief der Quelle, dann wisst ihr, wie viel Nacharbeit ansteht.

Datenschutz, AV-Vertrag und Speicherort: was beim Anbinden dazukommt

Ergänzt euer Verzeichnis der Verarbeitungstätigkeiten, bevor die erste Quelle angebunden ist, und prüft den Vertrag zur Auftragsverarbeitung für genau diesen Dienst. Nach Art. 28 DSGVO braucht ihr mit einem Anbieter, der Daten in eurem Auftrag verarbeitet, einen Vertrag zur Auftragsverarbeitung. Die Datenschutzkonferenz hält in ihrer Orientierungshilfe zu KI von 2024 fest, dass bei Cloud-KI zwischen Anbieter und Verantwortlichem „häufig ein Auftragsverarbeitungsverhältnis“ besteht. Für Wissenszugänge kommt eine eigene Pflicht dazu. In der Orientierungshilfe zu technischen und organisatorischen Maßnahmen vom Juni 2025 heißt es: „Bei einem Update von zusätzlichen Datenquellen, wie z. B. bei RAG-Systemen, muss jedes Mal betrachtet werden, ob diejenigen, die Zugriff auf das KI-System haben, auch Zugriff auf die neuen Daten haben dürfen.“

Zum Speicherort: Für Kunden innerhalb der EU-Datengrenze liegt der semantische Index von Copilot laut Microsoft in einem Rechenzentrum in der EU oder EFTA. Für Gemini Notebook gelten die Datenregionen laut Google nicht. Bei Gemini Enterprise wählt ihr die Region beim Einlesen der Daten. Welche Firmentarife welche Speicherorte zusagen, ändert sich häufig, prüft es deshalb vor dem Pilot auf den Datenschutzseiten des Anbieters. Holt euren Datenschutzbeauftragten früh dazu, und falls ihr einen Betriebsrat habt, informiert ihn vor dem Pilot. Das ist keine Rechtsberatung.

Was es kostet: Lizenzlogik gegen Baulogik

Bei den fertigen Werkzeugen zahlt ihr je Nutzer, bei einer eigenen Lösung zahlt ihr wenig für die Technik und viel für Aufbau und Pflege. Bei Copilot sind Suche, semantischer Index und die Werkzeuge gegen Oversharing laut Microsoft in der Lizenz enthalten, ebenso das Grounding über Copilot-Konnektoren. Company Knowledge in ChatGPT und die Enterprise-Suche in Claude gehören zu den Firmentarifen, Gemini zu den Workspace-Editionen. Die aktuellen Lizenzpreise stehen auf den Preisseiten der Anbieter. Für Nutzer ohne Lizenz rechnet Microsoft Agents mit SharePoint-Wissen nutzungsbasiert ab. Die Lizenzpreise der Firmentarife im Vergleich stehen in unserem Ratgeber zu ChatGPT, Copilot, Claude und Gemini.

Für eine eigene Lösung haben wir die Technik für 10.000 Dokumente mit je zehn Seiten durchgerechnet. Mit der Annahme von OpenAI, dass eine Seite etwa 800 Tokens hat, sind das 80 Millionen Tokens. Mit Microsofts Startwert von 512 Tokens je Abschnitt und 25 Prozent Überlappung entstehen rund 208.000 Abschnitte mit zusammen etwa 107 Millionen Tokens.

Eigene Rechnung mit Listenpreisen vom 13. November 2026. Euro-Werte für Azure aus der Azure-Preis-API, Monatswerte mit 730 Stunden hochgerechnet. Nicht enthalten sind die Kosten des Sprachmodells je Antwort und die Arbeitszeit.

Das einmalige Einbetten kostet mit text-embedding-3-small von OpenAI, Listenpreis 0,02 US-Dollar je Million Tokens, rund 2 US-Dollar, mit dem größeren Modell für 0,13 US-Dollar rund 14 US-Dollar. Die Vektoren brauchen etwa 1,3 GB und passen damit in den Basic-Tarif von Azure KI-Suche mit 5 GB Vektorspeicher je Partition. Basic kostet laut Azure-Preis-API 0,0907 Euro je Stunde, also rund 66 Euro im Monat, der Tarif S1 rund 220 Euro. Eine Verfügbarkeitszusage für Suchanfragen gibt es laut Microsoft erst ab zwei Replikaten, das verdoppelt diesen Posten. Teuer werden stattdessen der Abgleich der Berechtigungen, die laufende Synchronisierung, die Testfragen nach jeder Änderung und jemand, der sich dauerhaft zuständig fühlt.

Der Pilot: eine Wissensquelle, 40 Testfragen, sechs Wochen

Startet mit genau einer Quelle, die eine Gruppe täglich braucht, und messt das Ergebnis mit festen Testfragen. Gut eignen sich Servicehandbücher, technische Dokumentation, interne Richtlinien oder eine Angebotsbibliothek. Postfächer und Chats eignen sich für den Anfang weniger, weil sich Berechtigungen und Personenbezug dort kaum überblicken lassen. Die Pilotgruppe sollte 10 bis 25 Personen umfassen, die mit genau dieser Quelle arbeiten.

Unser Vorschlag für den Pilot: vier Phasen in sechs Wochen, sechs Fragetypen und Zielwerte, die ihr vor dem Start festlegt.

Sammelt 30 bis 50 Fragen mit erwarteter Antwort und Fundstelle, bevor ihr das Werkzeug zum ersten Mal öffnet. Mischt sechs Typen: Faktenfragen, Dokumentsuche, Zusammenfassungen über mehrere Dokumente, Fragen, deren Antwort nicht in der Quelle steht, Fragen nach Inhalten mit veralteter Fassung und mindestens zwei Berechtigungstests mit einem Testkonto ohne Zugriff. OpenAI empfiehlt in seinen Hinweisen zur Evaluierung ebenfalls, typische Fälle, Grenzfälle und gezielt schwierige Fälle aufzunehmen und Fachleute die richtigen Antworten festlegen zu lassen. Eine Mindestzahl an Testfragen nennen weder OpenAI noch Microsoft. Die 30 bis 50 sind ein Richtwert dieses Ratgebers: genug, um jeden der sechs Typen mehrfach abzudecken, und an einem Nachmittag zu sammeln.

Ausschnitt aus dem ausgefüllten Beispiel der Vorlage, erfundenes Unternehmen und erfundene Ergebnisse: Die Fragen zur veralteten Fassung und zum fehlenden Stundensatz fallen durch, die Berechtigungstests bestehen.

Messt die Zeit ohne KI je Frage vorher und die Zeit mit KI inklusive Nachprüfen der Quelle, sonst ist der Vergleich geschönt. Lasst die Fragen zweimal laufen, vor und nach dem Nachbessern der Quelle. Im ausgefüllten Beispiel der Vorlage sind im ersten Durchlauf 80 Prozent der Antworten richtig, aber bei veralteten Fassungen und bei Fragen ohne Antwort in der Quelle fällt das Werkzeug durch. Das Ergebnis heißt dann „nachbessern“, und die veralteten Fassungen räumt ihr in der Quelle auf, nicht im Werkzeug. Ein einziger nicht bestandener Berechtigungstest bedeutet Stopp, egal wie gut der Rest ist.

Sechs Fehler, die ein Wissensprojekt ausbremsen

Alles auf einmal anschließen: Wer am ersten Tag den ganzen Mandanten freigibt, misst nichts und findet Probleme nur durch Zufall. Besser ist eine Quelle mit eigenem Testset und erst danach die nächste.

Die Standardeinstellungen übersehen: In ChatGPT Business sind Apps laut OpenAI standardmäßig eingeschaltet, Workspace Intelligence bei Google ist laut Google standardmäßig an. Prüft vor dem Pilot, was bereits aktiv ist.

Die eingeschränkte Inhaltsermittlung als Lösung betrachten: Sie versteckt Websites vor Suche und Copilot, die Rechte bleiben aber, wie sie sind. Microsoft beschreibt sie selbst als vorübergehende Maßnahme, aufräumen müsst ihr die Freigaben trotzdem.

Berechtigungen in den Prompt schreiben: Eine Anweisung wie „Zeige keine Personaldaten“ ist keine Zugriffskontrolle. Bei einer eigenen Lösung gehören die Rechte in den Suchindex, so sieht es auch die Datenschutzkonferenz.

Nur Fragen testen, die funktionieren sollen: Die aufschlussreichsten Testfragen sind die, auf die es keine Antwort in der Quelle gibt. Nennt das Werkzeug dort trotzdem eine Zahl, wisst ihr, wie weit ihr dem Rest trauen könnt.

Keine verantwortliche Person für die Quelle: Eine KI-Suche ist nur so aktuell wie die Ablage. Ohne jemanden, der Fehler korrigiert und alte Fassungen archiviert, sinkt die Antwortqualität nach dem Pilot wieder.

Wobei wir euch unterstützen

Zu unserer KI-Umsetzung gehört ein Assistent, der eure Angebote, Handbücher und Verträge kennt und Fragen aus dem Team mit Quellenangabe beantwortet. Am Anfang steht eine Potenzialanalyse von 60 Minuten, danach setzen wir einen ersten Anwendungsfall mit echten Daten als Pilot um. Datenschutz und Zugriffsrechte sind von Anfang an Teil des Plans, und an einen Modellanbieter sind wir nicht gebunden. Im KI-Workshop arbeitet euer Team einen Tag an den eigenen Aufgaben, und dazu gehört die Frage, welche Daten in welches Werkzeug dürfen. Was eine Schulung für die Pilotgruppe abdecken sollte, steht in unserem Ratgeber zur KI-Schulung für Mitarbeiter.

Frequently Asked Questions

Fünf Fragen zum Firmenwissen mit KI, kurz beantwortet.

Lernt die KI aus unseren Dokumenten?

Nein, nicht im Sinne von Training. Bei allen fünf Wegen sucht das System bei jeder Frage die passenden Stellen und gibt sie dem Modell nur für diese Antwort mit. Microsoft, OpenAI und Google schreiben in ihrer Doku, dass Inhalte aus den Firmentarifen standardmäßig nicht zum Training der Modelle verwendet werden.

Kann die KI Dokumente zeigen, die jemand nicht sehen darf?

Nicht über die Rechte hinaus, die die Person in der Quelle hat. Alle Anbieter prüfen laut Doku die Rechte der fragenden Person. Das Risiko liegt in Freigaben, die zu weit gehen, etwa an alle Mitarbeitenden. Deshalb gehören Berechtigungstests in jeden Pilot.

Reicht Copilot Chat, das in Microsoft 365 enthalten ist?

Für die Suche über eure Ablage nicht. Copilot Chat nutzt laut Microsoft vor allem Webdaten und eure Dateien nur, wenn ihr sie ausdrücklich angebt. Für Antworten über SharePoint braucht ihr die Copilot-Lizenz oder Agents mit nutzungsbasierter Abrechnung.

Wie viele Dokumente braucht ein Pilot?

So viele, wie die gewählte Quelle hat, aber nur eine Quelle. Wichtiger als die Menge ist, dass die Testfragen aus dem echten Alltag stammen und jemand die richtigen Antworten kennt. Ein Handbuch unter etwa 500 Seiten passt laut Anthropic auch ganz in die Anfrage, dann reicht ein Projekt mit hochgeladenen Dateien.

Wann lohnt sich eine eigene RAG-Lösung?

Wenn Kunden oder Partner Zugriff bekommen sollen, wenn das Wissen in eine Fachanwendung gehört oder wenn eure Quellen außerhalb von Microsoft 365 und Google Workspace liegen und kein Konnektor sie sauber anbindet. Für die interne Suche über SharePoint oder Drive ist ein fertiges Werkzeug fast immer schneller und günstiger.

What Has Changed and What That Means for You

Vier Änderungen aus 2026, die eure Planung direkt betreffen.

22. April 2026: Google führt Workspace Intelligence ein, standardmäßig aktiv. Gemini greift damit ohne Zutun auf Gmail, Chat, Kalender und Drive zurück. Prüft, ob die Freigaben in Drive dafür sauber sind, oder schaltet einzelne Quellen ab.

31. Juli 2026: Die eingeschränkte SharePoint-Suche von Microsoft lässt sich nicht mehr neu aktivieren. Wer einen Copilot-Rollout damit absichern wollte, plant mit der eingeschränkten Inhaltsermittlung und vor allem mit dem Aufräumen der Freigaben.

Stand November 2026: Company Knowledge in ChatGPT ist inzwischen ein Plugin, das laut OpenAI auch eigene MCP-Apps einbindet. Für eigene Quellen braucht ihr damit nicht zwingend eine eigene Oberfläche, wohl aber eine saubere Rechteprüfung im eigenen Dienst.

Stand November 2026: NotebookLM heißt jetzt Gemini Notebook, und die App Microsoft 365 Copilot heißt Microsoft Copilot. An den Funktionen ändert das nichts, aber ältere Anleitungen und interne Dokumente nutzen noch die alten Namen.

Stand dieser Fassung: 13. November 2026. Funktionen und Grenzen ändern sich häufig, prüft sie vor jeder Entscheidung in der Doku der Anbieter. Dieser Beitrag ist keine Rechtsberatung.

Conclusion

Firmenwissen mit KI nutzbar zu machen ist heute vor allem eine Aufräum- und Testaufgabe. Wählt den Weg nach eurer Ablage: Copilot für SharePoint, Gemini für Workspace, ChatGPT oder Claude für gemischte Umgebungen und klar abgegrenzte Projekte, eine eigene Lösung für Portale und Fachanwendungen. Heute prüft ihr die Freigaben an alle Mitarbeitenden in eurer wichtigsten Quelle. Diese Woche wählt ihr eine Quelle und sammelt 40 Testfragen. Danach läuft der Pilot sechs Wochen, und erst das Ergebnis entscheidet, ob ihr ausweitet.

Ladet euch dafür die Vorlage mit Entscheidungs-Matrix und Pilot-Checkliste herunter und füllt zuerst das Blatt „Wissensquelle“ aus.

Sources

• Microsoft Copilot im Überblick – Microsoft Learn, abgerufen am 13. November 2026

• Daten, Datenschutz und Sicherheit für Microsoft Copilot – Microsoft Learn, abgerufen am 13. November 2026

• Semantische Indizierung für Microsoft Copilot – Microsoft Learn, abgerufen am 13. November 2026

• Agent-Funktionen und Lizenzierungsmodelle – Microsoft Learn, abgerufen am 13. November 2026

• Erste Schritte mit Agents in SharePoint – Microsoft Learn, abgerufen am 13. November 2026

• Microsoft 365 Copilot connectors overview – Microsoft Learn, abgerufen am 13. November 2026

• Microsoft 365 Copilot connectors prerequisites – Microsoft Learn, abgerufen am 13. November 2026

• Wie sich Verweis- und Dokumentlängen auf Copilot-Antworten auswirken – Microsoft Support, abgerufen am 13. November 2026

• Voraussetzungen für die erweiterte SharePoint-Verwaltung – Microsoft Learn, abgerufen am 13. November 2026

• Berichte zur Datenzugriffs-Governance – Microsoft Learn, abgerufen am 13. November 2026

• Bericht „Jeder außer externen Benutzern“ – Microsoft Learn, abgerufen am 13. November 2026

• Websitezugriffsüberprüfungen – Microsoft Learn, abgerufen am 13. November 2026

• Richtlinien für inaktive Websites – Microsoft Learn, abgerufen am 13. November 2026

• Eingeschränkte Inhaltsermittlung – Microsoft Learn, abgerufen am 13. November 2026

• Eingeschränkte SharePoint-Suche – Microsoft Learn, abgerufen am 13. November 2026

• Purview-Hinweise zu Microsoft Copilot – Microsoft Learn, abgerufen am 13. November 2026

• SharePoint app and setup in ChatGPT – OpenAI Help Center, abgerufen am 13. November 2026

• Managing SharePoint site access and sensitivity-label exclusions – OpenAI Help Center, abgerufen am 13. November 2026

• Company knowledge in ChatGPT – OpenAI Help Center, abgerufen am 13. November 2026

• Connected apps in ChatGPT – OpenAI Help Center, abgerufen am 13. November 2026

• Uploading files and audio to ChatGPT – OpenAI Help Center, abgerufen am 13. November 2026

• API Pricing – OpenAI, abgerufen am 13. November 2026

• Embeddings – OpenAI API Docs, abgerufen am 13. November 2026

• Evaluation best practices – OpenAI API Docs, abgerufen am 13. November 2026

• What are projects? – Claude Help Center, abgerufen am 13. November 2026

• Retrieval augmented generation (RAG) for projects – Claude Help Center, abgerufen am 13. November 2026

• Set up the Microsoft 365 connector – Claude Help Center, abgerufen am 13. November 2026

• Use enterprise search – Claude Help Center, abgerufen am 13. November 2026

• Introducing Contextual Retrieval – Anthropic, 19. September 2024, abgerufen am 13. November 2026

• Was steuert den Zugriff von Gemini auf Workspace-Daten? – Google Workspace-Hilfe, abgerufen am 13. November 2026

• Introducing Workspace Intelligence with admin controls – Google Workspace Updates, 22. April 2026, abgerufen am 13. November 2026

• Add or discover new sources for your notebook – Gemini Notebook Help, abgerufen am 13. November 2026

• Turn Gemini Notebook on or off for users – Google Workspace Admin Help, abgerufen am 13. November 2026

• Gemini for business – Google Cloud, abgerufen am 13. November 2026

• Gemini Enterprise Business – Google Cloud, abgerufen am 13. November 2026

• Introduction to connectors and data stores – Gemini Enterprise Docs, abgerufen am 13. November 2026

• Zugriffssteuerung auf Dokumentebene – Azure KI-Suche, Microsoft Learn, abgerufen am 13. November 2026

• Sicherheitsfiltermuster – Azure KI-Suche, Microsoft Learn, abgerufen am 13. November 2026

• Dokumente in Blöcke aufteilen – Azure KI-Suche, Microsoft Learn, abgerufen am 13. November 2026

• Service limits in Azure AI Search – Microsoft Learn, abgerufen am 13. November 2026

• Azure KI-Suche, Preise – Microsoft Azure (Euro-Werte über die Azure Retail Prices API), abgerufen am 13. November 2026

• pgvector – GitHub, abgerufen am 13. November 2026

• Qdrant – GitHub, abgerufen am 13. November 2026

• Orientierungshilfe zu generativen KI-Systemen mit RAG-Methode, Oktober 2025 – Datenschutzkonferenz, abgerufen am 13. November 2026

• Orientierungshilfe zu technischen und organisatorischen Maßnahmen bei KI-Systemen, Juni 2025 – Datenschutzkonferenz, abgerufen am 13. November 2026

• Orientierungshilfe Künstliche Intelligenz und Datenschutz, Mai 2024 – Datenschutzkonferenz, abgerufen am 13. November 2026

• Datenschutz-Grundverordnung, Art. 28 – EUR-Lex, abgerufen am 13. November 2026

• Erstmals nutzt die Mehrheit der Unternehmen KI – Bitkom, 14. September 2026, abgerufen am 13. November 2026