KI einfach erklärt, Teil 2: Wie Sprachmodelle funktionieren

In Teil 1 haben wir künstliche Intelligenz in drei Arten eingeteilt: klassisch, generativ und agentisch. Heute schauen wir uns das Herzstück der generativen KI genauer an: das große Sprachmodell, auf Englisch Large Language Model oder kurz LLM. Es steckt hinter Copilot, hinter jedem Chatbot und – wie wir in den nächsten Teilen sehen – auch hinter jedem KI-Agenten. Wer grob versteht, wie ein Sprachmodell arbeitet, schreibt bessere Prompts und kann Ergebnisse realistischer einschätzen.

Das Grundprinzip: Ein Sprachmodell sagt das nächste Wort voraus

So beeindruckend die Antworten wirken, das Grundprinzip ist erstaunlich einfach. Zunächst bekommt ein Sprachmodell einen Text und berechnet, welches Textstück mit der höchsten Wahrscheinlichkeit als Nächstes folgt. Dieses Stück hängt es an, berechnet erneut das nächste – und so weiter, bis die Antwort fertig ist.

Damit das funktioniert, wurde das Modell vorher mit riesigen Mengen an Text trainiert: Bücher, Webseiten, Fachartikel, Programmcode. Dabei hat es keine Fakten auswendig gelernt wie ein Lexikon. Stattdessen hat es gelernt, wie Sprache aufgebaut ist und welche Begriffe in welchem Zusammenhang typischerweise zusammen vorkommen. Deshalb kann ein Sprachmodell nicht nur Fragen beantworten, sondern auch übersetzen, zusammenfassen, umformulieren oder Code schreiben – es ist alles „Text fortsetzen“.

Tokens: die Bausteine der Sprache

Genau genommen arbeitet ein Sprachmodell nicht mit ganzen Wörtern, sondern mit Tokens. Ein Token ist ein Textstück: manchmal ein ganzes Wort, oft aber nur ein Wortteil oder ein Satzzeichen. Lange deutsche Wörter wie „Datenschutzgrundverordnung“ zerlegt das Modell zum Beispiel in mehrere Tokens.

Für euch sind Tokens aus zwei Gründen wichtig. Zum einen rechnen viele KI-Dienste nach Tokens ab, etwa Modelle in Microsoft Foundry. Zum anderen ist die Menge an Tokens, die ein Modell auf einmal verarbeiten kann, begrenzt. Damit sind wir beim Kontextfenster.

Das Kontextfenster: das Arbeitsgedächtnis

Das Kontextfenster ist alles, was das Modell bei einer Antwort „vor Augen“ hat: eure aktuelle Frage, der bisherige Chatverlauf, die Anweisungen im Hintergrund und alle Dokumente oder Suchergebnisse, die mitgeschickt werden. Aktuelle Modelle haben sehr große Kontextfenster, die je nach Modell hunderttausende Tokens fassen. Trotzdem gilt: Was nicht im Kontextfenster steht, existiert für das Modell in diesem Moment nicht.

Daher kommen auch einige Effekte, die ihr bestimmt schon erlebt habt:

• In einem sehr langen Chat „vergisst“ das Modell irgendwann frühe Details, weil ältere Inhalte gekürzt oder zusammengefasst werden.
• Ein neuer Chat startet ohne Wissen über den vorherigen – außer die Anwendung baut ein eigenes Gedächtnis ein.
• Je mehr unnötiger Text im Kontext steht, desto eher übersieht das Modell das Wichtige.

Diese Begrenzung ist übrigens einer der Gründe, warum es das Agent Harness gibt. Es entscheidet, was in das Kontextfenster kommt und was nicht. Dazu mehr in Teil 4.

Warum ein Sprachmodell halluziniert

Wenn ein Sprachmodell etwas Falsches mit voller Überzeugung behauptet, spricht man von Halluzination. Natürlich passiert das nicht aus Bosheit, sondern folgt direkt aus dem Grundprinzip: Das Modell erzeugt einen wahrscheinlich klingenden Text, keinen geprüften Text. Fehlt ihm das passende Wissen, füllt es die Lücke mit etwas, das plausibel klingt.

Typische Auslöser sind:

• Wissen nach dem Trainingsstichtag: Jedes Modell hat einen Wissensstand. Neue Produkte, Preise oder Gesetze kennt es nicht, wenn sie nicht im Kontext mitgeliefert werden.
• Firmenwissen: Eure internen Prozesse, Kunden und Dokumente waren nie Teil des Trainings.
• Sehr spezielle Details: Zahlen, Zitate, Paragrafen oder Quellenangaben, die im Training selten vorkamen.

Die gute Nachricht: Gegen die meisten Halluzinationen gibt es ein wirksames Mittel. Es heißt Grounding.

Grounding: das Modell mit Fakten verankern

Beim Grounding sucht die Anwendung vor der Antwort passende Informationen heraus und legt sie dem Modell ins Kontextfenster. Das Modell beantwortet die Frage dann auf Basis dieser Fakten, statt nur aus dem Gedächtnis. Fachleute nennen das Verfahren auch Retrieval-Augmented Generation, kurz RAG.

Genau so arbeitet Microsoft Copilot. Mit einer Copilot-Lizenz greift Copilot über Microsoft Graph, den semantischen Index und Work IQ auf eure Arbeitsdaten zu: E-Mails, Besprechungen, Chats, Dateien und Kalender. Work IQ beschreibt Microsoft als Intelligenzschicht, die Copilot und Agenten Kontext über eure Arbeit liefert. Dabei sieht Copilot ausschließlich Inhalte, auf die die angemeldete Person ohnehin Zugriff hat. Das ist gut für den Datenschutz, macht aber auch alte Freigabeprobleme sichtbar. Warum das für die Sicherheit so wichtig ist, haben wir in unserer Serie Zero Trust für KI-Agenten ausführlich beschrieben.

Copilot Chat ohne Zusatzlizenz arbeitet dagegen vor allem mit Webdaten und mit Dateien, die ihr selbst hochladet. Die breite Auswertung eurer Microsoft-365-Inhalte über Graph und Work IQ gibt es nur mit der Copilot-Lizenz.

Welches Sprachmodell steckt in Copilot?

Früher steckte hinter Copilot im Wesentlichen ein Modell von OpenAI. Heute arbeitet Microsoft mit mehreren Anbietern: Work IQ baut laut Microsoft auf Basismodellen unter anderem von OpenAI und Anthropic auf, und in Copilot könnt ihr je nach Funktion zwischen Modellen wählen oder die automatische Auswahl nutzen. Außerdem gibt es inzwischen sogenannte Reasoning-Modelle, die vor der Antwort einen internen Lösungsweg durchdenken. Sie sind langsamer, dafür aber deutlich besser bei kniffligen Analysen.

Welches Modell sich wofür eignet, hat Dennis in seinem Beitrag Wann welches KI-Modell? zusammengestellt. Für das Verständnis dieser Serie reicht vorerst: Das Modell ist austauschbar – entscheidend ist, was drumherum passiert.

Was das für eure Prompts bedeutet

Aus dem Wissen über Sprachmodelle lassen sich direkt bessere Prompts ableiten. Microsoft empfiehlt vier Bausteine:

1. Ziel: Sagt klar, was ihr wollt – zum Beispiel „Fasse die Entscheidungen aus dem Projektmeeting zusammen“.
2. Kontext: Erklärt, wofür ihr das Ergebnis braucht und für wen es ist. Je mehr passender Kontext, desto weniger muss das Modell raten.
3. Quellen: Nennt die Dateien, E-Mails oder Besprechungen, auf die sich Copilot stützen soll. Das ist Grounding von Hand.
4. Erwartung: Beschreibt Format, Länge und Ton, etwa „als Tabelle mit maximal fünf Zeilen“.

Und zum Schluss die wichtigste Regel: Prüft Zahlen, Namen und Zitate, bevor ihr ein Ergebnis weitergebt. Copilot zeigt dafür die verwendeten Quellen an.

Fazit und Ausblick

Ein Sprachmodell sagt Token für Token eine wahrscheinliche Fortsetzung voraus. Es hat ein begrenztes Kontextfenster, keinen eigenen Zugang zu aktuellem Wissen oder Firmendaten und neigt deshalb zu Halluzinationen, wenn ihm Fakten fehlen. Grounding mit euren Daten macht aus einem allgemeinen Sprachmodell einen nützlichen Assistenten.

Bisher kann das Modell allerdings nur reden. Im nächsten Teil zeigen wir, was passiert, wenn es zusätzlich Werkzeuge bekommt und selbst handeln darf: Wir gehen vom Chatbot zum KI-Agenten.

Weiterführende Links

• Überblick über Microsoft Copilot Chat (Microsoft Learn, Englisch)
• Work IQ im Überblick (Microsoft Learn, Englisch)
• KI-Grundlagen: Wie funktioniert generative KI? (Microsoft)
• Was ist Retrieval-Augmented Generation? (Microsoft Learn)