Large Language Models. Die Wortmaschinen mit Weltwissen

Was ist überhaupt ein LLM?

Ein Large Language Model, abgekürzt LLM, ist ein Computerprogramm, das Sprache versteht und Sprache erzeugt. Wenn du mit ChatGPT chattest, mit Claude eine Mail überarbeitest oder Gemini eine Frage stellst, sprichst du mit einem LLM. Der Begriff klingt sperrig, aber er beschreibt ziemlich genau, was diese Modelle sind: große Sprachmodelle.

Das interessante Wort darin ist large. Denn "groß" meint hier nicht "viel Speicher" oder "viele Funktionen", sondern eine ganz bestimmte Sache, die wir gleich auseinanderfalten.

Warum heißt es "Large"?

Das "Large" bezieht sich auf die Parameter des Modells. Parameter sind, ganz einfach gesagt, die Stellschrauben im inneren Netzwerk der KI. Jede dieser Stellschrauben ist eine Zahl. Beim Training wird jede einzelne dieser Zahlen nach und nach so eingestellt, dass das Modell gute Antworten gibt.

Frühe Sprachmodelle hatten ein paar Millionen Parameter. Heutige LLMs haben Milliarden bis Billionen. Wenn du im Internet etwas wie "Llama 70B" liest, dann meint das: dieses Modell hat 70 Milliarden Parameter. GPT-4 wird auf über eine Billion geschätzt, die genaue Zahl ist Geschäftsgeheimnis.

Mehr Parameter = besseres Modell?

Tendenziell ja, aber nicht immer. Ein 7-Milliarden-Parameter-Modell ist kleiner, schneller und billiger im Betrieb als ein 70-Milliarden-Parameter-Modell, aber es kann weniger gut argumentieren, weniger Sprachen und macht öfter Fehler. Andererseits gibt es kleine Modelle, die in speziellen Aufgaben (z. B. Code schreiben) richtig gute Ergebnisse liefern, weil sie sehr gezielt trainiert wurden.

Größe schlägt Mittelmaß. Aber kluges Training schlägt Größe.

Wie wird so ein Modell trainiert?

Ein LLM lernt nicht "von einem Lehrer". Es lernt aus reinem Text. Sehr viel reinem Text. Die Trainingsdaten bestehen aus Texten, die im Internet öffentlich verfügbar sind oder lizenziert wurden: Wikipedia, Bücher, Nachrichten, Forendiskussionen, wissenschaftliche Artikel, Programmiercode.

Die zentrale Übung beim Training klingt fast banal: Dem Modell wird ein Stück Text gezeigt, ein Wort wird weggenommen, und das Modell muss raten, welches Wort fehlt. Anfangs rät es zufällig. Aber bei jeder falschen Vorhersage werden die Parameter ein winziges Stückchen verstellt, in die Richtung, die das Raten beim nächsten Mal etwas besser macht.

Eine wichtige Sache an dieser Stelle: ein LLM erzeugt Text Stück für Stück. Nicht buchstabenweise, aber auch nicht in ganzen Wörtern. Es benutzt Tokens, kleine Bausteine, die manchmal ein Wort sind, manchmal eine Silbe, manchmal ein Satzzeichen. Wenn du mehr darüber wissen willst, schau in Wie funktioniert KI? rein.

Die bekanntesten Modelle

Es gibt heute Dutzende LLMs. Die folgenden sechs hörst du am häufigsten, gut zu wissen, wer hinter ihnen steckt.

Open Source vs. Closed Source

Ein wichtiger Unterschied bei LLMs: Sind die Modellgewichte, also die Milliarden Parameter. öffentlich zugänglich, oder nur in der Cloud des Anbieters versteckt?

Context Window, wie viel die KI gleichzeitig im Kopf hat

Ein LLM hat kein Langzeitgedächtnis. Es vergisst nach jedem Gespräch alles. Was es jetzt gerade sieht und verarbeiten kann, ist sein Context Window, der Kontextfensterausschnitt, der bei der aktuellen Anfrage mit ins Modell gegeben wird.

Dieses Fenster wird in Tokens gemessen. Ältere Modelle hatten 4.000 Tokens, etwa 3.000 Wörter. Moderne Modelle kommen auf 200.000 bis zu 2 Millionen Tokens. Zwei Millionen Tokens entsprechen ungefähr 1.500 Buchseiten, die das Modell auf einmal überblicken kann.

Multimodale LLMs, nicht mehr nur Text

Klassische LLMs verstehen nur Text. Moderne Modelle sind multimodal: sie nehmen auch Bilder, Audio und manchmal Video als Eingabe entgegen, und können auch Bilder oder Sprache erzeugen.

Du kannst Claude oder GPT-4 zum Beispiel einen Screenshot zeigen und fragen "Was siehst du hier?". Du kannst Gemini ein Video schicken und es zusammenfassen lassen. Das funktioniert, weil die Modelle gelernt haben, Bilder und Töne intern auch in Tokens umzuwandeln, in eine Sprache, die das Modell versteht.

Was LLMs gut können, und wo sie versagen

Wenn man verstanden hat, wie ein LLM lernt, nämlich aus Mustern in Texten, versteht man auch, warum es manche Dinge brillant kann und andere überraschend schlecht.

Warum kann ein LLM nicht rechnen?

Weil es eigentlich kein Rechner ist. Es ist ein Sprachvorhersager. Wenn du "17 × 23 =" eintippst, sucht das Modell nicht nach dem mathematisch korrekten Ergebnis. Es sucht nach dem wahrscheinlichsten nächsten Token. Bei einfachen Aufgaben, die oft im Training vorkamen, klappt das. Bei großen Zahlen wird geraten.

Die moderne Lösung dafür: das LLM bekommt einen Taschenrechner als Werkzeug zur Seite gestellt. über das, was man Tool-Use oder Funktionen nennt. Mehr darüber im Kapitel KI-Agents.

Ein LLM weiß nicht, was wahr ist. Es weiß, was klingt, als wäre es wahr. Das ist ein wichtiger Unterschied.

Wer macht eigentlich was?

Drei Begriffe werden oft verwechselt, gehören aber zusammen:

• Das Modell, z. B. GPT-4, Claude Sonnet, Llama 70B. Die rohen Gewichte.
• Das Produkt, z. B. ChatGPT, claude.ai, Gemini. Die Chat-Oberfläche, die du als Nutzer siehst.
• Die API, der Zugang, den Programmierer benutzen, um das Modell in eigene Software einzubauen. Mehr in API & SDK.

ChatGPT ist nicht GPT-4. ChatGPT benutzt GPT-4 (oder ein anderes Modell). Genauso ist claude.ai die Oberfläche. Claude Sonnet, Opus oder Haiku sind die eigentlichen Modelle dahinter.