Wie funktioniert eine KI? Das große Würfelspiel mit System

Eine KI ist im Kern ein Vorhersage-System

Wenn man die ganze komplizierte Technik weglässt, bleibt eine erstaunlich einfache Beschreibung übrig: Eine moderne KI ist ein statistisches Vorhersage-System. Sie bekommt einen Anfang, eine Frage, einen Satz, ein Bild, und überlegt: Was passt am wahrscheinlichsten als Nächstes?

Das klingt erstmal banal. Aber genau darin steckt der Trick. Wenn ein System sehr, sehr gut darin ist vorherzusagen, was als Nächstes kommt, dann kann es Texte schreiben, Fragen beantworten, Übersetzungen anfertigen, Code erzeugen, und vieles mehr. Vorhersage ist mächtiger, als sie auf den ersten Blick aussieht.

Wahrscheinlichkeit statt Wahrheit

Hier ist die wichtigste Idee überhaupt: Die KI hat keinen Begriff von wahr oder falsch. Sie hat nur einen Begriff von wahrscheinlich. Wenn du schreibst "Die Hauptstadt von Frankreich ist…", dann hat die KI in ihren Trainingsdaten unzählige Male gesehen, dass nach diesem Anfang das Wort "Paris" folgt. Also schlägt sie "Paris" vor. Nicht weil sie weiß, dass Paris die Hauptstadt ist, sondern weil "Paris" statistisch fast immer dort steht.

Bei sehr klaren Fragen führt das zum richtigen Ergebnis. Bei schwammigen Fragen oder Themen, zu denen es wenig Trainingsdaten gibt, kann das System aber genauso selbstbewusst eine falsche Antwort generieren. Die KI klingt immer überzeugt, egal, ob sie richtig liegt oder nicht.

Tokens, die kleinen Bausteine

Bevor wir tiefer gehen, müssen wir über Tokens reden. Ein Token ist ein kleiner Textbaustein. Manche Tokens sind ganze Wörter, andere sind nur Silben oder ein paar Buchstaben. Eine KI sieht keinen "Text" so wie wir, sie sieht eine Folge von Tokens.

Stell dir vor, du würdest eine Geschichte vorlesen, aber statt Wörtern lägen auf deinem Tisch tausende kleine Klötzchen, von denen jedes ein bisschen Text trägt. Die KI arbeitet genau so. Sie nimmt diese Klötzchen, schaut sich an, welche schon liegen, und entscheidet, welches Klötzchen als Nächstes drangelegt wird.

So sieht das visuell aus, wenn man einen Satz in Tokens zerlegt:

Du siehst: "Künstliche Intelligenz ist spannend" sind für die KI nicht vier Wörter, sondern sieben Tokens. Manche Wörter, vor allem seltenere oder zusammengesetzte, werden in mehrere Stücke geteilt. Häufige kleine Wörter wie "ist" sind oft ein einzelner Token. Andere Sprachen, andere KIs, andere Tokenisierungen, aber das Prinzip ist überall dasselbe.

Wie ein Satz entsteht: ein Token nach dem anderen

Jetzt das große Aha: Wenn du einer KI eine Frage stellst, schreibt sie ihre Antwort nicht "im Ganzen". Sie schreibt sie einen Token nach dem anderen. Bei jedem Schritt fragt sie sich: "Was kommt jetzt am wahrscheinlichsten?", und das Ergebnis wird an die bisherige Antwort angehängt. Dann fängt das Spiel von vorne an, mit dem neuen, leicht längeren Text.

Das ist auch der Grund, warum die Antwort in ChatGPT oder ähnlichen Tools tippend erscheint, Token für Token. Du schaust dem Modell quasi live beim Vorhersagen zu.

Eine KI schreibt nicht das, was sie weiß. Sie schreibt das, was wahrscheinlich als Nächstes käme.

Temperature, wie kreativ darf die KI sein?

Wenn die KI immer den wahrscheinlichsten Token wählen würde, klänge sie ziemlich langweilig und vorhersehbar. Deshalb gibt es einen kleinen Regler, der bei jedem Modell einstellbar ist: Temperature. Auf Deutsch: Temperatur. Sie bestimmt, wie viel Zufall in die Auswahl kommt.

Stell dir Temperature wie den Würfelbecher beim Brettspiel vor. Bei niedriger Temperature würfelt die KI immer fast die gleiche Zahl. Bei hoher Temperature wird der Becher kräftig geschüttelt, mal kommt eine seltene Antwort, mal eine alltägliche. Beides hat seine Berechtigung.

Warum die KI keine Wahrheit kennt

Jetzt kommt die wichtigste Einsicht des Kapitels. Eine KI, wie wir sie heute kennen, hat keinerlei eingebautes Konzept davon, was wahr ist und was nicht. Sie hat nur ein Konzept davon, wie wahrscheinlich es ist, dass eine bestimmte Wort-Folge in den Trainingsdaten so auftaucht.

Das bedeutet konkret: Wenn die richtige Antwort in den Trainingsdaten oft vorkam, bekommt die KI sie meistens hin. Wenn die richtige Antwort nicht vorkam, oder selten, oder falsch wiedergegeben wurde, dann generiert die KI trotzdem etwas Plausibles. Sie sagt nicht "Ich weiß es nicht", sie produziert die Antwort, die am ehesten zu deiner Frage passen würde, wenn sie wahr wäre.

Das ist nicht böse Absicht. Das ist die Natur des Systems. Es ist eine Wahrscheinlichkeitsmaschine. Sie kennt nur Muster, nicht Fakten.

Was bedeutet das für dich?

Wenn du jetzt verstanden hast, dass eine KI Token für Token nach Wahrscheinlichkeit antwortet, ergeben sich ein paar Dinge fast von selbst:

• Der Anfang deiner Frage bestimmt enorm viel. Wenn du fragst "Schreibe einen sachlichen Bericht über…", werden die wahrscheinlichsten Tokens andere sein als bei "Erzähle mir eine lustige Geschichte über…". Das ist der ganze Trick beim Prompten.
• Detaillierte Fragen bekommen detaillierte Antworten. Je mehr Kontext du gibst, desto enger wird der "Tunnel" der wahrscheinlichen nächsten Tokens, und desto präziser die Antwort.
• Die KI hat keine Erinnerung an gestern. Jede Unterhaltung beginnt mit dem, was im aktuellen Chat steht. Was du letzte Woche gefragt hast, weiß sie nicht (es sei denn, das System gibt es ihr explizit mit).
• Zwei identische Fragen geben oft unterschiedliche Antworten. Wegen der Temperature und der zufälligen Token-Wahl, das ist kein Bug, das ist Design.

Mit diesem Bild im Kopf sind die nächsten Kapitel deutlich leichter zu verstehen. Wir schauen uns jetzt an, woher die Wahrscheinlichkeiten eigentlich kommen, nämlich aus einem neuronalen Netz.