Lehrplan Lektion 110 von 250 · Neural-Net Intuition, LLMs & KI Capstone
Neural-Net Intuition, LLMs & KI Capstone

Was ist ein LLM?

A large language model (LLM) wie die hinter Chat-Assistenten stecken, sind im Kern riesige Next-Token-Prädiktoren. Ein paar Begriffe lassen das Ganze Sinn ergeben.

  • Tokens. Text wird in Stücke zerlegt, die Tokens genannt werden, ungefähr Wörter oder Wortfragmente. Das Modell liest und schreibt Tokens, keine rohen Zeichen. Eine grobe Regel: ein Token sind etwa vier Zeichen von Englisch.
  • Prediction. Angesichts der bisherigen Tokens gibt das Modell eine Wahrscheinlichkeit für jedes mögliche nächste Token aus. Es wählt eines aus, fügt es hinzu und wiederholt den Vorgang. Diese Schleife ist der Weg, wie es ganze Absätze schreibt.
  • Prompt. Der Text, den du eingibst. Alles, was das Modell über deine Anfrage weiß, befindet sich im Prompt, also ist es sehr wichtig, wie du es formulierst (nächste Lektionen).
  • Temperature. Ein Regler für die Zufälligkeit dieser Auswahl. Nahe 0 wählt das Modell fast immer das wahrscheinlichste Token (fokussiert, repetitiv). Höhere Werte lassen es weniger wahrscheinliche Token auswählen (kreativer, weniger zuverlässig). Lokale Modelle, wie das im Capstone dieses Kurses, nutzen diesen Regler noch. Die neuesten gehosteten Claude Modelle tun das nicht: sie setzen ihr eigenes Sampling und beantworten eine Temperature-Einstellung mit einem Fehler, also steuerst du den Output dort durch den Prompt.
  • Halluzination. Weil es plausiblen Text vorhersagt, anstatt Fakten nachzuschlagen, kann ein LLM falsche Dinge mit voller Zuversicht behaupten. Überprüfe immer die Fakten, die es dir gibt.

Echte Tokenizer basieren auf Unterwörtern und werden aus Daten gelernt. Wir werden hier keinen bauen, aber wir können den einfachstmöglichen Tokenizer (Aufteilung nach Leerzeichen) bauen, um zu fühlen, wie das Zählen von Token ist. Tokenanzahlen sind die Art und Weise, wie Nutzung und Limits gemessen werden.

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

Das Splitten nach Leerzeichen ist nur ein Platzhalter zum Ausprobieren. Echte Tokenizer splitten in Unterwortstücke, also ist eine gängige Budget Regel tokens ≈ len(text) / 4 Zeichen, und Produktionscode liest die genaue Anzahl aus dem usage Feld, das die API zurückgibt (oder ein spezieller count-tokens Endpunkt) anstatt zu raten.

Reasoning-Modelle

Alles oben beschreibt ein Modell, das seine Antwort direkt ausgibt. Eine neuere Familie, reasoning models, verbraucht zuerst ein verstecktes Budget an "thinking" tokens, um das Problem Schritt für Schritt zu bearbeiten, und schreibt dann die finale Antwort. Diese zusätzliche Überlegung sorgt für echte accuracy bei schwierigen, mehrstufigen Aufgaben (Mathe, Code, sorgfältige Planung), und du erhältst oft einen Regler: ein höheres effort oder thinking Budget bedeutet mehr thinking tokens, mehr Latenz und mehr Kosten. Das Engineering-Urteil ist einfach wenn es sich lohnt: wähle ein reasoning model für den wirklich schwierigen Schritt und nutze ein schnelles, günstiges Modell für die routinemäßigen. Du wirst genau diesen Tradeoff später anwenden, wenn du eine cost-aware cascade baust, die einfache Anfragen an das günstige Modell leitet und nur die schwierigen eskaliert.

Du bist dran

Schreibe einen einfachen Whitespace-Tokenizer. tokenize(text) gibt die Liste der durch Whitespace getrennten Tokens zurück (nutze .split()). count_tokens(text) gibt an, wie viele es sind. Setze dann tokens = tokenize(sample) und n_tokens = count_tokens(sample).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.