Kann man sich aus dem Durchschnitt heraus-tunen?

Ein Doktorand der Physik kontaktierte uns mit einer präzisen Frage. Er hatte unsere Erläuterung zur Funktionsweise von Schreibstil-Profilen gelesen und wollte wissen: Ließe sich dasselbe Ergebnis nicht auch durch das Anpassen von Temperatur, Top-p und Frequenzstrafe erzielen? Er fragte, ob die bereits in der API verfügbaren Regler dasselbe bewirkten wie wir, nur weniger explizit.

Es ist eine gute Frage. Sie verdient eine echte Antwort.

Ehre, wem Ehre gebührt: Die ursprüngliche Frage stammte von Yuqi Qing, einem Doktoranden an der Shanghai Jiao Tong University, der uns freundlicherweise die Erlaubnis erteilte, ihn hier zu erwähnen.

---

Was die Parameter tatsächlich bewirken

Temperatur, Top-p und Frequenzstrafe wirken alle auf derselben Ebene: der Token-Auswahl. Nachdem das Modell eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular berechnet hat, formen diese Parameter diese Verteilung um, bevor ein Token gezogen wird.

Temperatur skaliert die Logits. Eine hohe Temperatur glättet die Verteilung. Mehr Tokens werden plausibel, die Ausgaben wirken lockerer, überraschender. Eine niedrige Temperatur schärft sie. Das Modell konzentriert sich stärker auf sein wahrscheinlichstes nächstes Token, die Ausgaben wirken präziser, vorhersehbarer.

Top-p beschneidet die Verteilung. Nur Tokens in der obersten kumulativen Wahrscheinlichkeitsmasse werden ausgewählt. Es ist eine andere Methode, das Feld einzugrenzen.

Die Frequenzstrafe reduziert die Wahrscheinlichkeit für Tokens, die bereits aufgetaucht sind. Sie drängt das Modell von Wiederholungen weg.

Alle drei sind Varianzkontrollen. Keiner von ihnen verschiebt das Zentrum der Verteilung. Sie passen die Streuung um das an, was das Modell bereits für die wahrscheinlichste Ausgabe hält. Sie ändern nicht, was „am wahrscheinlichsten“ bedeutet.

---

Die KI-Baseline

Wir analysierten 320 Textproben von fünf großen Modellen (Claude, GPT, Gemini) und bewerteten jede davon anhand von sechs Stil-Dimensionen. Die daraus resultierende KI-Baseline:

Diese Zahlen beschreiben eine spezifische Art des Schreibens: Angemessen komplexe Sätze. Ein engeres Vokabular, als man erwarten würde. Hohe Ausdruckskraft. Mittlere Formalität. Mittelmäßige Prägnanz.

Vergleichen Sie nun zwei Profile berühmter Autoren auf denselben Achsen:

Die KI-Baseline liegt in einem engen mittleren Bereich. Über fünf Modelle hinweg beträgt die Variation zwischen den Modellen auf jeder Achse etwa 12 Punkte. Kafka und Hemingway unterscheiden sich von der KI-Baseline allein bei der Ausdruckskraft um 30 bis 50 Punkte. Und sie unterscheiden sich voneinander um 35 Punkte bei der Prägnanz.

Menschliche Autoren decken über 60 Punkte in diesen Dimensionen ab. KI-Modelle gruppieren sich innerhalb von 12 Punkten.

---

Warum diese Gruppierung existiert

Dies ist kein technisches Versagen. Es ist das beabsichtigte Ergebnis der Art und Weise, wie diese Modelle trainiert wurden.

RLHF (Reinforcement Learning from Human Feedback) belohnt systematisch bestimmte Schreibqualitäten: Klarheit, Hilfsbereitschaft, Vollständigkeit, Engagement. Diese Belohnungen ziehen jedes Modell in dasselbe Attraktorbecken. Hohe Ausdruckskraft (76) wird belohnt, weil engagierte, ausführliche Antworten positives Feedback erhalten. Geringe Prägnanz (42) wird belohnt, weil gründliche Antworten tendenziell besser bewertet werden als knappe.

Dies sind keine zufälligen Schwankungen, die man weg-tunen kann. Sie sind das strukturelle Ergebnis des Trainingssignals. Die KI-Baseline ist kein Ausgangspunkt. Sie ist ein Gravitationszentrum.

Wenn Sie die Temperatur senken, werden die Ausgaben des Modells konsistenter. Zuverlässiger auf das wahrscheinlichste nächste Token zentriert. Das bedeutet zuverlässiger innerhalb des Attraktorbeckens, nicht weiter davon entfernt. Eine niedrigere Temperatur macht die KI durchschnittlicher, nicht weniger.

Wenn Sie die Frequenzstrafe erhöhen, vermeidet das Modell die Wiederholung von bereits verwendeten Tokens. Das klingt, als könnte es das Vokabular erweitern. Aber es drängt von jedem spezialisierten Vokabular weg, das das Modell gelernt hat, mit einem bestimmten Bereich zu assoziieren. Das Vokabular, das ein Physiker verwendet. Das Vokabular, das ein Rechtsanalyst verwendet. Das Vokabular, das Hemingway verwendet, um keine Adjektive zu benutzen. Die Frequenzstrafe weiß nicht, dass diese Vokabulare bedeutungsvoll sind. Sie behandelt alle Wiederholungen gleich.

---

Die Physik dahinter

Die Intuition unseres Lesers war in einer Hinsicht korrekt: Die Parameter bewirken etwas Reales. Aber sie passen die Varianz an, nicht den Mittelwert.

Stellen Sie sich die Ausgabe eines Modells als eine Stichprobe aus einer mehrdimensionalen Verteilung vor. Eine Achse für Formalität, eine für Prägnanz, eine für Ausdruckskraft und so weiter. Das Zentrum dieser Verteilung ist durch das Training festgelegt. Die Parameter passen an, wie eng Sie um dieses Zentrum herum Stichproben ziehen.

Ein Schreibstil-Profil bewirkt strukturell etwas anderes. Es verschiebt das Zentrum. Es definiert neu, was „am wahrscheinlichsten“ bedeutet, für jede Achse unabhängig voneinander, basierend auf tatsächlichen Beispielen, wie ein bestimmter Mensch schreibt. Die Verteilung verschiebt sich. Der Mittelwert ändert sich.

Das lässt sich nicht replizieren, indem man die Varianz um den ursprünglichen Mittelwert anpasst. Sie bräuchten eine unendliche Temperatur, um Hemingways Prägnanz-Wert von einer KI-Baseline aus zu erreichen. Und bei unendlicher Temperatur erhalten Sie eine zufällige Ausgabe, nicht Hemingway.

---

Was das in der Praxis bedeutet

Wenn Sie ein KI-Schreibwerkzeug verwenden und das Gefühl haben, dass die Ausgabe irgendwie immer in Ordnung ist – klar, vollständig, etwas aufgebläht, aber nicht ganz so, wie Sie es ausdrücken würden –, dann erleben Sie das Attraktorbecken. Das Werkzeug funktioniert wie vorgesehen. Es produziert Texte, die in vielerlei Hinsicht wahrscheinlich besser als der Durchschnitt sind. Es ist nur nicht Ihr Text.

Die Ihnen zur Verfügung stehenden Parameter (Temperatur, Top-p, Presence Penalty, Frequenzstrafe) können Ausgaben kreativer oder weniger kreativ, wortreicher oder weniger wortreich, repetitiver oder weniger repetitiv machen. Sie können die KI nicht dazu bringen, so zu schreiben, wie Sie schreiben, oder wie Kafka schrieb, oder wie irgendeine spezifische Person mit einer spezifischen Geschichte und einer Reihe von Einschränkungen schrieb.

Das erfordert eine andere Art von Intervention. Eine, die auf der trainingsäquivalenten Ebene operiert, nicht auf der Sampling-Ebene. Eine, die dem Modell zeigt, wie Ihr Mittelwert über jede Dimension aussieht, und ihn dort hält.

Das Anpassen der Regler ist nützlich. Es ist nur nicht dasselbe, wie dem Modell beizubringen, wie Sie zu klingen.

---

Dieser Beitrag wurde durch die Frage eines Lesers inspiriert, ob API-Parameter das erreichen könnten, was ein Schreibstil-Profil leistet. Die kurze Antwort war nein. Dies ist die längere.