パラメータ調整で「平均」から抜け出せるか？

物理学を専攻する博士課程の学生から、的確な質問のメールが届きました。彼はWriting Style Profileの仕組みについての当社の解説を読み、こう尋ねてきました。temperature、top-p、frequency penaltyを調整すれば、同じ結果が得られるのではないか、と。彼が問うていたのは、APIですでに使えるつまみが、当社がやっていることを、もっと暗黙的なかたちで、すでにやっているのではないか、ということでした。

良い質問です。きちんとした答えに値します。

きちんと出典を示しておきましょう。この質問はもともと、上海交通大学の博士課程の学生であるYuqi Qing氏から寄せられたもので、氏はここで名前を挙げることを快く許可してくれました。

---

パラメータが実際にやっていること

temperature、top-p、frequency penaltyはすべて、同じ層で作動します。トークンのサンプリングです。モデルが語彙全体にわたる確率分布を計算し終えたあと、これらのパラメータは、トークンが引かれる前にその分布を作り変えます。

temperatureはロジットをスケーリングします。高いtemperatureは分布を平坦にします。より多くのトークンがもっともらしくなり、アウトプットはよりゆるく、より意外なものに感じられます。低いtemperatureは分布を鋭くします。モデルは最も確率の高い次のトークンに賭け、アウトプットはより引き締まり、より予測可能になります。

top-pは分布を切り詰めます。累積確率の上位に入るトークンだけがサンプリングされます。これは、選択肢を絞り込む別のやり方です。

frequency penaltyは、すでに登場したトークンにペナルティを課します。モデルを繰り返しから遠ざけます。

この3つはいずれも分散のコントロールです。どれも分布の中心を動かしません。モデルがすでに最も可能性が高いと考えているアウトプットの、その周囲の広がりを調整するだけです。「最も可能性が高い」の意味そのものを変えることはありません。

---

AIのベースライン

当社は5つの主要モデル（Claude、GPT、Gemini）から320のサンプルを分析し、それぞれを6つの文体次元で採点しました。そこから浮かび上がるAIのベースラインはこうです。

これらの数字は、ある特定の種類のライティングを描き出しています。そこそこ複雑な文。思うより狭い語彙。高い表現力。中程度の形式性。平凡な簡潔さ。

では、有名な作家2人のプロフィールを同じ軸で比べてみましょう。

AIのベースラインは、狭い中間帯に収まっています。5つのモデルにわたって、モデル間のばらつきはどの軸でもおよそ12ポイントです。KafkaとHemingwayは、表現力だけでもAIベースラインから30〜50ポイント離れています。そして両者は、簡潔さにおいて互いに35ポイント異なります。

人間の書き手はこれらの次元にわたって60ポイント以上の幅を持ちます。AIモデルは12ポイント以内に固まっています。

---

なぜこの集まりが生まれるのか

これは技術的な失敗ではありません。これらのモデルが訓練された、そのやり方が意図した結果です。

RLHF（人間のフィードバックによる強化学習）は、特定のライティングの資質を体系的に報酬づけます。明快さ、有用さ、網羅性、engagementです。これらの報酬が、あらゆるモデルを同じ引力の盆地へと引き寄せます。高い表現力（76）が報酬づけられるのは、熱のこもった、広がりのある応答が肯定的なフィードバックを得るからです。低い簡潔さ（42）が報酬づけられるのは、掘り下げた応答のほうが、そっけない応答より高く採点されがちだからです。

これらは、調整で消せるランダムな揺らぎではありません。訓練シグナルの構造的な帰結です。AIのベースラインは出発点ではありません。それは重力の中心です。

temperatureを下げると、モデルのアウトプットはより一貫したものになります。最も確率の高い次のトークンに、より確実に中心を置くようになります。つまり、引力の盆地から遠ざかるのではなく、より確実に盆地の内側に入るということです。低いtemperatureはAIをより平均的にするのであって、平均から遠ざけるのではありません。

frequency penaltyを上げると、モデルはすでに使ったトークンの繰り返しを避けます。これは語彙を広げそうに聞こえます。しかし実際には、モデルが特定の分野と結びつけて学んだ専門的な語彙から遠ざけてしまいます。物理学者が使う語彙。法務アナリストが使う語彙。Hemingwayが形容詞を使わないために使う語彙。frequency penaltyは、これらの語彙に意味があることを知りません。あらゆる繰り返しを等しく扱います。

---

その物理学

私たちの読者の直感は、一方向においては正しかったのです。パラメータは実際に何かをしています。しかし、それが調整しているのは分散であって、平均ではありません。

モデルのアウトプットを、多次元の分布から取り出した1つのサンプルとして思い描いてみてください。形式性に1軸、簡潔さに1軸、表現力に1軸、といった具合です。この分布の中心は訓練によって固定されています。パラメータは、その中心の周囲でどれだけ狭くサンプリングするかを調整するだけです。

Writing Style Profileは、構造的に異なることをします。中心そのものを動かすのです。特定の人間が実際にどう書くかの実例に基づき、各軸について独立に、「最も可能性が高い」の意味を定義し直します。分布が動きます。平均が変わります。

これを、元の平均の周囲で分散を調整することで再現することはできません。AIベースラインからHemingwayの簡潔さのスコアに到達するには、無限のtemperatureが必要になるでしょう。そして無限のtemperatureでは、得られるのはランダムなアウトプットであって、Hemingwayではありません。

---

実践において意味すること

AIライティングツールを使っていて、アウトプットがどこか常にまあまあ良い——明快で、網羅的で、少し水ぶくれしていて、自分ならこう言わない、という感覚があるなら、あなたは引力の盆地を体験しています。ツールは設計通りに動いています。いくつかの点では平均よりおそらく良いテキストを生み出しています。ただ、それはあなたのテキストではないのです。

あなたに使えるパラメータ（temperature、top-p、presence penalty、frequency penalty）は、アウトプットをより創造的にもそうでなくもでき、より冗長にもそうでなくもでき、より反復的にもそうでなくもできます。しかし、AIをあなたが書くように、あるいはKafkaが書いたように、あるいは特定の来歴と制約を持つ特定の誰かが書いたように書かせることはできません。

それには別の種類の介入が必要です。サンプリングの層ではなく、訓練に相当する層で作動する介入。各次元にわたってあなたの平均がどのようなものかをモデルに示し、そこにとどめておく介入です。

つまみを調整するのは有用です。ただそれは、あなたのように聞こえるようモデルに教えることと同じではありません。

---

この記事は、APIパラメータでWriting Style Profileが実現することを達成できるか、という読者の質問から生まれました。短い答えは「いいえ」でした。これはその長いほうの答えです。