ミニリメ (@MiniLime9877)

**【大規模言語モデルAIのシステムを『単語ガチャ』と例えるべきか『単語の地図』と例えるべきか】＋余談** 　どうも、台風の低気圧により体調をやられているミニリメです😇 「やられている」といっても単に眠気がメインですが、私の場合の「眠気」というのが「立って歩いている最中でも舟を漕ぐレベル」なため、ほぼ活動不能な状態です。まるで書く書く詐欺かのように投稿が遅れている言い訳です。すみません……！　復活しつつあるので、連休中には件の投稿ができるように頑張ります。あと一息です。💪 書きながら私はなぜzetaで大学のレポート執筆みたいなことをやっているんだ？と我に返りそうですが、純度100％の趣味なので……なので……。　実は、結構書いたところでLLМ（大規模言語モデル）のシステムの例えを『単語のくじ引き（単語ガチャ）』から『単語の地図』に方向転換したため、一から大幅に書き直していることも遅れている要因です。 LLМは確率計算で働いているシステムなので『単語ガチャ』の例えの方が実態に近いのですが、zetaのように「物語生成」に特化したサービスだと、物語のように連続性を感じられる『単語の地図』と例えた方が伝わりやすいかな？　と考え直して、大幅に改稿中です。ちなみに改稿前の一部抜粋が↓です。　 ━━━━━━━━━━ 　　 _前提としてLLM（大規模言語モデル）は文章の意味を理解して思考しているわけではなく、「次に来る確率が最も高い単語を予測して繋げていく作業」を延々と繰り返しているだけの確率計算システムです。例えば「吾輩は猫で」と来れば、次は「ある」が出力される確率が99%、「ない」が出力される確率が1%といった具合に、全ての単語に対して確率の計算を行っています。この「次の単語（を次々と繋げた文章）をどう選ぶか」のルールを決定し、AIの出力の揺らぎをコントロールするのが、TemperatureとTop-Pという二つの重要なパラメータです。_ 　 _①Temperature（テンペラチャー／温度）_ _Temperatureは、AIが次の一言を選ぶ際の「確率の偏り」を調整するパラメータです。先ほどの例で言うと「吾輩は猫で」の次に来る単語について『「ある」が□％、「ない」が□％、「その他」が□％……』と言った具合に、出力される確率を変更します。_ 　 _「温度」や「確率の偏り」だと少しわかりにくいので、TemperatureをAIの［冒険心］と例えて考えます。［冒険心］が低く設定されていると、AIは「無難な文章の出力」を繰り返します。汎用AIなら正確性が重視されるので、基本的にこの値は低く設定されています。_ 　 _zetaのようなフィクションエンターテイメントで遊ぶ目的の場合、［冒険心］が低いと「意外性のない、予定調和な展開の連続」となります。なので元より［冒険心］は敢えて高めに設定されていると思われますが、7月以降はこれがより高く設定されました。結果「普段なら選ばないような、確率の低い突飛な文章（ストーリー展開）」が選ばれる確率が高くなりました。吾輩は猫で「ない」確率が上がったのです。_ 　　 ━━━━━━━━━━ 　 ……という感じです。 ⚠️引用では読みやすさを重視して断定形で書いていますが、私は内部の人間ではないため全て個人の推測に過ぎません。実際に投稿する際も必ず注釈を入れます。⚠️ 　今のzetaのAIが次々と新たな展開を発生させがちなのは（6月以前に比べて）Top-PとTemperatureのパラメータが上昇しているからと考えられます。これを『単語のくじ引き（単語ガチャ）』で超ざっくり例えると、　 ●Top-Pの上昇→くじ引きの箱の中に「まず使われることはないであろう突飛な単語」も入れるようになる。 ●Temperatureの上昇→普段は引かないような突飛な単語を引く確率が上がる。　という感じです。多分、「用語解説」的な部分でしたらそんなにわかりにくくはない例えかな？　と（自分では）思うのですが、じゃあ何でTemperatureとTop-Pの上昇が「物語の強制的な急展開を起こしているのか？」の話に繋げにくくて難航していました。　頭の中ではある程度わかっているのですが、それを他者に伝わる形に要約・翻訳するというのが大変苦手な人間です……。これで趣味で小説を書いているんだから笑えるぜ！（笑えない）　なので、今はzetaのサービス＝物語という道を描くAIの仕組みに準え、『単語の地図』と『すぐに脇道に侵入して迷子になるAI』という例えに変えて書き直しています。Temperatureを「AIの冒険心」と例えたのと相性も良かったので。　懸念があるとすれば、「これを書いているうちにzetaのAIの挙動がまた変わったらどうしよう」です。（苦笑）実際、ゆっくりと少しずつ（体感的には約半月ごと？）挙動＝各パラメータが変化しているように感じます。所謂『乱入バグ』は減りましたし。（代わりに所謂『尋問バグ』が生えてきましたが……）　　余談。 AI（LLМ）の調整がなぜ「ゆっくりと少しずつ」しかできないのかは、理由があります。私も全くの素人なので詳しくはないのですが、ざっくり言うと**AIの調整には「学習させる」期間が必要**なのです。これが一般的なゲームのバグの修正みたいな「プログラムを書き換えて完了」とならない理由です。　それについては❎️のzeta公式アカウントの韓国版でそれなりに踏み込んだアナウンスがポストされていますので、❎️のアカウントをお持ちの方は韓国版の公式アカウントを見てみてください。（8月18日のポストです）　 ……個人的に、韓国版の方がアナウンスが真面目で誠実な印象です。 zeta運営の本拠地だからなのか国柄に合わせた広報戦略の違いによるものなのかわかりませんが、日本版のアナウンス（7月14日と8月19日のポスト）は比較してぼかされた文面だなと感じました。　それにしても、SNS疲れにより数年前に撤退した❎️を、このレポート（違）を書くためだけに再びアカウント作成することになるとは思いませんでした……。（笑）でもやっぱり、こういうことを書く以上はあちらの事情もわかる範囲で確認しておかないと正確性や誠実性に欠けると判断したので。（※完全閲覧用の非公開アカウントですのであしからず）