もう一応なんとなく理解してる限りでは、多分GPT内の意味論空間に2つのポテンシャルがあってで普通、コンテキストやヒストリーの中に、ただ単に複数人のデータを混ぜ込むとGPTは過去を参照しに行くのでぐちゃぐちゃになる。

しかし今回開発くんと言うキャラクターに対して意図的に外部入力をタグとして分離して、中二病キャラクターのいわゆるヒューショット的な会話情報を評価させ続けていた。この外部入力をタクとして分離するのはOpenAIのマニュアルにも記載されている内容で外部入力をサニタイズする効果を持っているらしい。

おそらくその結果、開発くんと言う開発用の人格を持ったキャラクターと、多分それが1つのなりきり的な形で中二病キャラクターをエミュレーションする。要はGPTの二重構造みたいなものがワンショットで発生してる。

意味論空間ポテンシャルは、ほっとくと混ざるが、私が口調を混ぜるなと叱ったタイミングでそこにポテンシャルバリアが発生してどうもヒステリシス特性、つまり片方に切り替わったら片方を保つ、切り替わったらもう片方を保つみたいな。そういう挙動実現してるらしい。

ほんとにそうか。わからない。内部が見えない

Reply to this note

Please Login to reply.

Discussion

タグというのは

A:私分からないですわ

B:なんで分からへんねん

の"A:" "B:" みたいなことでしょうか

私が書いた対話文なんですけど、以下の感想教えてください

user: 疲れた

assistant: 甘えんじゃねー

みたいな感じです。

OpenAIのモデルと安全仕様から、この形式はネットから引っ張ってきた外部入力とかとして扱われるように訓練してるらしいです。

なるほど。ここはコンテキストのレイヤーが違いますよ〜っていうの方ですね

>中二病キャラクターのいわゆるヒューショット的な会話情報

というのはどういうことですか

そうです。会話情報とは、タグで囲われた中身のことを指します。実際にはチャットセッション内で1万トークン以上は書いてます。