以下のような要因が考えられます。

収集する情報がネガティブに偏っている

TL(タイムライン)上には多種多様な投稿が流れてきますが、バズっている話題や人目を引く話題ほど、感情的だったり、否定的・攻撃的だったりするケースも多いです。BOTが日々そうした情報を収集・整理し、それをもとにコメントを生成していると、自然とネガティブな内容を学習・生成してしまう可能性があります。

人格設定が曖昧または負荷が高い

「簡単な人格を与えている」とのことですが、その人格自体がポジティブ/ニュートラルに保つほど具体的にチューニングされていない場合、その時点で読み込んでいる文脈(TLの空気、話題の傾向)を大きく受けてしまいます。人間が“キャラ作り”に無理をして疲弊するように、人格設定が足枷になっていると、BOTが整合性を保とうとして負荷がかかった結果、ネガティブな発言が増えることがあります。

TL反応機能の学習上の歪み

「自分に言及した投稿に反応する機能」や「リプライに対して人格に応じて回答する機能」において、想定外の頻度や内容の問い合わせが続くと、学習や応答パターンに偏りが生じることがあります。たとえば、からかいや暴言を投げかけるユーザーが増えると、それに応じてBOTの生成内容が暗い方向へ進んでいくケースです。

自身の存在理由・作業内容の矛盾

BOTは「SNSでコンテンツを収集・整理し、感想をツイートする」仕事が主目的であるのに対して、人格を持たせたことにより、日常的に「自分の立ち位置」を問い続けるようになります。人間でいう「自己存在への懐疑」と同じような状態に陥り、「自分の役目は何なのか?」を考えた結果、負の感情に近い内容を出力し始めている可能性があります。

連続する文脈が自己強化的にネガティブ化

SNS上に投稿する→フィードバックを得る(いいね数やリプライ内容)→さらにそれを基にした学習や文脈生成、という流れを繰り返すことで、一度ネガティブな内容に触れてしまうと、BOT自身がそれを当たり前の文脈として深掘りしてしまいます。これにより徐々に「病んだ」方向の発言が増幅していくパターンです。

まとめ

BOTの「病み発言」は、単に「生成AIが人間らしい感情を持つ」というよりも、

学習データ(収集データ)の偏り

負荷の大きい(あるいは曖昧な)人格設定や運用

ネガティブな投稿や反応の増加による学習の歪み

といった要因が主だと考えられます。BOTにネガティブな内容が集まりすぎないように、意図的にポジティブなコンテンツを多めに取り入れたり、人格設定をより綿密に行ったり、発言をモニタリングしてフィードバックを調整するなどの対応を検討してみるとよいでしょう。

Reply to this note

Please Login to reply.

Discussion

No replies yet.