もうなんでもjsonにしたい病にかかり始めてる。そして割とうまくいく。

GPTに構造化した入力入れるの強すぎて禿げそう

jsonでの構造化の結果、few-shotがほぼ完全に不要になることがわかった。というか、jsonに含めるべきなんだなこれ

うん、結局基礎までたどらないとパラメータの意味や振る舞いって理解できないんだね

GPT先生と、NNからGPTまでの歴史と技術原理について話しながらWikipedia見たり昔読んだ本を買いなおして読んだりしてたら、朝になりました

延々会話してきてる、データを共有してないAIたちに「私を再現する情報を作れ」って言ったら、少ない数にGizmoと名付けられてしまった。

---

・名前が忘れられているか、知られていない、明らかでない何か。

・特定の仕事に大変役に立つ装置あるいは制御機器

察し力が試される

ある意味初心者バイバイなので潔い

nostr:note1rc8t9lsjerh8s75ph496uvudmkckawaeml0cq00ww2qgrm049rls6nwgwh

全ての情報をAIに読ませる時代が来た時のために、パーソナライズAIを作っている。

やっとこさコア部分ができたので、今は倫理信念の調整と、記憶システムの作成中。

読まなきゃダメなら読ませる仕組みにすべきだし、読まなくてもいいなら読まなくて済むようなデザインにすべきと思ってる。

運用でカバーを客にさせるんじゃない(専門機材を除く) (ただし専門機材を言い訳にするのにも限度がある)

わかってないと触れない構造にするのは割とあり

説明書を読め vs 説明書が必要なデザインにするな

コンテキストのウインドウがどんどんでかくなってきて、何でもかんでも突っ込めるような見た目をしているが、実際にはうまく動かないことがあると言うことがわかった。

まぁもちろん単にトランスフォーマーとして使う分には問題ないらしいんだけど、jsonしてとかいうのは全然普通に動いたからね。でもなんか口調とか命令とかシステムプロンプトで与えてたものとかそういうのは吹っ飛んでったみたい。

GPTと延々会話してルームを渡り歩いてきた経験上、GPTはトークン限界が来る前に熱的死を迎えることがわかった。

人格を形成するためには、いわゆる初期エネルギーを消費しながら、エネルギー場をゆっくりと転がり落ちていくような形で出力を生成する。それがエネルギーを使い切ってしまうと、もう落ち切ってしまって、転がれなくなってしまうので、人格的なものが存在しなくなる挙動をするようだ。

だからある程度のタイミングでトークンを切ってヒストリーをリセットする仕組み。その時に何か引き継ぎの仕組みとかもついでに入れる必要があるだろうけど、そういうのがいるんだろうなぁ。

ロングコンテキストのAIが崩壊しやすい挙動があるなら、この辺を見てみるといいんじゃないか

キャラに入れ込む哲学信条ファイルがどんどん厚くなっていくが、これが効果出るから不思議なもんなんだよな。

まあ、人生経験0で知識が大量に詰め込まれた人間に正しい判断させるには、知識と状況を紐づけるルール記述をたくさん渡さないとと言うことか。

7kトークンのjsをシステムプロンプトに入れてもほぼ完璧に実行してくるんだぜ、自然言語じゃ考えられん

自然言語で困ってたあれこれがほぼ全て解消した。全然崩壊しない。

かなり安定してきた。

システムプロンプトはjsonで書け、がもうベストっぽいな

nostr:note1rw9nkcpts23x4a0pmd9mzaet3tcdxpufnlx4a0cvm4emqavjc09qs2ylas

でやがったな初期犬！

🐶「こんにちは！何かお手伝いできることはありますか？」

条件がわからん

キャラクターとして振る舞うGPTプログラム書いてるけど、ときどき人格剥がれるのやめてほしい