TransformerベースのAIのパーソナライゼーションは今後どうなるだろうか。「お父さんに今度の食事会の会場をメールしておいて」とかに対応するための情報。
- 案外プロンプトに全部収まってしまうので、毎回リクエストに入れる。
- 各人モデルをこまめにファインチューニングする。気軽にファインチューニングするための技術が作られる。
- パーソナライズ用の情報とか最近の話題とかをサーバで保持してうまく使う機構が追加される。
- どのような情報が追加で必要かをTransformerが出力して、それをプロンプトに追加して再呼び出しする。
- Transformerがプログラムを出力して、それを実行するとデータをとってきてフォーマットしてくれる。必要に応じてtransformerの再呼び出しもする(モナド)。