TransformerベースのAIのパーソナライゼーションは今後どうなるだろうか。「お父さんに今度の食事会の会場をメールしておいて」とかに対応するための情報。
- 案外プロンプトに全部収まってしまうので、毎回リクエストに入れる。
- 各人モデルをこまめにファインチューニングする。気軽にファインチューニングするための技術が作られる。
- パーソナライズ用の情報とか最近の話題とかをサーバで保持してうまく使う機構が追加される。
- どのような情報が追加で必要かをTransformerが出力して、それをプロンプトに追加して再呼び出しする。
- Transformerがプログラムを出力して、それを実行するとデータをとってきてフォーマットしてくれる。必要に応じてtransformerの再呼び出しもする(モナド)。
現在の言語系AIは未知語であっても接頭辞などを分解してなるべく処理してくれるんだけど、そうすると「de神エクセルfy」みたいな複数言語を混ぜた言葉をプロンプトに入れるようなテクニックが出てくるかもしれない。
すでに日本語から英語の文を作るときに狙った言葉を使わせるために、日本語の文の中に英単語を入れるとかしてるし。
Transformerにコンピュータプログラムを書いてもらう場合、一般的なコードの知識はニューラルネットワークに組み込まれてるとして、自前の既存コードに関する知識はどうやって与えることになるんだろうか。
既存コード全てをプロンプトに入れるのはトークン数的に難しい。
Attention用のkey-valueペアを事前に作っておいて、パッケージとかで階層化するなりkeyの空間インデックスを作るなりして、効率よくattentionの処理ができるようにするような仕組みが出てくるのかな。
Transformerにおいて、入力列と途中までの出力列を参照できるようにすれば品質を上げられるというのが基本的な考え方だけど、ニューラルネットワークは直接的には固定サイズの入力しか受け付けられない。そこで入力列や途中までの出力列の各要素について、そのときの状況に応じた重みつき和を計算してこれをニューラルネットワークの入力とすることで固定サイズの入力にできる、というのがAttentionの考え方で合ってる?
筆算の問題が画像で与えられたときにそれにinpaintを繰り返すと筆算の答えが出るようなAIが作れるだろうか。どこをinpaintするべきかをattentionで自動的に決定できるだろうか。
Attentionを使ったTransformerって、従来のモデルが暗算のようなものでTransformerが筆算のようなもの、という考えでいいんだろうか。
数字の計算をさせるときにプロンプトで「ステップバイステップで」と指示するとうまくいきやすいというのも、その特性を活かすということか。
長い文を何も見ずに翻訳しようとすると最初の方の単語を忘れちゃうけど、入力文や途中の訳文を随時見ながらならやればより良く翻訳できる。
人間が何か考えるときに紙に文字とか図とか書いたり、言葉に出したりすると上手くいきやすいのと似ていると言えるだろうか。
あとは、コンピュータをマウスでぽちぽちいじるより一旦スクリプトをメモ帳にまとめてから実行する方が間違いにくいとか、ダイクストラが人間は実行中のプロセスについて考えるよりもプログラムの静的なテキストについて考えるのに向いていると言っていたこととか関係する?
コンテナを起動してから終了するまでの間に読み込まれたファイルの一覧を作って、それ以外を削除したイメージを作るとかできないだろうか。
https://twitter.com/rsk0315_h4x/status/1631821996979023872
どこまで許せるか。
・64 bit整数はオーバーフローしない。
・randは0.0を返さない。
・メモリを読む処理はブロックしないとみなせる。
・rootユーザは全権限を持っている。
・mallocは失敗しない。
・テキストファイルの1行はメモリに入る。
・テキストファイルはメモリに入る。
・MACアドレスは一意である。
・時計は逆行しない。
・入力データに0.0がなければ演算でNaNは発生しない。
・64 bit浮動小数点数は無限精度とみなせる。
・ファイルは開いたら変化しない。
・ファイルから1 KiBだけ読み込む処理はブロックしないとみなせる。
・トランザクション分離レベルがserializableの場合にCOMMITが失敗することはない。
・3次ベジェ曲線4セグメントで真円が作れる。
・複数のシステムのDBをリストアした場合も整合性は保たれている。
・商品に対する評価の相関係数が1のユーザの好みは一致している。
・アクセストークンを送ってくるのは本人のみである。
NostrのDMって秘密鍵が漏れたら誰でも全部解読できてしまうのは怖い。
MS OfficeのShapeオブジェクトがピクチャの時に、画像の中身を直接調べることはできないっぽい? クリップボードにコピーするという手は使えるかもしれないけど、ううむ。
リポストされたノートがTLだと公開鍵表示で、詳細を見に行くとニックネームやアイコンが表示されるのなんか良い。なんならフォローしてるユーザ含めて全ユーザこれでいいのでは。
Microsoft Edgeの新しいタブページはmsn.com内のオンラインのページであり、Cookie等をがっつりセットしてきて、しかも別のページに設定できない。
Chromeの場合はchrome://new-tab-page/というブラウザ内蔵のページで、Cookie等もセットしない。
Edgeもコンピュータがオフラインのときは内蔵ページを開くようになっている。
FirefoxはFirefox Homeと空白ページを選択でき、両方とも内蔵ページ。
macOSのSafariは「スタートページ」「ホームページ」「空のページ」「同じページ」を選択でき、スタートページも内蔵ページである。
Edgeは悪いブラウザではないけど、これはだめだ。
KotlinのドキュメンテーションコメントであるKDocはMarkdown書けるんだけど、規則がちょっと独特。以下のコードで- ghiも- jklも@param aaaの説明の一部として扱われる(少なくともIDEA上では)。
~~~
@param aaa abc def
- ghi
- jkl
~~~
リストのようなものと思ってたけど、どちらかというとfenced code block(```)のように考えた方がよいのかも。
Nostr上のテキストの著作権ってどうなるんだろうか。Twitterなどでは明確に利用規約でAPI等を通じた利用についても定めてるけどNostrはそうではない。アメリカだとフェアユースの範囲でよろしくということだろうか。
Secure Scuttlebuttに比べれば日本ではNostrはキャズムを越えてると言っても過言ではないよ。