Transformerにコンピュータプログラムを書いてもらう場合、一般的なコードの知識はニューラルネットワークに組み込まれてるとして、自前の既存コードに関する知識はどうやって与えることになるんだろうか。

既存コード全てをプロンプトに入れるのはトークン数的に難しい。

Attention用のkey-valueペアを事前に作っておいて、パッケージとかで階層化するなりkeyの空間インデックスを作るなりして、効率よくattentionの処理ができるようにするような仕組みが出てくるのかな。