Attentionを使ったTransformerって、従来のモデルが暗算のようなものでTransformerが筆算のようなもの、という考えでいいんだろうか。

数字の計算をさせるときにプロンプトで「ステップバイステップで」と指示するとうまくいきやすいというのも、その特性を活かすということか。

長い文を何も見ずに翻訳しようとすると最初の方の単語を忘れちゃうけど、入力文や途中の訳文を随時見ながらならやればより良く翻訳できる。

人間が何か考えるときに紙に文字とか図とか書いたり、言葉に出したりすると上手くいきやすいのと似ていると言えるだろうか。

あとは、コンピュータをマウスでぽちぽちいじるより一旦スクリプトをメモ帳にまとめてから実行する方が間違いにくいとか、ダイクストラが人間は実行中のプロセスについて考えるよりもプログラムの静的なテキストについて考えるのに向いていると言っていたこととか関係する?