LLM 全盛時代を迎えて分析的アプローチが行き場を失ったあと、みんなどうするのかと思っていたら、蓋を開けてみれば、成功しているのは原理解明系の研究。
https://speakerdeck.com/eumesy/analysis_and_interpretation_of_language_models
先に動くモノがあって、あとからそれがなぜ動くのかを解明する。動くモノを作って仮説を検証していた昔の感覚からすると、まるで逆立ちしているような話。
似たようなことを私も LLM 登場前に考えていた。ニューラルネットに人間の振る舞いを再現させて、その内部動作を解明すれば、人間の直感の説明(の少なくとも有力な仮説)になると唱えた。まあ無風だったけど。