言語は複雑な対象であり、自然言語処理の伝統的な研究手法は分析的アプローチに基づいてきた。すなわち、複雑な対象を要素に分割し、それぞれを要素還元主義的に分析することで仮説を構築し、それをシステムに実装する。実装されたシステムを評価することで現実の複雑性に問いかけ、得られたフィードバックをもとに仮説を修正するというプロセスを反復する。

現在はこの分析的アプローチは主役の座を追われ、ニッチな領域に追いやられている。背景にはニューラルネットの台頭がある。ニューラルネットは、対象を明示的に要素へ分解することなく、全体論的に複雑な現象を処理できる。そのため、人間が分析を通じて得た仮説をシステムに組み込む余地がほとんどない。

この状況のなかで分析的アプローチに活路があるとすれば、システムの内部ではなく、外部との関係においてだと最近考えている。ニューラルネットのパターン認識は、人間の直感に対応する。しかし、直感に基づいて判断したと言うだけでは、他者を説得できない。他者を説得するには根拠が必要であり、その根拠は分析的でなければならない。

Reply to this note

Please Login to reply.

Discussion

LLM 全盛時代を迎えて分析的アプローチが行き場を失ったあと、みんなどうするのかと思っていたら、蓋を開けてみれば、成功しているのは原理解明系の研究。

https://speakerdeck.com/eumesy/analysis_and_interpretation_of_language_models

先に動くモノがあって、あとからそれがなぜ動くのかを解明する。動くモノを作って仮説を検証していた昔の感覚からすると、まるで逆立ちしているような話。

似たようなことを私も LLM 登場前に考えていた。ニューラルネットに人間の振る舞いを再現させて、その内部動作を解明すれば、人間の直感の説明(の少なくとも有力な仮説)になると唱えた。まあ無風だったけど。

https://murawaki.org/pubdb/TL2021/paper.pdf