https://jkomi.hatenablog.com/entry/2025/04/14/113359
LLMはなぜ計算ができるか:Transformerと「ワンの絨毯」 - Dust Theory
LLM(大規模言語モデル)が計算できる理由を、Transformerの構造と絡めて解説しています。
Transformerは自己注意層と線形変換層の繰り返しで計算を行いますが、その回路はデータから自動生成され、詳細は不明です。
グレッグ・イーガンの小説「ワンの絨毯」を引用し、LLMを巨大な生体高分子計算機に見立て、その内部構造の複雑さを示唆しています。