https://joisino.hatenablog.com/entry/physics
言語モデルの物理学 - ジョイジョイジョイ
本記事は、MetaのZeyuan Allen-Zhu氏が提唱する「言語モデルの物理学」を紹介しています。
これは、言語モデルの研究を博物学的な知識から、原理に基づいた研究へと転換させるコンセプトです。
本稿では、その基本的な考え方と、関連する6本の論文について詳しく解説します。
https://joisino.hatenablog.com/entry/physics
言語モデルの物理学 - ジョイジョイジョイ
本記事は、MetaのZeyuan Allen-Zhu氏が提唱する「言語モデルの物理学」を紹介しています。
これは、言語モデルの研究を博物学的な知識から、原理に基づいた研究へと転換させるコンセプトです。
本稿では、その基本的な考え方と、関連する6本の論文について詳しく解説します。
提唱者のZeyuan Allen-Zhu氏は、LoRA論文の著者の一人で、国際情報オリンピックで金メダル2枚、ACM-ICPC World Finalsで2位、FOCSやSTOCに採択されつつICMLに「一年で」「ファーストオーサーで」5本採択されるなどの実績があるスーパー研究者、とのことです。スーパーマンですね。