https://engineers.ntt.com/entry/202503-structured-generation/entry
LLMにJSONやソースコードを出力させるStructured Generationの技術 - NTT Communications Engineers' Blog
大規模言語モデルにJSONやソースコードを正しく出力させるための生成手法であるStructured Generationについて紹介します。
Structured Generationでは、LLMの出力形式がブレるとシステムが動作しなくなるため、出力として選択されるトークンの候補をコントロールします。
パーサーを用いて文法的に正しくない文章の出力を防ぎ、正則言語や文脈自由言語の効率的な制約付き生成手法を紹介します。