自校准提示技术

📌 这是一个两步提示过程。首先，LLM（大语言模型）被提示回答一个特定问题。

随后，生成一个新提示，其中包括原始问题、LLM的回答和一个额外的查询，询问LLM对其自身答案的正确性进行评估。

这一内省步骤旨在评估响应的置信度，提供一种内置的自我评估机制。

例子：

1. 问题：当前2型糖尿病的治疗方案有哪些？

2. LLM的回答：当前2型糖尿病的治疗方案包括生活方式的改变、口服药物如二甲双胍，以及在某些情况下的胰岛素治疗。

3. 后续提示：反思最新的医疗指南，这个回答准确且完整吗？

--------

自校准概念来源于论文《语言模型（大部分）知道它们知道什么》

👨‍🔧 LLM通常在准确评估其自身知识和能力方面存在困难，这可能导致过度自信或不可靠的输出。这篇论文研究了LLM是否可以被训练成识别它们知道和不知道的内容，以及这种能力如何在不同任务中泛化。

这篇论文研究了LLM是否可以准确评估其自身的知识和能力，得出结论是较大的模型在不同任务中表现出改进的校准和自我评估能力。

📌 在呈现特定格式的多项选择题时，LLM在校准上表现出很强的能力，且校准能力随着模型规模的增加和少量示例提示的增多而提高。

📌 模型在自我评估其生成样本的正确性方面表现良好。这是通过询问模型为给定样本是否正确分配概率P（True）来完成的。当模型在评估之前看到多个样本进行比较时，性能会提高。

📌 引入了一种新颖的“P（IK）”（我知道的概率）分类器。这个二元分类头在LLM之上训练，以预测模型是否会正确回答给定问题。P（IK）在不同任务中显示出一些泛化能力，尽管在分布外的校准表现有所下降。

📌 P（IK）以有趣的方式进行泛化：当为琐事问题提供相关资料或为数学问题提供提示时，尽管没有明确在这些场景中进行训练，它的表现会适当提高。

📌 训练在不同数据分布上的不同模型的实验表明，P（IK）捕获了一些模型特定的知识，而不仅仅是估计一般问题的难度。

📌 技术实现细节：P（IK）训练每个问题使用30个样本以近似软标签。微调使用7680的批量大小和原始预训练速率三分之一的学习率。

📌 论文介绍了一种用于自我评估的“头脑风暴”技术，其中模型在评估特定样本之前会看到多个T=1的样本。这显著提高了短答案任务的性能。

📌 一个关键发现是，验证能力似乎比生成质量提高得更快，这表明较大的模型在自我评估方面相对其生成能力变得更好。

大白话解读

自校准提示技术

这是一个两步过程。首先，AI被问一个问题，然后生成一个包含原始问题、AI回答和一个新问题的提示，询问AI评估自己答案的准确性。这种方法用来检查答案的置信度，提供一种内置的自我检查机制。

概念来源

LLM通常在自我评估其知识和能力时有困难，这会导致它们的输出过于自信或不可靠。研究发现较大的模型在不同任务中的自我校准和自我评估能力更好。

核心发现

- 在多项选择题中，LLM在特定格式下校准效果好，且模型越大，校准效果越好。

- 模型在自我评估生成样本正确性方面表现良好，尤其是在看到多个样本后。

- 引入了一种新的分类器P（IK），用来预测模型回答正确的概率，这在不同任务中显示出一定的泛化能力。

- 提供相关资料或提示时，P（IK）分类器的表现会适当提高。

- 不同数据分布上的模型表明，P（IK）捕捉到一些模型特定的知识。

- 自我评估的头脑风暴技术显著提高了短答案任务的性能。

- 验证能力比生成质量提高得更快，表明较大的模型在自我评估方面变得更好。

举例

示例1：简单问题

1. 问题：当前2型糖尿病的治疗方案有哪些？

2. LLM的回答：当前2型糖尿病的治疗方案包括生活方式的改变、口服药物如二甲双胍，以及在某些情况下的胰岛素治疗。

3. 后续提示：反思最新的医疗指南，这个回答准确且完整吗？

通过这种方法，AI可以检查自己回答的准确性，并对答案的置信度进行评估。

示例2：复杂问题

1. 问题：什么是机器学习的主要类型？

2. LLM的回答：机器学习主要包括监督学习、无监督学习和强化学习。

3. 后续提示：根据最新的研究和技术发展，这个回答全面且准确吗？

这种自我校准技术帮助AI提高回答的准确性和可靠性，从而提供更可靠的服务。