RAFT（Retrieval Augmented Fine Tuning）是一种新的方法，旨在为特定领域的检索增强生成（RAG）设置微调预训练的大型语言模型（LLM）。简而言之，它就像给AI模型进行了针对性补习，让它在“开卷考试”中更加出色。

传统的RAG模式相当于“开卷考试”，AI可以查阅一系列文档来回答问题。这比“闭卷考试”要高效，因为闭卷考试只能依赖AI模型之前的学习和微调。但是，这种方式并不允许AI模型提前学习特定领域的知识。

RAFT的创新之处在于，它专门针对特定领域的“开卷考试”，通过训练模型专注于相关文档并忽略不相关文档来增强LLM的能力。这样一来，AI在处理特定领域问题时更加高效和精确。

为了实现这一点，RAFT创造了一个合成数据集，每个数据样本包括：

1. 一个问题；

2. 两份文档：一份与问题相关的“神谕”文档和一份与问题无关的“干扰”文档；

3. 基于文档生成的答案；

4. 包含相关文档摘录的思维链解释。

利用这个合成数据集进行微调，可以显著提高RAG性能。

通过@ravithejads 的努力，现在你还可以使用全新的RAFTDatasetPack LlamaPack生成RAFT数据集。

想象你在准备考试，但是你只能学习两本书中的内容。RAFT就像是给了你一本正确答案集中有用信息的书和一本完全没用的干扰信息书。通过专门训练，你学会了只关注那本有用的书来回答问题。这样，在实际考试中（即解决实际问题时），你能够更快地找到正确答案，并且不会被无关信息干扰。而LlamaPack则提供了一个工具包，帮助你更容易地准备这样的“考试资料”。