Discussion
该网页链接是微博上的一条关于监督学习的内容。监督学习对大模型的训练至关重要。AI 科普达人 New Machina 用最通俗易懂的方式介绍了监督学习(supervised learning)的基本原理,以及在模型训练过程中的作用。对于想要了解模型训练原理的 AI 爱好者很有帮助。
所谓“监督学习”,其实就是让计算机像学生一样,通过看大量带答案的例子来学会做题。我们把这些带标签的数据喂给模型,模型慢慢学会从输入推导出正确的输出。比如你给模型很多“猫”的图片并告诉模型它们是“猫”,模型就能学着自己识别新的“猫”图片。
这种方法特别适合需要预测的场景,比如判断邮件是不是垃圾邮件,或者根据历史数据预测房价。比较常用的监督学习方法包括线性回归、逻辑回归、支持向量机、决策树和神经网络等。
当然,监督学习也有挑战。首先需要大量准确的标注数据(往往需要人工完成),收集和整理这些数据既耗时又花钱。如果模型太复杂,它可能只是死记硬背了训练数据,碰到新问题就容易“懵”,这就叫过拟合。所以,数据准备和模型调整都需要花心思。
像大型语言模型,前期大多用自监督学习,后面微调阶段就会用到监督学习,比如用问题和答案的配对数据继续训练。总的来说,监督学习是让机器学会“举一反三”的重要方法,在很多地方都能用得上。