什么是模型微调:SFT、DPO 和 RLHF 一次搞明白
一个生活中的类比假设你要培训一个新来的客服人员。 第一种方式:你给他一大堆标准话术——客户问什么、应该答什么,让他照着学。这叫监督学习。 第二种方式:他学完基本话术后开始实际接客。你听他的对话录音,好的回答你点赞,不好的你标个差评,让他慢慢...
共 2 篇相关文章
一个生活中的类比假设你要培训一个新来的客服人员。 第一种方式:你给他一大堆标准话术——客户问什么、应该答什么,让他照着学。这叫监督学习。 第二种方式:他学完基本话术后开始实际接客。你听他的对话录音,好的回答你点赞,不好的你标个差评,让他慢慢...
在大模型领域有句老话:”模型好不好,七分靠数据,三分靠算法。” 这话可能有点夸张,但数据的重要性确实怎么强调都不为过。 Hermes 系列能从一众微调模型中脱颖而出,训练数据的质量是最关键的因素之一。今天就来聊聊 Hermes 背后的数据工...