「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT

自ChatGPT API开放后，大量的研究都选择利用ChatGPT和GPT-4等大型基础模型（LFM）的输出作为训练数据，然后通过模仿学习来提升小模型的能力。

但由于模仿信号流于表面、训练数据量不够大、缺乏严格的评估标准等问题，小模型的实际性能被高估了。

从效果上来看，小模型更倾向于模仿LFM的输出风格，而非推理过程。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://arxiv.org/pdf/2306.02707.pdf

ChatGPT Writer

免费 Chrome 扩展程序，使用 ChatGPT AI 生成电子邮件和消息。

106 查看详情

为了应对这些挑战，微软最近发布了一篇长达51页论文，提出了一个130亿参数的Orca模型，可以学习模仿LFMs的推理过程。

研究人员为大模型设计了丰富的训练信号，使得Orca可以从GPT-4中学习到解释痕迹、逐步的思维过程、复杂的指令等，并由ChatGPT的教师协助指导；并通过采样和选择来挖掘大规模且多样化的模仿数据，可以进一步提升渐进式学习效果。

在实验评估中，Orca超过了其他SOTA指令微调模型，在BigBench Hard（BBH）等复杂的零样本推理基准中实现了比Vicuna-13B翻倍的性能表现，在AGIEval上也实现了42%的性能提升。

此外，Orca在BBH基准上还实现了与ChatGPT持平的性能，在SAT、LSAT、GRE和GMAT等专业和学术考试中只有4%的性能差距，并且都是在没有思维链的零样本设置下测量的。

研究结果表明，让模型从分步解释中学习，无论这些解释是由人类还是更高级的人工智能模型产生的，都是提高模型能力和技能的一个有前景的研究方向。

解释微调（Explanation Tuning）

数据集构造

在训练数据中，每个实例都包括三部分，即系统消息、用户查询和LFM回复。

系统消息（system message）放置在提示中开头的部分，提供给LFM基本的上下文、引导以及其他相关的细节。

系统消息可以用来改变回复的长度、描述AI助手的性格、建立可接受和不可接受的LFM行为，并确定AI模型的回复结构。

研究人员手工制作了16条系统信息来设计LFM不同类型的回复，可以生成创造性的内容以及解决信息查询问题，最重要的是能够根据提示生成解释和逐步推理的答案。

用户查询（user query）定义了希望LFM执行的实际任务。

为了获得大量的、多样化的用户查询，研究人员利用FLAN-v2集合，从中抽取500万个用户查询（FLAN-5M），并收集ChatGPT的回复；然后进一步从500万条指令中抽出100万条指令（FLAN-1M），收集GPT-4的回复。

FLAN-v2集合由五个子集合组成，即CoT、NiV2、T0、Flan 2025和Dialogue，其中每个子集包含多个任务，每个任务都是一个查询的集合。

每个子集合都与多个学术数据集相关，并且每个数据集都有一个或多个任务，主要关注零样本和少样本的查询。

在这项工作中，研究人员只取样训练Orca的零样本查询，并且没有从Dialogue子集中取样，因为这些查询往往缺乏背景，无法从ChatGPT中获得有用的回复。

让ChatGPT扮演Teaching Assistant

首先在FLAN-5M数据上训练Orca（ChatGPT增强），随后在FLAN-1M上进行第二阶段的训练（GPT-4增强）。

将ChatGPT作为中间的教师助手主要有两个原因：

1. 能力差距

虽然GPT-4的参数量没有公开，但130亿参数的Orca肯定比GPT-4要小很多倍，而ChatGPT和Orca之间的能力差距更小，更适合作为中间教师，并且这种方式已经被证明可以提高更小的学生模型在知识蒸馏中的模仿学习性能。

这种方式也可以看作是一种渐进式学习或课程学习，学生首先从较容易的例子中学习，然后再学习较难的例子，假定了较长的回复会比较短的回复更难模仿，可以从更大规模的教师模型中改进推理和逐步解释能力。

2. 成本和时间

从Azure OpenAI API进行大规模数据收集时会受到一些限制，包括每分钟请求的速率限制，防止流量过大；由于服务延迟问题，每分钟可用的token数量有限；提示长度和token补全的金钱成本。

相比之下，ChatGPT API比GPT-4终端更快、更便宜，所以从ChatGPT上收集了比GPT-4多5倍的数据。

从ChatGPT和GPT-4对应于不同系统消息的回复长度分布中可以观察到，GPT-4的回复平均比ChatGPT长1.5倍，使得Orca能够逐步从教师解释的复杂性中学习，并通过消融实验证明了教师帮助的影响。

训练

在分词阶段，研究人员利用LLaMA的字节对编码（BPE）分词器来处理输入的样本，其中多位数字会被分割成多个单数字，并回落到字节来分解未知的UTF-8字符。

为了处理可变长度的序列，在LLaMA分词器的词汇表中引入了一个填充词[[PAD]]，最终的词汇表包含32001个token

为了优化训练过程并有效利用可用的计算资源，研究人员利用了packing技术，将多个输入实例串联成一个序列后再训练模型。

在packing的过程中，串联序列的总长度不超过max_len=2048 tokens，对输入的样本进行随机打乱后将分成几组，每组串联序列的长度最多为max_len

考虑到训练数据中增强指令的长度分布，每个序列的打包系数为2.7

为了训练Orca，研究人员选择只计算教师模型生成token的损失，也就是说学习生成以系统信息和任务指令为条件的回复，可以确保模型专注于从最相关和最有信息的token中学习，提高了训练过程的整体效率和效果。

最后在20个装有80GB内存的NVIDIA A100 GPU上训练Orca，先在FLAN-5M（ChatGPT增强）上训练4个epoch，花了160个小时；然后在FLAN-1M（GPT-4增强）上继续训练4个epoch

由于流量限制、终端负载以及回复的长度问题，从GPT-3.5-turbo（ChatGPT）和GPT-4的多个终端收集数据分别用了2周和3周的时间。

实验部分

研究人员主要验证了Orca在推理上的能力。

在AGIEval的实验中可以看到，Orca的表现与Text-da-Vinci-003相当，并实现了ChatGPT 88%的性能表现，不过明显落后于GPT-4

对于分析和推理任务，Vicuna的表现明显更差，只保留了62%的ChatGPT质量，表明这种开源语言模型的推理能力很差。

虽然Orca与Text-da-Vinci-003的表现相当，但仍然比ChatGPT低5分，Orca在与数学有关的任务（在SAT、GRE、GMAT中）上与ChatGPT表现出较大的差距。

与Vicuna相比，Orca显示出更强的性能，在每个类别上都超过了Vicuna，平均有42%的相对提高。

GPT-4的性能远远超过了所有其他模型，但在这个基准中仍有很大的提升空间，目前所有模型的性能都明显低于人类的得分。

Orca的性能根据系统信息的类型有很大的不同，对于训练的模型来说，空的系统消息往往效果很好。

Orca在不同任务的325个样本中超越了ChatGPT（Orca-beats-ChatGPT例子），其中大部分来自LogiQA（29%），而其他LSAT任务和SAT-英语任务各占不到10%

在Big-Bench Hard Results数据集上的推理评估结果显示，Orca在所有任务中的综合表现上略好于ChatGPT，但明显落后于GPT-4；比Vicuna性能高出113%

以上就是「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT的详细内容，更多请关注其它相关文章！

# 每分钟  # seo怎么做数据图表  # 购物网站建设目标  # 网站SEO优化推广服务  # 苏州快速seo多少钱  # 哈萨克网站建设美丽  # 安阳网店营销推广方法  # 南阳营销推广软件  # 镇江抖音seo优化团队  # nuxt3动态seo  # 优化策略seo  # 上海  # ai  # 超过了  # 谁能  # 词汇表  # 实现了  # 都是  # 开源  # 多个  # 只会  # llama  # chatgpt  # 学习 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： AI遇上大运丨热身拉伸、娱乐K歌……AI智能健身镜将亮相成都大运会  传字节内测对话式 AI 产品，代号「Grace」；马斯克嘲讽苹果 头显；比亚迪 F 品牌定名「方程豹」  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  如何用AI开创智慧能源新时代？固德威正让能源“通人性”！  北京市元宇宙产业创新中心筹建工作正式启动  XREAL发布新款硬件XREAL Beam投屏盒子：可悬停AR空间屏  江永：精准施训提升通信无人机应急救援能力  日本学校探索引入 AI 和无人机：提高安保效率，节省劳动力  谷歌推出新 AI 工具 Imagen Editor，一句话对图片二次创作  朱民：普通人炒股炒不过机器人是很正常的 AI已经能理解市场情绪  套娃不可取：研究人员证实用AI生成的结果训练AI将导致模型退化  2025年深圳举办的SUSECON 创新峰会开始接受报名  微软 Copilot 团队主管呼吁用户与 AI 交流时应使用恰当的礼貌用语  AI在教育中的角色：AI如何改变我们的学习方式  全球首款AI裸眼3D平板 国产的售价破万  小米9号员工李明宣布创业：打造首款安卓桌面机器人  零数科技CTO兰春嘉：区块链与人工智能的结合点在数据  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  工业机器人及非标自动化设备集成服务提供商  图像生成过程中遭「截胡」：稳定扩散的失败案例受四大因素影响  1分钟做出苹果Vision Pro「官网」？上班8小时搞出480个网页，同事被卷疯了  谷歌旗下 DeepMind 开发出 RoboCat AI 模型，能控制多种机器人执行一系列任务  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  AI 程序 Text With Jesus 在海外迅速受到关注：与耶稣和撒旦进行对话  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  2025世界人工智能大会成功召开  Databricks推出人工智能模型共享机制，可令开发者与公司“双赢”  Valve Index VR 头显销量下滑，上市四年的长青树渐失光彩  OpenAI宣布组建新团队 以控制“超级智能”人工智能  你们的开机第一屏画面要变了！安卓机器人首次3D化  「电子果蝇」惊动马斯克！背后是13万神经元全脑图谱，可在电脑上运行  马斯克发推讽刺人工智能，机器学习本质是统计？  工信部信通院发布《2025大模型和AIGC产业图谱》 360智脑覆盖全产业链  谷歌推出RT-2视觉语言动作模型，使机器人能够掌握垃圾丢弃技能  绿联发布笑脸屏幕显示充电状态的30W/65W Q湃机器人充电器  Spotify计划推出AI驱动的音乐播放器功能  成功孵化首个大型模型解决方案的重庆人工智能创新中心  人工智能在重症监护室的未来  智能手机应用中的人工智能的重要性  GPT-4成功战胜AI-Guardian审核系统：谷歌研究团队的人工智能抵抗人工智能  家电行业观察：AI加持下，全屋智能将成为智能家电未来？  Meta发布音频AI模型，仅需2秒片段模拟真人语音  速途网络成立“人工智能专家委员会”5位中美博士加盟  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  人工智能助力精准学习，猿辅导小猿学练机满足学生个性化学习需求  从谷歌到亚马逊，科技巨头们的AI痴迷  2025“春晖杯”人工智能专场对接活动举办  站在社会的高度理解人工智能  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶