Ouro— 字节Seed推出的循环语言模型

发布时间：2025-11-05

点击次数：

Ouro是什么

ouro是由字节跳动seed团队携手多家研究机构共同推出的循环语言模型（looped language models，简称looplm）。其名称灵感来自象征无限循环与自我吞噬的古老符号——衔尾蛇（ouroboros）。该模型创新性地在潜在空间中引入迭代计算机制，将复杂的推理能力内化至预训练过程，而非依赖传统的后期微调手段。通过采用两阶段自适应计算训练方法，ouro在参数效率方面表现卓越，其1.4b和2.6b版本在多项基准测试中展现出与更大规模sota大模型相媲美甚至更优的性能。尤其在高难度数学推理任务上，ouro凭借出色的多步推导与事实组合能力脱颖而出。此外，该模型生成有害内容的概率更低，推理路径更具因果一致性，输出结果更加可靠。

Clips AI

自动将长视频或音频内容转换为社交媒体短片

255 查看详情 Clips AI

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
Ouro的主要功能

强大的推理能力：Ouro在涉及多步骤逻辑推演和复杂事实整合的任务中表现优异，尤其是在挑战性的数学推理场景下，能够精准完成演算与推导，超越多数现有语言模型的表现。
卓越的参数效率：得益于独特的循环结构与训练策略，Ouro实现了极高的参数利用效率。即便是1.4B和2.6B的小型模型，在多种评测中也能匹敌更大规模模型的性能，显著降低部署成本与资源消耗。
更高的安全性和忠实性：Ouro在生成过程中展现出更低的有害内容倾向，且推理链条中的中间步骤与最终结论高度相关，具备更强的因果连贯性，提供更可信、更安全的响应。
开源与可扩展设计：Ouro已全面开源，发布包括1.4B和2.6B两种参数量级的模型版本，便于研究人员与开发者进行二次开发、实验验证与应用拓展，具备良好的生态兼容性与扩展潜力。

Ouro的技术原理

循环架构设计：Ouro采用循环式语言模型框架，通过在潜在表示空间中反复执行计算操作，使模型在预训练阶段即具备内在的推理能力，无需依赖后续对齐或微调来增强逻辑性。
两阶段训练机制：模型训练分为两个阶段：第一阶段使用熵正则化目标函数，促使模型均匀探索不同深度的计算路径；第二阶段聚焦于优化“退出门控”机制，动态平衡推理深度与性能增益，提升整体效率。
动态计算流程：Ouro的核心包含一个由共享权重层构成的“层堆栈”，在前向传播时可被多次循环调用，实现灵活的“动态计算”。这一机制解耦了模型性能与参数总量之间的强关联，转而依赖计算深度调节能力。
参数效率优化：通过循环复用参数和智能调度计算资源，Ouro大幅提升了单位参数的表达能力，使得小模型也能达到大模型级别的表现，有效节约训练与推理开销。
增强的因果忠实性：Ouro在生成过程中保持推理链的高度逻辑一致性，各中间状态与最终输出之间具有清晰的因果联系，从而提升了解题过程的透明度与结果的可信度。