北大张牧涵团队依托昇腾突破推理效率瓶颈大模型推理百万tokens成本仅1 元

在人工智能领域，大语言模型的训练与推理开销长期制约着技术的广泛应用。近期，北京大学人工智能研究院助理教授张牧涵领衔的团队，在鲲鹏昇腾科教创新卓越中心（简称“卓越中心”）提供的强大算力支持下，成功构建了一套高效的大模型训练与推理架构，实现百万tokens输入成本低至1元，为行业提供了高性能、低成本的新范式。

该研究取得了三项核心技术突破。其一，当前主流的相对位置编码机制存在显著稀疏问题。团队创新性地将注意力头中的位置信息与非位置信息进行分离处理，对位置编码实施低秩压缩，在仅保留3%位置信息的情况下仍能保持原有的表达能力。该方案结合昇腾硬件优化的flash-attention算子，大幅提升了注意力头参数的利用效率。

其二，传统模型中非位置编码部分往往处于被压制状态。通过分离位置与非位置成分，非位置编码获得了更大的压缩潜力。研究团队采用联合KV的低秩压缩策略，仅需保留12.5%的KVCache即可维持模型性能。这一方法有效释放了昇腾芯片强大的计算潜能，缓解内存访问瓶颈，显著增强了推理吞吐能力。

其三，依托昇腾平台卓越的并行计算能力，团队研发出RecurrentDecoding（RD）技术，替代传统LM-head结构，从而提升训练数据利用率并加速推理过程。在训练阶段，RD通过对比解码生成的多个tokens与目标tokens，实现更高效的训练数据利用；在推理阶段，结合投机采样机制，显著提高token生成的命中率，进一步加快输出速度。

Zyro AI Background Remover

Zyro推出的AI图片背景移除工具

145 查看详情

此项成果已引发学术界高度关注，不仅为后续研究提供了可复现的高效架构模板，也极大降低了大模型在企业场景中的部署门槛。自2025年6月成立以来，北京大学与华为持续深化在前沿技术领域的协同攻关，此次突破充分验证了昇腾算力平台支撑高水平科研的能力。未来，卓越中心将持续推进大模型关键技术的创新探索，助力构建自主可控的技术生态体系。

以上就是北大张牧涵团队依托昇腾突破推理效率瓶颈大模型推理百万tokens成本仅1 元的详细内容，更多请关注其它相关文章！

# 涞水  # 黄石餐饮网站推广哪里好  # 河北廊坊seo网站建设网站优化  # 与非  # 中非  # 关键时刻  # 睡不着  # 未来  # 日本  # 北大  # 北京大学  # 让我  # 新闻资讯  # 日照网站建设软件公司  # 南漳网站整站优化  # 奶茶店的推广营销策划  # 上饶网站建设较好的公司  # 太原全网整合营销推广  # 玉溪网站推广外包服务  # 吉林搜狗seo优化  # 数字营销获客推广 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： “五年内人类程序员将消失”预言引争议，AI真的那么强大了吗？  MiracleVision视觉大模型功能介绍  深圳人工智能企业超1900家  AIGC浪潮下，联想集团再加码计算与人工智能  人工智能加速走进百姓生活：从2025全球人工智能技术大会看行业新趋势  上新7款产品，美图继续“蹭”AI  有 ARM 和 X86 两个版本，香橙派游戏掌机细节曝光  鸿蒙生态带来了哪些新的流量可能性，包括AI、服务分发和原生智能等方面？  掌阅科技入选北京市通用人工智能产业创新伙伴计划第二批成员名单  GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型  插画师对AI绘画软件的态度是怎样的？  "探索Meta发布的Quest MR/VR视频录制与拍摄指南"  成功孵化首个大型模型解决方案的重庆人工智能创新中心  人工智能驱动智能建筑会是未来趋势吗？  联通发布鸿湖图文AI大模型1.0，可实现以文生图  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单  国内首款大尺寸仿鸵双足机器人“大圣”亮相，穿戴红色战袍  看似低调，实则稳健：字节在AI路上会遇到什么？  张朝阳陆川谈AI：大数据模型大幅提升工作效率，ChatGPT冲击最大的是内容创作领域  Vision Pro头显重磅发布；苹果收购AR厂商Mira  懒人必备的家居清洁好物，石头自清洁扫拖机器人G20  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  “痴迷”元宇宙，魔珐科技想做什么？  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  马斯克的幽默“现实”：AR眼镜与20美元“增强现实”哪个真实？  探索人工智能和物联网的动态融合  谷歌StyleDrop在可控性上卷翻MidJourney，前GitHub CTO用AI颠覆编程  张勇对话多位诺奖得主 人工智能将无处不在  微软大牛加入ZOOM，AI人才大战打响  高通发布长期产品计划，为工业和企业物联网产品提供全新组合方案  微软 Azure AI 文本转语音服务升级：新增男性声音和扩展语言支持  云米Smart 2E AI立式空调开启预售：新三级能效，到手价3899元  小米首次曝光 64 亿参数的 MiLM-6B AI 大模型，或将应用于小爱同学  天翼云在国际AI顶会大模型挑战赛中获得冠军  “智能体动作生成技术”现身WAIC：游戏AI技术为机器人科创注入新动力  陈根：AI冥想教练为用户提供个性化指导  美妆行业在AI时代蓬勃发展  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT  “木头姐”：特斯拉的人工智能训练——“赢家通吃”的机会  甲骨文与Cohere合作为企业提供生成式人工智能服务  不止“文心一言”，消息称百度将推出全新 AI 对话软件“万话”  最大助力35公斤 外骨骼机器人或在养老、医疗领域“大展身手”  了解 AGI：智能的未来？  WHEE使用教程  工业机器人及非标自动化设备集成服务提供商  抛媚眼给瞎子看？微软、谷歌的AI广告被广告主抵制  改动一行代码，PyTorch训练三倍提速，这些「高级技术」是关键  特斯拉人形机器人将亮相 预计售价不超过15万元