GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

7 月 13 日消息，外媒 Semianalysis 近日对 OpenAI 今年 3 月发布的 GPT-4 大模型进行了揭秘，其中包括 GPT-4 模型架构、训练和推理的基础设施、参数量、训练数据集、token 数、成本、混合专家模型（Mixture of Experts）等具体的参数和信息。

▲ 图源 Semianalysis

外媒表示，GPT-4 在 120 层中总共包含了 1.8 万亿参数，而 GPT-3 只有约 1750 亿个参数。而为了保持合理的成本，OpenAI 采用混合专家模型来进行构建。

IT之家注：混合专家模型（Mixture of Experts）是一种神经网络，该系统根据数据进行分离训练多个模型，在各模型输出后，系统将这些模型整合输出为一个单独的任务。

▲ 图源 Semianalysis

据悉，GPT-4 使用了 16 个混合专家模型 (mixture of experts)，每个有 1110 亿个参数，每次前向传递路由经过两个专家模型。

此外，它有 550 亿个共享注意力参数，使用了包含 13 万亿 tokens 的数据集训练，tokens 不是唯一的，根据迭代次数计算为更多的 tokens。

GPT-4 预训练阶段的上下文长度为 8k，32k 版本是对 8k 微调的结果，训练成本相当高，外媒表示，8x H100 也无法以每秒 33.33 个 Token 的速度提供所需的密集参数模型，因此训练该模型需要导致极高的推理成本，以 H100 物理机每小时 1 美元计算，那么一次的训练成本就高达 6300 万美元（约 4.51 亿元人民币）。

对此，OpenAI 选择使用云端的 A100 GPU 训练模型，将最终训练成本降至 2150 万美元（约 1.54 亿元人民币）左右，用稍微更长的时间，降低了训练成本。

以上就是GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型的详细内容，更多请关注其它相关文章！

# 之家  # 网络营销之网上推广  # seo刷排名口碑易速达  # BC类推广seo  # 读书网站建设北路小学  # 整合营销传播怎么推广  # 福州网页seo哪个好  # 网站推广竞价推广好还是seo好  # 好网站建设公司文案  # 浠水seo推广策略  # 青州seo优化收费标准  # GPT-4  # 多个  # 是一种  # 使用了  # 怎么处理  # 重庆  # 自定义  # 亿元  # 老照片  # 自己的  # OpenAI 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 郭帆谈ChatGPT：电影行业需要创新，否则人工智能将让电影变得平庸  微软 Azure AI 文本转语音服务升级：新增男性声音和扩展语言支持  普林斯顿大学推出Infinigen AI模型 可生成真实自然环境 3D场景  对话无界AI创始人长铗：AI的创业机会在应用层丨创新者Innovator  AI框架生态峰会本周开幕 华为昇腾“朋友圈”再聚首 全球首个全模态大模型将登场  MetaGPT开源框架爆红 GitHub，达到1.1万星，模拟软件开发流程  V社回应拒绝上架含 AI 生成内容的游戏：审核政策正在调整中  视觉中国推出AI灵感绘图功能  【机智云物联网低功耗转接板】远程环境数据采集探索  AI会帮我们把活干完吗？  联合国秘书长称支持建立全球人工智能监管机构  WHEE使用教程  田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘  调研海尔智家：AI名，家电命？  如何用户外电源给无人机实现持久续航  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  谷歌推出 SAIF 框架，倡导安全环境下探索和发展人工智能  随时随地，追踪每个像素，连遮挡都不怕的「追踪一切」视频算法来了  轻量级的深度学习框架Tinygrad  AI证件照生成器：实际测试中AI软件展现了绝无仅有的强大效能  微软向美国政府提供GPT大模型，如何保证安全性？  首个算网生态体！中国移动元宇宙产业联盟正式成立  人工智能：解决劳动力短缺的关键策略  马斯克回应人工智能拯救世界：人类已处于“半机器人”状态  AI+游戏首度大范围公布实际应用成果，AI全面来临还有多远？  探展WAIC | 第四范式“式说”聚焦toB大模型，布局生成式AI重构企业软件  OpenAI宣布在伦敦设立海外分部，要招揽“世界级人才”  社区里，孩子们体验“机器人竞技”  OpenAI高管：AI能创造新的就业机会 但也会淘汰一些  酒店业将如何受益于人工智能的改变？  人工智能赋能广西自然资源领域监测监管  生活垃圾智能分类机器人社区展“才能”，征求居民意见  小米创始人雷军将揭示小米AI在年度演讲中的最新进展  大模型新品出现井喷，AI产业迎来新时代  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单  Bing 聊天机器人现支持在桌面端用语音提问  论文插图也能自动生成了，用到了扩散模型，还被ICLR接收  研究发现AI聊天机器人ChatGPT不会讲笑话，只会重复25个老梗  加强能源消费绿色转型政策引导  “黑科技”亮相大湾区轨交论坛 智慧交通迈向“强AI”  加速电网转型升级推进新型电力系统建设  无需标注数据，「3D理解」进入多模态预训练时代！ULIP系列全面开源，刷新SOTA  AI新风口？首个高质量「文生视频」模型Zeroscope引发开源大战：最低8G显存可跑  谷歌推出 AI 反洗钱工具，可将金融机构内部风险预警准确率提高2至4倍  智能客服进入AI 2.0时代 容联云发布语言大模型“赤兔”  如何提高集群协作效率？中外团队合作研发基于均值偏移的机器人队形控制策略  下一个前沿：量子机器学习和人工智能的未来  无人机巡检方案是什么，该如何选择适合的巡检方案  【趋势周报】全球人工智能产业发展趋势：OpenAI向美国专利局提交“GPT-5”商标申请  英伟达推出 L40S GPU，AI 推理性能超过 A100 约 1.2 倍