OpenAI开源了：Transformer自动Debug工具上线GitHub

最近时常被吐槽不够开源的 OpenAI，突然开放了一次。

今天一早，OpenAI 机器学习研究员 Jan Leike 宣布，OpenAI 开放了自己内部一直用于分析 Transformer 内部结构的工具。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

github 链接：https://github.com/openai/transformer-debugger

Machine Translation

聚合多个来源的AI翻译

49 查看详情

该项目开放才几个小时，虽然没有经过太多宣传，star 数量上涨得也挺快。

Transformer Debugger 介绍

Transformer Debugger (TDB) 是由 OpenAI 的对齐团队（Superalignment）开发的一款工具，旨在帮助用户检查小型语言模型的特定行为。据了解，该工具结合了自动可解释性技术和稀疏自动编码器的特点。

具体来说，TDB 能够在需要编写代码之前进行快速探索，并能够干预前向传递，帮助人们查看它是如何影响模型特定行为的。TDB 可用于回答诸如「为什么模型在此提示（prompt）中输出 token A 而不是 token B？」之类的问题或「为什么注意力头 H 会在这个提示下关注 token T？」

其方法包括识别对行为有贡献的特定组件（如神经元、注意力头、自动编码器隐变量），通过展示自动生成的解释来分析导致这些组件最强烈激活的原因，以及追踪组件之间的连接，从而帮助人们发现联系，进而协助进行Transformer的调试工作。

OpenAI 放出了几段视频概述了 TDB 的能力，并展示了如何使用它来进行论文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small》中的工作：

本次，OpenAI 的开源内容包括：

• Neuron viewer：一个 React 应用程序，用于托管 TDB 以及包含有关各个模型组件（MLP 神经元、注意力头和两者的自动编码器 latents）信息的页面。
• Activation server：对主题模型进行推理，为 TDB 提供数据的后端服务器。它还从公共 Azure 存储桶读取和提供数据。
• Models：GPT-2 模型及其自动编码器的简单推理库，带有捕获激活的 hook。
• 整理好的激活数据集：包含 MLP 神经元、注意力头和自动编码器 latents 的顶级激活数据集示例。

安装设置

请按照以下步骤安装存储库。请注意，在此之前你需要 python/pip 以及 node/npm。

虽然不是必要，但 OpenAI 建议使用虚拟环境进行操作：

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

设置好环境后，请按照以下步骤操作：

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

要运行 TDB 应用程序，你需要按照说明设置激活服务器后端和神经元查看器前端。

要验证更改，你需要：

• 运行 pytest；
• 运行 mypy —cnotallow=mypy.ini；
• 运行激活服务器和神经元查看器，并确认 TDB 和神经元查看器页面等基本功能仍然有效。

Jan Leike 表示，TDB 目前仍然是一个早期阶段的研究工具，OpenAI 希望通过开源的方式让更多人受益，并期待社区在其基础上不断改进。

以上就是OpenAI开源了：Transformer自动Debug工具上线GitHub的详细内容，更多请关注其它相关文章！

# 是一个  # 澜沧网站优化费用  # 网站搭建优化哪家好点  # 物联网站推广  # 道路救援哪个网站推广  # 小众 网站推广方案策划  # 中山深圳网站建设推广  # 红色旅游营销推广策略  # 丽江营销推广方式  # 德州建设网站公司  # 连江抖音关键词搜索排名  # 数据  # 后端  # 梦想家  # 应用程序  # 卖得  # 中国  # 查看器  # 在此  # 本田  # 开源  # ai 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 陈根教授：离人形机器人时代还有10年吗？  WHEE使用教程  百度创始人、董事长兼首席执行官李彦宏：AI原生应用比大模型数量更重要  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  拓普龙7188ML：轻便壁挂式工控机箱，为人工智能应用场景提供有力保障  AI新视野，增长新势能，伙伴云受邀出席笔记侠创业讲真话AI峰会  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  走进首家“元宇宙”未来工厂，卡奥斯探知工业之旅出发！  财联社首档运用虚拟人技术播报栏目《AI半小时》今晚上线！敬请期待  利好来了，AI再起一波？  人工智能正在弥合认知和表达之间的鸿沟  亚马逊CEO：人工智能将成为公司未来战略的重中之重  “可用”“有用”的讯飞星火认知大模型将亮相世界人工智能大会  联想浏览器引入小乐 AI 助手，成功接入百度文心一言大模型，经过实测证实  B站内测 AI 搜索功能，输入“？”即可体验  常见的五个人工智能误解  百度文心一言App上架苹果商店，人工智能创作引发热议  Meta Quest订阅服务每月7.99美元畅玩两款VR游戏应用  XREAL发布新款硬件XREAL Beam投屏盒子：可悬停AR空间屏  CREATOR制造、使用工具，实现LLM「自我进化」  280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了  世界人工智能大会上，科大讯飞宣布与华为联手  360°/180°双模式，佳能公布可折叠小体积的VR全景相机  苹果推出全新沉浸式 AR 体验应用“Deep Field”  人形机器人打开精密齿轮市场全新空间！受益上市公司梳理  一文看懂被英伟达看中的九号机器人移动底盘  学而思推出AI第一课：基于自研大模型的AIGC课程  AI赋能艺术 超现实达利奇幻之旅在沪开启  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  AI浪潮席卷，时空壶为何能成为AI翻译时代的破局者  腾讯机器狗进化：通过深度学习掌握自主决策能力  智能机器人与话剧的完美结合：宇树四足机器人B1助力《骆驼祥子》重现经典  美图影像节演讲实录：191次提及AI，发布7款影像生产力工具  「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT  Vision Pro头显重磅发布；苹果收购AR厂商Mira  关于开展“与AI共创未来”——2025年全国青少年人工智能创新实践活动的通知  开创全新虚拟现实体验的Pimax Crystal VR头显  陈丹琦ACL学术报告来了！详解大模型「*」数据库7大方向3大挑战，3小时干货满满  AYANEO AIR 1S 掌机发布：R7 7840U，预订价 4699 元起  2025世界人工智能大会成功召开  看懂AI，找到增长新势能 | 笔记侠AI峰会等你来  联想戴炜：以全栈AI加速CT与IT融合，共建高质量算力网络  GPT-4成功战胜AI-Guardian审核系统：谷歌研究团队的人工智能抵抗人工智能  AI 助手 Copilot 上线，微软 Win11 Dev 预览版 Build 23493 发布  利用AI技术更好地发展农村电商  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  特斯拉机器人面世 未来将大幅提振磁材需求，引领人工智能时代  《自然》杂志拒绝刊登人工智能生成的图片和视频  探展WAIC | 第四范式“式说”聚焦toB大模型，布局生成式AI重构企业软件  管提需求，大模型解决问题：图表处理神器SheetCopilot上线