发布时间:2023-06-27
点击次数: 谁曾想,一次学生不想参加考试的“任性”,后来竟影响了整个互联网。
70年前MIT的一堂信息论课上,一位老师为了给学生“减压”,摆出一道选择题。
要么参加期末考试,要么写篇论文改进现有算法,自己挑。
这位老师名叫罗伯特·范诺,他没告诉学生们的是,这个“现有算法”,正是他和信息论创始人香农合著的香农-范诺编码。而为了改进算法不足,他本人已经投入大量时间进行研究。
(老师内心OS:没想到吧。)
虽然有点损,但这招还真管用。这票学生一听“交篇论文”就不用考试,拍脑袋就决定写论文,包括大卫•哈夫曼。
不选不知道,一选吓一跳。初出茅庐的哈夫曼很快意识到了老师挖的坑——这论文也太**难搞了。
这一写,就是好几个月,并且苦苦挣扎中,哈夫曼仍然一无所获。
但命运,有时候就是十分奇妙。就在哈夫曼终于放弃“逃考”,准备将论文笔记扔到垃圾桶中时,突然灵光一现!答案出现了!
哈夫曼放弃对已有编码的研究,转向新的探索,最终发现了基于有序频率二叉树编码的方法。
他提出的这一想法,效率成功超越他老师的方法论。甚至在之后的发展中,以他命名的编码方法——哈夫曼编码,直接改变了数据压缩范式。
至于当时那篇结题报告,已引用近万次。
1951年,正在MIT任教的罗伯特·范诺正在思考一道信息论的难题:
如何用二进制代码高效表示数字、字母或者其他符号?
当时最常见、也是最直接的方法,就是为每个字符分配一个独一无二的二进制数。
比如,字母A可能表示为01000001,!表示为 00100001,每个八位数的数字都对应一个字符。
这样一来代码容易解析,但效率极低。
另外还有种优化方法,类似于摩尔斯电码。常用字母E仅由一个点表示,但不常见的Q需要更长且更费力的“—— —— · ——”。
这种方式,会导致代码长度不一, 信息不容易被理解;而且传输中还需要在字符间加入间隙,否则就无法区分不同的字符组合。
范诺意识到,或许这两种方法的优势可以兼并之——以不同长度的二进制代码表示字符。进一步地,为避免代码“重叠”,他还构建了二叉树。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
图片
他详尽地测试了每一种排列的可能性以获得最大效率,最终得到了一种有效情况:
每条消息按照频率分为两个分支,并尽可能让两边字母使用频率基本相同。
图片
这样,常用的字符就会在更短、密度更低的分支上。
1948年,信息论之父香农在介绍信息理论的文章“通信数学理论”中提出了这一方法;不久之后,范诺也独立地以技术报告形式将其发布。故而这套方法被称作是香农-范诺编码。
但这个方法并非总是有效。像字母出现概率分别为{0.35,0.17,0.17,0.16,0.15}这种情况时,就不能给出理想编码。
范诺认为一定存在更好压缩策略。于是乎,这样的重任就交到了他的学生手里。
如果说,范诺教授他们的方法是从上到下构建字符树,并在成对的树枝之间尽可能保持对称。
那么哈夫曼的方法,是直接颠覆了这一过程——自下而上构建二叉树。
他认为,无论发生什么情况,在一段有效的代码中,两个最不常见的字符应该有两个最长的代码。
因此首先就确定两个最不常见的字符,将它们组合在一起作为一个分支对,然后再重复该过程,再从剩余字符中与刚刚构建的字符对中寻找最不常见的字符(对)。
ChatGPT Writer
免费 Chrome 扩展程序,使用 ChatGPT AI 生成电子邮件和消息。
106
查看详情
图片
以schoolroom为例,其中O出现了四次,S、C、H、L、R、M各出现一次。
范诺的方法,就是首先将O与另一个字母分配给左侧分支,这样一来两边都是5次总使用量,生成的编码总共27位。
图片
相比之下,哈夫曼的方法,比如就从不常见的r和m开始,将其组合成一个字母对。
图片
组合完之后,现有字符(对)包括:O(4次)、RM(2次)以及单个字母S、C、H和L。
按照出现频率划分,重复上一操作——将两个不常见的选项分组,然后更新数树和频率图。

最终,“schoolroom”变成了 11101111110000110110000101,比Fano 自上而下的方法少了1位。
图片
虽然1位在这里并不多,但要是当扩展到数十亿字节时候,这就是一次不小的节省。
事实上,哈夫曼的方法已经被证明非常强大,据谷歌学术统计,当年论文已经被引用9570次。
图片
至于他老师的办法,却几乎没有再被使用过。
直至今天,几乎所有无损压缩方法都全部或部分使用了哈夫曼的方法,可以压缩图像、音频、表格等。它支持从PNG图像标准到无处不在的软件PKZip 的一切。
现代计算机科学先驱、图灵奖得主高德纳曾这样形容哈夫曼的成就:
在计算机科学和数据通信领域,哈夫曼编码是人们一直在使用的基本思想。
后来哈夫曼再回忆起那个「灵光乍现」时刻,当时他正准备将论文笔记扔进垃圾桶,结果突然思想汇聚,答案在脑海里出现了:
那是我生命中最奇特的时刻。
突然恍然大悟,犹如闪电一般。
并表示,如果他知道自己的教授范诺(Fano)曾与这个问题作过斗争,他可能永远都不会尝试解决这个问题,更不用说在25岁的时候就大胆去尝试。
哈夫曼编码改变了数据压缩范式,也为其赢得了众多荣誉与奖章。
比如,1998年哈夫曼获得 IEEE 信息理论学会颁发的技术创新金禧奖、1999年获得电气和电子工程师协会 (IEEE) 颁发的理查德·汉明奖章(Richard Hamming Medal)。
不过即便如此,在他一生历程中,相比发明无损压缩方法这件事儿,最让他引以为傲的反而是这篇博士论文。
题目:The Synthesis of Sequential Switching Circuits。
图片
哈夫曼在MIT读博期间,发布这篇讨论时序开关电路的重要论文。在当时,哈夫曼几乎是首个阐述如何设计异步顺序开关电路的学者,而这一理论后来也为计算机发展提供了重要逻辑支撑。
这篇论文的发布,不仅帮助他获得富兰克林研究所的Louis E. Levy Medal,也顺理成章让他获得留校任职资格,教授关于开关电路的课程。
图片
在校期间,哈夫曼还提出一种革新的数学公式,可以在不丢失任何信息的情况下将一个二进制数序列转换成另一个二进制数序列,这项研究在当时发挥了重要作用,也为其谋得了一份重要职位。
时任贝尔实验室研究副总裁的William O. Baker将其招纳入了一个审查委员会,主要负责为国家安全局审查未来科技计划。Baker博士曾担任过艾森豪威尔、肯尼迪、约翰逊、尼克松和里根五位总统的科学顾问。
1967年已是正教授的霍夫曼选择离开MIT,加入加利福尼亚大学圣克鲁兹分校(UCSC),期间主导创立了计算机科学系,并参与学术课程开发工作,为之后计算机科学系发展奠定重要基础。
数学可以说是哈夫曼毕生追求之一,以至于后来在搞艺术时,也离不开数学。
图片
70年代开始,哈夫曼对折纸产生浓厚兴趣,同时研究数学和折纸艺术,制作了上百件曲痕折纸作品,还专门发表论文分析曲痕折纸的数学性质,成为折纸数学领域的先驱人物。


回过头看,哈夫曼的一生赢得过无数荣誉与表彰,却从未为自己任何一项发明申请过专利。
最后,借用哈夫曼自己的一段话。
作为一名科学家和老师,我真的非常执着。如果我觉得自己还没有找到问题的最简单解决方法,我会非常不满意,这种不满会一直持续,直到我找到最佳方法为止。对我来说,这就是科学家的本质。
以上就是70年前他本想逃避考试,却影响了整个互联网的详细内容,更多请关注其它相关文章!
# 这篇
# lp优化与网站运营
# 石家庄产品营销推广
# 泸州企业网站建设报价
# 青岛优化网站建设
# 河北qq群网络推广网站
# 电子网站建设知识
# 顺德网站推广哪家好
# 网站优化方向是什么
# 海底捞网站代码优化
# 公司网站主页建设
# 论文
# 罗伯特
# 自己的
# 将其
# 开源
# 香农
# 这一
# 年前
# 本想
# 互联网
# 数学
相关栏目:
【
行业新闻62819 】
【
科技资讯67470 】
相关推荐:
国家发改委组织工业机器人产业高质量发展现场会
AI生成会议纪要 百度如流升级推出超级助手、智能编码等功能
2025世界人工智能大会成功召开
AI时代,企业需要什么样的员工?
音乐制作元工具AudioCraft发布开源AI工具
XREAL发布新款硬件XREAL Beam投屏盒子:可悬停AR空间屏
谷歌 Gmail“帮我写电子邮件”AI 功能开始向安卓和苹果设备推广
猿力科技入选北京市通用人工智能产业创新伙伴计划
AI在教育中的角色:AI如何改变我们的学习方式
QQ音乐业内率先推出「AI一起听」功能,领取你的AI听歌助手
探索人工智能在物联网领域的影响与改变
“长沙造”无人机,领先的不止植保
煤电“三改联动”需多措联动
从医疗康复外骨骼到通用人形机器人,傅利叶智能推动核心技术升级
英伟达的AI领域垄断地位:一直无法撼动吗?
普渡机器人与变形金刚品牌合作,特别活动爆火,商品售罄!
人工智能行业急缺人 AI人才年薪能达近42万元
美图发布国内首个“懂美学的”AI视觉大模型MiracleVision
硅谷人工智能研究院创始人皮埃罗·斯加鲁菲:Transformer模型演讲
标小智LOGO推出AI公司起名生成器“Name.GPT”
曝索尼在开发新头显设备:游戏中使用AR技术
面向AI大模型,腾讯云首次完整披露自研星脉高性能计算网络
RoboNeo安装教程
联合国秘书长称支持建立全球人工智能监管机构
甲骨文与Cohere合作为企业提供生成式人工智能服务
华为盘古AI模型实现秒级全球气象预报时间缩短
不止“文心一言”,消息称百度将推出全新 AI 对话软件“万话”
两小时就能超过人类!DeepMind最新AI速通26款雅达利游戏
央广车联网亮相2025世界人工智能大会
2025VR&AR显示技术峰会展示歌尔光学最新一代光学模组
Valve Index VR 头显销量下滑,上市四年的长青树渐失光彩
掌阅科技对话式AI应用“阅爱聊”开启内测
央视报道!星纪魅族集团车载人机交互技术成世界移动通信大会焦点
CREATOR制造、使用工具,实现LLM「自我进化」
掌阅科技申请阅爱聊商标 掌阅科技申请AI相关商标
NVIDIA垄断AI市场90%份额:AMD性能追上80% 软件太不能打
OpenAI 静默关闭 AI 文本检测工具,准确率仅为 26%
“智能体动作生成技术”现身WAIC:游戏AI技术为机器人科创注入新动力
软通动力多项AI创新产品及应用亮相2025世界人工智能大会
“聚智启新,‘蓉’力同行” 成都市人工智能产业融通对接会成功举办
大模型训练成本降低近一半!新加坡国立大学最新优化器已投入使用
日媒:AI高效解析纳斯卡地画
世界水下机器人大赛:9国青年携手逐梦深蓝
月薪6万,哪些AI岗位在抢人?
无需标注数据,「3D理解」进入多模态预训练时代!ULIP系列全面开源,刷新SOTA
联想浏览器引入小乐 AI 助手,成功接入百度文心一言大模型,经过实测证实
食品分销跨国企业Sysco CIDO:我们的增长秘诀是以IT为中心
陈丹琦ACL学术报告来了!详解大模型「*」数据库7大方向3大挑战,3小时干货满满
云米Smart 2E AI立式空调开启预售:新三级能效,到手价3899元
阿里云AI绘画创作大模型通义万相发布 已开启定向邀测