基于信息论的校准技术，CML让多模态机器学习更可靠

多模态机器学习在各种场景下都取得了令人瞩目的进展。然而，多模态学习模型的可靠性尚缺乏深入研究。「信息是消除的不确定性」，多模态机器学习的初衷与这是一致的——增加的模态可以使得预测更为准确和可靠。然而，最近发表于 ICML2025 的论文《Calibrating Multimodal Learning》发现当前多模态学习方法违法了这一可靠性假设，并做出了详细分析和矫正。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文 Arxiv：https://arxiv.org/abs/2306.01265
• 代码 GitHub：https://github.com/QingyangZhang/CML

当前的多模态分类方法存在不可靠的置信度，即当部分模态被移除时，模型可能产生更高的置信度，违反了信息论中 「信息是消除的不确定性」这一基本原理。针对此问题，本文提出校准多模态学习（Calibrating Multimodal Learning）方法。该方法可以部署到不同的多模态学习范式中，提升多模态学习模型的合理性和可信性。

图片

该工作指出，当前多模态学习方法存在不可靠的预测置信度问题，现有多模态机器学习模型倾向于依赖部分模态来估计置信度。特别地，研究发现，当前模型估计的置信度在某些模态被损坏时反而会增加。为了解决这个不合理问题，作者提出了一个直观的多模态学习原则：当移除模态时，模型预测置信度不应增加。但是，当前的模型却倾向于相信部分模态，容易受到这个模态的影响，而不是公平地考虑所有模态。这进一步影响了模型的鲁棒性，即当某些模态被损坏时，模型很容易受到影响。

为了解决上述问题，目前一些方法采用了现有的不确定性校准方法，例如 Temperature Scaling 或贝叶斯学习方法。这些方法可以构建比传统训练 / 推理方式更准确的置信度估计。但是，这些方法只是使最终融合结果的信心估计与正确率匹配，并没有明确考虑模态信息量与信心之间的关系，因此，无法本质上提升多模态学习模型的可信性。

作者提出了一个新的正则化技术，称为 “Calibrating Multimodal Learning (CML)”。该技术通过添加一项惩罚项来强制模型预测信心与信息量的匹配关系，以实现预测置信度和信息量之间的一致性。该技术基于一种自然的直觉，即当移除一个模态时，预测置信度应该降低（至少不应该增加），这可以内在地提高置信度校准。具体来说，提出了一种简单的正则化项，通过对那些当移除一个模态时预测置信度会增加的样本添加惩罚，来强制模型学习直观的次序关系：

上面的约束为正则损失，当模态信息移除信心上升时作为惩罚出现。

实验结果表明，CML 正则化可以显著提高现有多模态学习方法的预测置信度的可靠性。此外，CML 还可以提高分类精度，并提高模型的鲁棒性。

多模态机器学习在各种情境中取得了显著的进展，但是多模态机器学习模型的可靠性仍然是一个需要解决的问题。本文通过广泛的实证研究发现，当前多模态分类方法存在预测置信度不可靠的问题，违反了信息论原则。针对这一问题，研究人员提出了 CML 正则化技术，该技术可以灵活地部署到现有的模型，并在置信度校准、分类精度和模型鲁棒性方面提高性能。相信这个新技术将在未来的多模态学习中发挥重要作用，提高机器学习的可靠性和实用性。

以上就是基于信息论的校准技术，CML让多模态机器学习更可靠的详细内容，更多请关注其它相关文章！

# 机器学习  # 自助网站建设的好处  # 中国  # 上海  # 不可靠  # 丰田  # 中国科学院  # 这一  # 移除  # 提出了  # 模态  # 多模  # 模型  # 陕西seo软件有哪些  # 杭州网站优化推荐哪里有  # 惠州网站seo服务保障  # seo不良信息屏蔽  # 小程序营销宣传推广方式  # seo网站优化是否已经过时  # 苏州seo推广人员  # 网站推广的思路  # 南宁seo首页优化招聘 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 天翼云在国际AI顶会大模型挑战赛中获得冠军  了解 AGI：智能的未来？  寻求能源转型最优解  华为大模型登Nature正刊！审稿人：让人们重新审视预报模型的未来  对话式论文阅读工具PaperMate上线，综述细节AI告诉你  学而思网校推出首个基于自研大模型的《人工智能第一课》  云南首例达芬奇机器人微创心脏手术成功开展  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  放弃自动驾驶，也是一种和解  亚马逊确认今年不举办re:MARS人工智能大会  新华全媒+｜AI：当心，我可能欺骗了你！  五个出色的人工智能应用实例  大型无人机FH-98国内首次夜航转场成功  人工智能：解决劳动力短缺的关键策略  360发布认知型通用大模型“360智脑4.0” 全面接入360全家桶  特斯拉人形机器人将于 7 月亮相上海 2025 世界人工智能大会  苹果CEO库克：持续研究生成式人工智能技术  令人惊叹！AI模型能够以iPhone照片为基础创作诗歌  热点资讯：家乐福推出聊天机器人；米哈游2025年营收273.4亿元…  视觉中国推出付费AI绘图功能：无版权可用  Adobe旗下Illustrator引入生成式AI工具Firefly  华为云发布华为云盘古模型3.0和升腾AI云服务，亮点亮相2025华为开发者大会  AI与5G的强强联合：唤醒数字时代的无尽潜能  iPhone两秒出图，目前已知的最快移动端Stable Diffusion模型来了  马斯克称人类是半机器人，记忆外包给了电脑  借力AI！PCB全球巨头，有爆发潜质吗？  Databricks 发布大数据分析平台 Spark 用 AI 模型 SDK：一键生成 SQL 及 FySpark 语言图表代码  阿里云AI绘画创作大模型通义万相发布 已开启定向邀测  AI智能室内效果图设计软件效果，确实惊到我了！  亚马逊CEO：人工智能将成为公司未来战略的重中之重  AI生成新闻网站数量激增，正在疯狂赚取广告收入  OpenAI 为开发者推出 GPT 聊天机器人 API 大更新，同时降低价格  揭晓2025年玻尔兹曼奖：Hopfield网络创始人荣获奖项  跟着AI大热的“光模块”到底是什么？  小米创始人雷军将揭示小米AI在年度演讲中的最新进展  企业软件行业更将被AI全面重构！Moka李国兴：未来优秀组织和个人将一定是善于使用AI生产力的  从谷歌到亚马逊，科技巨头们的AI痴迷  AYANEO AIR 1S 掌机发布：R7 7840U，预订价 4699 元起  AMD在ChinaJoy展示全新的锐龙AI笔记本，开创了人工智能领域的新时代！  利好来了，AI再起一波？  如何用Transformer BEV克服自动驾驶的极端情况？  报道称亚马逊正在测试AI生成产品评价摘要  英伟达CEO宣称生成式AI已迎来“划时代时刻”  眼球反射解锁3D世界，黑镜成真！马里兰华人新作炸翻科幻迷  B站内测 AI 搜索功能，输入“？”即可体验  华为昇腾AI原生支持30多种基础大模型，包括GPT  Midjourney 5.2震撼发布！原画生成3D场景，无限缩放无垠宇宙  石头扫拖机器人 G20 618 福利来袭：4999 元，超值配件领到手软  人工智能颠覆软件测试四大方式  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单