专治AI大模型对错误答案“过于自信”,麻省理工学院提出校准方法
专治AI大模型对错误答案“过于自信”,麻省理工学院提出校准方法
IT 之家 7 月 31 日消息,人们正在越来越多地使用大模型完成各种任务,不论是翻译、总结文章还是识别金融诈骗,大模型都是 " 无所不包 "。尽管这些模型都具有 " 惊人 " 能力,但它们偶尔也会生成错误答案,并对错误答案过于自信、对正确答案信心不足,使用户对大模型是否值得信任表示怀疑。
据 MIT NEWS 今日报道,麻省理工学院(MIT)和 MIT-IBM Watson AI Lab 的研究人员提出了一种专为大型语言模型量身定制的校准方法。他们的方法被称为 " 温度计 ",其原理是在大语言模型之上构建一个较小的辅助模型来对其进行校准。
图源 Pexels
据悉,这种被叫作 " 温度计 " 的方法所需的计算能力更少,但同时又能保持模型的准确性,并使其能够在未曾遇到过的任务中做出更好的校准响应。
通过针对各种任务对大语言模型进行高效校准," 温度计 " 可以帮助用户找出模型对错误预测过于自信的情况,最终防止用户在可能失败的情况下部署该模型。
有关论文的第一作者、麻省理工学院电子工程和计算机科学研究生沈茂豪(IT 之家注:音译)表示," 我们希望向用户提供一个明确的信号,告诉他们模型的回应是准确还是不准确,以反映模型的不确定性,让他们知道模型是否可靠。"
借助 " 温度计 ",研究人员开发出了一种多功能技术,利用一种被称为 " 温度缩放 " 的经典校准方法,为新任务有效地校准大语言模型。在此背景下," 温度 " 是一个缩放参数,用于调整模型的 " 信心 " 以与其预测准确性一致。
研究人员训练了一个辅助模型,该模型在大型语言模型之上运行,自动预测校准新任务所需的 " 温度 "。" 温度计 " 只需要访问大型语言模型内部的一个小部分,就能预测出特定任务数据点的正确 " 温度 ",以校准其预测。
该团队希望未来使 " 温度计 " 支持更复杂的文本生成任务,并将该技术应用于更大的大型语言模型。
参考
-
- 上海一行道树被吹断,“闪送”小哥被砸身亡
-
2024-07-31 04:49:35
-
- 三年时间进步显著,中国射箭女团拼到最后一箭
-
2024-07-31 04:47:19
-
- OpenAI的“生存困境”:想要存活超过两年,必须做到这五点
-
2024-07-31 04:45:02
-
- 国家广电总局:下半年要全面实现一个遥控器看电视
-
2024-07-31 04:42:46
-
- 黄仁勋:AI下一波浪潮是人形机器人!英伟达推出重磅级新品,开发者部署时间最
-
2024-07-31 04:40:30
-
- 黄仁勋与扎克伯格首次公开对谈:用赠送皮衣来表达AI最高礼遇
-
2024-07-31 04:38:15
-
- 一周筹款2亿美元!距美国大选不足百日,特朗普如何迎战“哈里斯旋风”
-
2024-07-31 04:35:58
-
- 宜居宜游,河源东源县激活乡村“美丽经济”
-
2024-07-31 04:33:42
-
- 印度真急了
-
2024-07-31 04:31:26
-
- “阿条姐”“干饭哥”,这精神状态绝了!
-
2024-07-31 04:29:10
-
- 官方通报镇政府多名人员9点缺岗:3人系迟到,已进入问责程序
-
2024-07-27 07:15:13
-
- 百度IDG智能汽车业务部总经理苏坦已离职
-
2024-07-27 07:12:57
-
- 四川筠连县一小区发生命案?售楼部人员称保洁发现楼道血迹报警,物业:嫌犯是
-
2024-07-27 07:10:41
-
- 事发北京地铁,夫妻抱着孩子还与女乘客打架,3人被拘!
-
2024-07-27 07:08:25
-
- 长城灵魂摩托将搭载高通骁龙8155芯片,车机支持OTA升级
-
2024-07-27 07:06:09
-
- 复旦教授点评董宇辉告别信:有不少华而不实的辞藻,给人观感不佳
-
2024-07-27 07:03:53
-
- 美国“众击”公司将宕机事件归咎于内容更新漏洞
-
2024-07-27 07:01:37
-
- 360周鸿祎体验萝卜快跑:称赞有问界M9的味道 最后被赶下车
-
2024-07-27 06:59:21
-
- 蔚来折叠自行车专利公开
-
2024-07-27 06:57:06
-
- 女子称新车自燃厂家第一时间撬车标,极狐客服回应
-
2024-07-27 06:54:49