AI模型在向他们展示的很久之前就秘密地学习了新功能
喜欢指数的未来？加入我们的Xpotential社区，通过Xpotential University的课程进行未来的证明 ，阅读有关指数技术和趋势 ，连接，观看Keynote或浏览我的博客 。
根据哈佛大学和密歇根大学的新研究，现代人工智能（AI）模型具有隐藏的能力 ，在培训期间突然又一致地出现 ，但这些能力一直被隐藏到以特定方式的提示为止 。
这项研究分析了AI系统如何学习颜色和大小等概念，该研究表明 ，模型通常比标准测试提出的要早得多 ，这是对AI安全和开发的重大影响的发现。
研究论文说：“我们的结果表明，测量AI系统的功能比以前想象的要复杂。 ”“当给定标准提示时 ，模型可能会显得无能 ，同时实际具有仅在特定条件下出现的复杂能力 。 ”
这一进步加入了越来越多的研究，旨在揭开AI模型如何发展新的且经常令人惊讶的功能 ，例如突然学习数学 ，使用新语言和学习如何加密通信等等 。
今年早些时候，人为的研究人员揭示了“词典学习” ，该技术将其Claude语言模型中数百万个神经联系绘制为AI所理解的特定概念。
尽管方法有所不同 ，但这些研究具有共同的目标：使主要被认为是AI的“黑匣子”学习的透明度 。
Antharpic在其研究论文中说：“我们发现数百万个功能似乎与可解释的概念相对应，从人，国家和著名建筑物等具体对象到抽象的思想 ，例如情感 ，写作风格和推理步骤 。 ”
研究人员使用扩散模型进行了广泛的实验，这是生成AI的最受欢迎的架构。在跟踪这些模型如何学会操纵基本概念时 ，他们发现了一种一致的模式：功能以不同的阶段出现 ，当该模型获得新能力时，急剧的过渡点标记 。
与标准测试相比 ，模型表现出掌握了多达2,000个培训步骤的概念 。强大的概念出现了约6,000步 ，而较弱的步骤出现了约20,000步。当研究人员调整“概念信号 ”时，培训数据中提出了想法的清晰度 。
他们发现与学习速度直接相关 。替代提示方法可以在标准测试中出现之前就可以可靠地提取隐藏功能。
这种“隐藏出现”现象对AI的安全性和评估具有重要意义 。传统的基准可能会大大低估模型实际上可以做的 ，这可能会缺少有益和有关功能 。
也许最有趣的是 ，团队发现了多种访问这些隐藏功能的方法。使用技术，他们称其为“线性潜在干预 ”和“过度提示 ” ，研究人员可以在这些能力出现在标准测试中之前就可以可靠地从模型中可靠地提取复杂的行为。
在另一种情况下 ，研究人员发现，在通过标准提示可靠地证明这些能力之前，AI模型学会了操纵复杂的功能 ，例如性别表现和面部表情 。例如 ，模型可以在结合这些功能之前精确地产生“微笑的女性”或“戴上帽子的男人 ” - 但详细的分析表明，他们已经掌握了更早的组合 。他们根本无法通过常规提示来表达它。
在这项研究中观察到的能力的突然出现可能最初可能与Grokking相似 - 在扩展训练后 ，模型突然表现出完美的测试性能 - 但存在关键差异 。
虽然Grokking发生在训练高原之后 ，并涉及相同数据分布的表示形式的逐步完善，但该研究表明在积极学习过程中出现了能力 ，并且涉及分布外的概括 。
作者发现该模型以新颖方式操纵概念的能力 ，提出离散阶段变化，而不是在Grokking中看到的逐渐表示的改进。
换句话说 ，AI模型似乎比我们想象的要早于概念的方式 ，他们只是无法展示自己的技能 - 某种人如何用外语理解电影，但仍然很难正确地讲 。
对于AI行业 ，这是一把双刃剑 。隐藏功能的存在表明模型可能比以前想象的更有效。尽管如此 ，它还证明了理解和控制他们可以完全做什么是多么困难，这意味着开发大型语言模型和图像生成器的公司可能需要修改其测试协议 。同时，传统的基准测试虽然仍然有价值 ，但可能需要补充更复杂的评估方法 ，这些方法可以检测隐藏的能力 。
来源:https://www.siyonli.com/zshi/202506-3707.html 来源:https://0514ps.com/zixun/202506-1915.html 来源:https://xianggongguan.cn/zixun/202506-4561.html 来源:https://yayait.com/cshi/202506-9918.html 来源:https://0514ps.com/zhis/202506-1643.html 来源:https://xianggongguan.cn/zixun/202506-4530.html 来源:https://xianggongguan.cn/kexue/202506-4503.html 来源:https://yayait.com/wiki/202506-9839.html 来源:https://0514ps.com/inte/202506-1773.html 来源:https://0514ps.com/zixun/202506-1700.html
来源:https://www.siyonli.com/zshi/202506-3707.html 来源:https://0514ps.com/zixun/202506-1915.html 来源:https://xianggongguan.cn/zixun/202506-4561.html 来源:https://yayait.com/cshi/202506-9918.html 来源:https://0514ps.com/zhis/202506-1643.html 来源:https://xianggongguan.cn/zixun/202506-4530.html 来源:https://xianggongguan.cn/kexue/202506-4503.html 来源:https://yayait.com/wiki/202506-9839.html 来源:https://0514ps.com/inte/202506-1773.html 来源:https://0514ps.com/zixun/202506-1700.html
本文来自作者[雪怡]投稿，不代表策华号立场，如若转载，请注明出处：https://cehuayingxiao.cn/wiki/202506-39607.html
评论列表（4条）
我是策华号的签约作者“雪怡”！
希望本篇文章《AI模型在向他们展示的很久之前就秘密地学习了新功能》能对你有所帮助！
本站[策华号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：AI模型在向他们展示的很久之前就秘密地学习了新功能 喜欢指数的未来？加入我们的Xpotential社区，通过Xpotential University的课程进行未来的证明...