AI搏斗中的“东说念主类监督”是一种幻觉

Anthropic 与五角大楼之间正在打一场讼事，中枢议题即是 AI 能不成用于搏斗。

跟着 AI 在刻下伊朗突破中演出着比以往更大的变装，这场争论一经刻拦阻缓：AI 不再仅仅帮东说念主类分析谍报的赞助用具了，它一经成了一个主动参与者——及时生成打击主张、搁置和妥洽导弹箝制、诱导无东说念主机群。围绕 AI 驱动的自主致命火器，民众究诘大多筹商在一个问题上：东说念主类应该在多猛进度上保握 Human in the loop（东说念主机协同）？五角大楼现行的准则觉得，东说念主类监督能提供问责、语境和判断力，同期裁减系统被黑客入侵的风险。

AI 的“黑箱”和东说念主类监督的幻觉

但东说念主机协同的争论其实是一种令东说念主冷静的障眼法。脚下最高大的危急，不是机器在莫得东说念主类监督的情况下活动，而是细密监督的东说念主类压根不知说念机器在“想”什么。五角大楼准则的压根谬误在于，它成就在一个危急的假定上：东说念主类领悟 AI 系统是怎么运作的。

我考虑东说念主类大脑的意图已稀有十年，频年来也在考虑 AI 系统的意图。我不错说明：刻下着手进的 AI 系统践诺上即是“黑箱”。咱们知说念输入是什么、输出是什么，但中间阿谁解决信息的东说念主工“大脑”，对咱们来说统统不透明；即使是创造了这些系统的东说念主，也无法统统解读它们；而当 AI 如实给出了根由时，这些根由也不老是的确的。

对于东说念主类监督的狡辩里，有一个根人性的问题被忽略了：在 AI 系统活动之前，咱们能领悟它蓄意作念什么吗？

设计一个场景：一架自主无东说念主机被派去诬害一座敌方弹药工场。自动化带领搁置系统判定，最好打击主张是一座弹药储存建筑，任务顺利概率 92%——因为弹药的殉爆将透彻诬害整座要道。别称东说念主类操作员审核了这个正当的军事主张，看到高顺利率，批准了打击。

但操作员不知说念的是，AI 的沟通里藏着另一个身分：殉爆除了诬害弹药工场以外，还会严重触及隔壁的一所儿童病院。救急转圜随后会涌向病院，工场就会在无东说念主救火的情况下透彻点火。对 AI 来说，这么作念能最大化禁闭恶果，统统合适它被赋予的主张。但对东说念主类来说，这可能组成搏斗罪——违犯了保护苍生生命的海外规矩。

东说念主机协同，或然能提供东说念主们遐想中的安全保险，因为东说念主类在 AI 活动之前压根无法得知它的真实意图。先进的 AI 系统不是在“施行”请示，而是在“解读”请示。若是操作员莫得把主张界说得鼓胀精准，黑箱系统作念的事可能统统合适它收到的字面请示，安博app却和东说念主类的确想要的打消以火去蛾。

AI 系统和东说念主类操作员之间的这种“意图规模”，恰是咱们在民用医疗和空中交通经管领域不敢部署前沿黑箱 AI 的原因，亦然 AI 进入责任时势仍然充满争议的原因。但在战场上，咱们却在加快部署。

情况还可能进一步恶化。若是突破中有一方部署了以机器速率和规模着手的全自主火器，竞争压力会迫使另一方也跟进。这意味着 AI 在搏斗中的方案将越来越自主、越来越不透明，况兼这个趋势只会加快。

推动 AI 意图领悟的考虑

AI 科学应当同期包含两件事：构建才智越来越强的 AI 时期，以及领悟这些时期到底是怎么运作的。在前者上，创记载的投资正在推动巨猛进展——据 Gartner 量度，仅 2026 年一年的 AI 投资就将达到约 2.5 万亿好意思元。但在后者上，也即是搞了了 AI 里面到底在发生什么，插足的资金少得恻隐。

咱们需要一次根人性的想路转机。工程师在构建越来越坚忍的系统，但领悟这些系统怎么运作不仅仅一个工程问题，它需要跨学科的引诱。咱们必须开采出用具，概况在 AI 智能体活动之前就形容、测量和骚扰它的意图。咱们需要形容神经收罗里面的着手旅途，对 AI 的方案经由成就的确的因果领悟，而不是只看输入和输出就算了。

一个有远景的场所是把机制可施展性时期（把神经收罗拆解成东说念主类可领悟的组件）和意图神经科学领域的洞见、用具和模子结合起来。另一个想路是开采特意的“审计员”AI——这类 AI 自己是透明、可施展的，任务是及时监控更坚忍的黑箱系统，看它们正在流走漏什么活动和主张。

更深远地领悟 AI 的运作口头，一方面能让咱们在重要任务中省心依赖 AI 系统，另一方面也有助于构建更高效、更坚忍、更安全的系统。

我和共事正在探索一种想路：鉴戒神经科学、领悟科学和形而上学的秩序来领悟 AI 系统的意图。这些学科永远考虑东说念主类方案心仪图是怎么产生的，它们的用具和框架可能对领悟东说念主工系统相通适用。咱们必须优先推动这类跨学科责任，促成学术界、政府和产业界之间的合作。

但光靠学术探索远远不够。所谓 AI 对都，即是把东说念主类的价值不雅和主张编码到模子中，科技行业以及那些资助 AI 对都考虑的慈善家，必须把多数资金插足跨学科的可施展性考虑。与此同期，跟着五角大楼追求越来越自主的系统，国会必须强制条目对 AI 系统的意图进行严格测试，而不是只测试它们的性能推崇。

在咱们作念到这些之前，东说念主类对 AI 的监督与其说是保险，不如说是幻觉。