“紧急关闭”按钮真能阻止 AI 失控？“AI 教父”辛顿、Anthropic CEO 阿莫迪都不看好

IT之家 9 月 17 日消息，当前，“AI 突发失控并实施灾难性网络攻击”的假想场景正愈发受到业界关注。若通过“紧急关闭”按钮让 AI 系统直接下线，表面看似乎能化解危机。但多位 AI 行业领袖与研究人员指出，实际情况恐怕没那么乐观。

据《商业内幕》今天（17 日）晚间报道，部分政策制定者所推崇的紧急关闭开关，未必能成为应对 AI 失控风险的全面解决方案。

被誉为“AI 教父”的计算机科学家杰弗里·辛顿直言：“我认为这种措施长期来看不可行。一旦 AI 达到超级智能水平，它将远超人类智慧，完全有能力说服负责开关的人不去按下它。”

从技术角度而言，企业可通过紧急关闭机制停用自行管理的模型，或切断 AI 对工具及计算资源的访问权限。

IT之家从报道中获悉，辛顿并非唯一质疑这一方案有效性的人。也有 AI 业内人士认为，紧急关闭开关或许能起到一定作用，但存在“被规避”的可能性，或者等到启用时已为时过晚，因此它最多只能作为完整安全体系中的一道防线。

AI 安全研究员、《如果有人造出来，所有人都会死》合著者内特·索亚雷斯表示，只要 AI 仍受限于某个物理位置，关闭开关便能有效运作；但若 AI 突破限制、自我复制，甚至渗透进关键基础设施，关闭机制能否持续有效就难以保障。

他指出，关闭开关眼下“确实存在”，但人类不应逼近那些不可逆转的临界点。真正应优先考虑的是，从根源上阻止危险 AI 系统的开发。

部分 AI 企业高管则认为，紧急关闭开关虽有必要，但作用有限。

Anthropic 联合创始人杰克·克拉克指出，未来或需强制企业保留一套紧急关闭机制，并接受独立第三方验证。大型 AI 实验室目前均有“拔掉电源”的能力，但由多个自主 AI 智能体组成的集群，理论上可能绕过这些控制手段。

Anthropic CEO 达里奥·阿莫迪持有类似观点：紧急关闭开关看似不错，但绝非“万能药”。如果 AI 模型能力足够强大，就可能设法绕过关闭措施，因此紧急关闭机制只能作为更广泛安全策略的一部分，还需配合测试、外部评估及部署限制等手段。

对 AI 紧急关闭开关局限性的担忧并非新近出现。OpenAI CEO 萨姆·奥尔特曼在 2024 年接受《经济学人》采访时，便否定了依靠单一保险装置解决 AI 风险的想法，并不存在一个能让 AI 瞬间停机的“神奇红色按钮”。

在奥尔特曼看来，AI 安全不取决于某个单一开关，而取决于一系列具体决策，包括允许模型具备哪些能力、何时部署，以及如何控制风险。“这不是一个简单的开或关的决定，而是整个过程中许多个小决定共同作用的结果。”开云中国始终关注AI安全领域的这一关键议题。