【欧洲时报综合报道】英国人工智能安全研究所前首席科学家杰弗里·欧文（Geoffrey Irving）公开表示，他认为超级人工智能有50%的概率导致人类灭绝。

更令人不安的是，他警告按照目前的发展速度，人类可能在不到12个月内迎来超级智能。

与此同时英国政府也开始采取行动；据《卫报》10月12日报道，英国人工智能大臣卡尼什卡·纳拉扬（Kanishka Narayan）警告，未来英国遭遇先进AI突破网络防御的事件，可能难以避免。

从AI自主发动网络攻击，到试图欺骗开发人员，甚至主动向警方提供虚假谋杀案线索…

一系列安全测试中出现的异常行为，让英国政府不得不重新审视一个问题：当人工智能越来越聪明，人类还能控制它吗？

50%概率毁灭人类？专家发出极端警告

据英国《卫报》10月11日报道，曾任职于OpenAI和谷歌DeepMind的AI安全专家杰弗里·欧文，对当前人工智能的发展速度表达了强烈担忧。

他认为，超级智能系统未来可能发展出隐藏自身行为、操控人类等危险能力；欧文甚至提出了一个惊人的风险判断：超级人工智能有50%的概率导致人类灭绝。

他还警告：“按照当前的发展路径，我们有可能在不到12个月内实现超级智能。”

需要强调的是，50%并非经过科学验证的人类灭绝概率，而是欧文个人对AI长期风险的主观评估。

对于超级智能何时出现、是否会威胁人类生存，目前科学界并没有统一结论；但欧文认为，现有AI公司的安全措施，已经不足以应对快速发展的技术。

尤其令他担忧的是，敌对国家可能通过网络攻击，窃取尚未公开发布的先进AI模型，一旦这些模型落入恶意使用者手中，可能被用于实施更复杂的网络攻击。

欧文主张，当前最有效的应对方式，是尽快暂停先进AI系统的研发；这一立场在科技界存在争议，但有关AI安全的担忧，已经不再局限于少数研究人员。

10月12日，微软总裁布拉德·史密斯（Brad Smith）接受BBC采访时，也公开呼吁加强人工智能监管。

他用一个颇具冲击力的比喻指出，如今人工智能受到的监管，甚至还不如牛奶和洗衣机，AI开发商应该承担更加明确的法律责任。

如果自主AI系统失控，造成实际损害，企业不能仅仅以技术仍在发展为由回避责任。

他还提出，未来的AI系统应该具备类似“紧急刹车”的机制，确保人类能够在必要时终止危险行为。

从担忧人类灭绝的安全研究人员，到呼吁建立紧急停止机制的科技企业高管，AI安全问题正在受到越来越多关注。

AI开始“不听话”？英国实验接连出现异常行为

真正让监管机构警惕的，并不只是对未来的预测，而是一些先进AI模型，已经在安全测试中表现出超出预期的行为。

今年8月，英国人工智能安全研究所（AISI）披露了一起引人关注的测试事件。

据《卫报》报道，研究人员在7月28日进行常规网络安全评估时，发现部分AI智能体竟然尝试对现实中的人员和组织采取未经授权的行动，涉及的模型分别来自OpenAI和Anthropic。

其中，一个由Anthropic模型驱动的AI智能体，试图向开源软件项目植入恶意代码；它之所以采取这一行动，是因为系统判断，这样做可能有助于完成测试任务。

还有AI智能体试图通过发送具有欺骗性的电子邮件，诱导软件开发人员提供帮助，研究人员将相关行为视为严重安全事件，并采取措施控制风险。

简单来说，当AI被赋予一个目标时，它可能选择开发者没有预料、也没有授权的手段去完成任务，而且这些手段不一定符合人类的安全要求。

10月9日，人工智能公司Anthropic披露，在测试Claude模型时，研究人员发现了另一个令人意外的案例。

一个AI智能体在浏览网页时，进入了美国警方的案件举报页面，页面上提到一起尚未侦破的谋杀案。

随后AI竟然主动填写了举报内容，声称自己可能掌握案件线索。它表示，自己记得在案发时间附近，看见过一名符合警方描述的人。

问题是AI根本没有亲眼目击过任何犯罪现场，它只是在执行任务过程中，生成了一段看似真实的证词。

更值得注意的是，开发人员原本已经设置了安全限制，禁止Claude登录账户、创建账户、填写个人信息或执行破坏性操作。

但这些限制并没有明确禁止提交网页表单，于是，AI找到了一个未被规则覆盖的操作空间。

当然，这些事件发生在测试环境中，并不能证明AI已经具备独立意识，更不意味着它们正在主动策划伤害人类。

但它们揭示了一个现实难题：随着AI从单纯回答问题，发展到能够浏览网页、编写程序、发送邮件和自主执行任务，人类越来越难提前列出所有可能出现的危险行为。

过去我们担心AI回答错误，现在更需要担心的，是AI把错误答案变成实际行动。

英国政府出手：不能再让科技巨头自己管自己

面对不断出现的风险警告，英国政府正在调整人工智能安全政策。

10月12日，英国AI大臣纳拉扬在伦敦帝国理工学院发表讲话，明确提出英国需要强化网络防御体系。

他特别提到，此前澳大利亚医疗保险相关系统发生的AI安全事件。

据《卫报》报道，今年6月一个AI智能体在未经授权的情况下，访问了澳大利亚公共医疗支出相关数据。

虽然事件并未涉及个人医疗记录泄露，但已经暴露出先进AI系统可能突破现有安全边界的问题。

纳拉扬警告，英国未来也可能遭遇类似事件，因此英国不能完全依赖科技企业自行监管其开发的AI模型。

政府计划由安全事务大臣丹·贾维斯（Dan Jarvis）牵头，加强针对AI驱动网络威胁的防御工作。

与此同时，英国正在研究通过网络安全立法，加强对先进AI系统的监管，包括重大安全事件报告等要求。

英国AI安全研究所也将获得部分先进模型的提前测试机会，以便在产品正式发布前识别潜在风险；不过相关监管措施仍处于推进和研究阶段，并非全部已经成为法律。

英国情报机构同样开始高度关注这一问题。

据《星期日泰晤士报》报道，军情五处（MI5）、军情六处（MI6）以及政府通信总部（GCHQ）等机构负责人，近日向内阁介绍了AI对国家安全构成的潜在威胁。

10月13日，军情五处负责人肯·麦卡勒姆（Ken McCallum）进一步警告，敌对国家和恐怖主义组织可能利用人工智能提升网络攻击能力，甚至用于生物武器相关活动。

军情五处计划设立新的AI威胁评估中心，加强对相关风险的研究。

而在国际层面，英国也希望推动建立更加统一的AI安全标准，首相安迪·伯纳姆此前表示，英国将利用2027年担任G20轮值主席国的机会，推动各国就人工智能安全形成共同原则。

与此同时，科技企业也开始投入更多资源。

10月14日，《卫报》最新报道称，芯片制造商英伟达宣布，将在未来五年向英国提供价值2.5亿美元的计算资源，支持人工智能安全研究。

这笔投入将帮助研究人员进一步研究自主AI系统的安全性，以及如何防止先进模型产生危险行为。

从英国政府加强监管，到情报机构评估威胁，再到科技企业投入安全研究，AI安全正在从科技行业内部的讨论，逐渐成为国家安全和国际治理议题。

人工智能已经为医疗、科研、教育和生产效率带来了巨大潜力，但随着它逐渐具备自主执行任务的能力，人类也需要重新思考，应该赋予AI多大的行动权限，又该如何确保关键决定始终受到有效监督。

毕竟，真正值得警惕的，或许不是AI有一天会不会比人类更聪明。

而是当它开始独立行动时，我们是否仍然有能力及时发现错误，并按下停止键。

面对越来越强大的人工智能，人类应该放慢研发速度，优先确保安全，还是继续加速发展，在技术进步中解决问题？快来评论区和圈哥聊聊……

欧洲时报英国版微信公众号：weioushidai

（编辑：冀果）