英国加强国家防御体系以应对日益增长的AI风险

• 政府将让前沿AI发挥作用，以加强网络防御，并在已经识别和解决超过1,000个漏洞的试点项目基础上进一步发展。

• 通过《网络安全与韧性法案》（Cyber Security and Resilience Bill）制度，考虑加强对新兴AI威胁的保护，例如如何识别和报告严重的AI事故和险情。

• 正在开展新的工作，使英国为涉及自主AI代理的严重事故做好准备。

• AI安全研究所（AI Security Institute）正在对最新一代模型进行严格评估。

通过一系列措施，英国将更好地防范日益强大的AI所带来的风险。政府正紧急利用前沿AI技术加强网络防御，审查更严格的法律保护，并为涉及自主AI系统的严重事故做准备。

今日（10月12日，星期一）宣布的这一举措建立在两个试点项目的基础上，这些项目已帮助识别和修复了政府系统中超过一千个潜在网络漏洞，并检测潜在的网络安全威胁。扩展该项目将有助于保护人们每天依赖的公共服务，降低短期风险，并支持公共部门的长期采用。

在伦敦帝国理工学院（Imperial College London）的科技孵化器Base One演讲时，AI部长卡尼什卡·纳拉扬（Kanishka Narayan）主张采取全社会的方法，以应对新兴AI风险带来的韧性挑战，确保这项技术继续服务于英国人民的利益，促进我们的繁荣和安全。

部长还警告说，随着前沿AI系统变得日益强大并具备自主行动能力，故障或恶意使用的潜在后果可能变得更加严重。他将主张英国必须现在采取行动，加强防御并准备应对未来的严重事故。

部长还确认，英国AI安全研究所的科学家目前正在对最新一代先进AI模型进行严格评估，此前他们已与领先的AI开发商和美国政府进行了合作。

随着AI能力增强和应用范围扩大，政府正采取进一步措施，确保英国为可能带来的风险和机遇做好准备——这样，当变革性技术继续演进时，英国人民仍能受到保护，英国也能利用其潜力推动良好的增长和再工业化。

AI部长卡尼什卡·纳拉扬表示：

我希望英国成为世界上最难被人工智能攻击的国家之一。

我们将利用手头的一切权力。在必要时，我们将立法。我们也不会仅依靠法律。我们将依靠英国的创新能力：我们的科学专长、技术能力和机构，以理解这些日益强大的系统，防御新兴威胁，并在出错时做出反应。

对于开发世界上最强大AI系统的公司，我的信息是：当你们的科学家警告严重危险时，请倾听。调查意外行为。如果你们无法充分控制风险，就不要发布该系统。

网络部长莉兹·劳埃德（Liz Lloyd）表示：

随着网络事故在全球范围内持续造成中断，无论大小、公私，所有组织都面临着一个不可否认的现实——在网络安全方面占据主动地位，如今已成为业务关键。

通过扩大试点AI保护公共服务的项目，并推进《网络法案》以加强我们的防御，政府正将网络安全和AI准备能力置于英国数字未来的核心。

除这些措施外，政府还将探索加强《网络安全与韧性法案》及更广泛制度的部分条款，以确保英国的基本服务（如医院和公用事业）能更好地防范与AI相关的新兴风险。这包括AI失控风险，即自主AI系统逃避人类监督的情况。

目前，正与国家网络安全中心（National Cyber Security Centre）和AI安全研究所合作，研究如何响应涉及AI代理的事故——这些代理可以在极少的人类监督下执行复杂任务。涉及AI代理的重大事故可能比其他政府设计用来响应的重大事故发展得更快、影响范围更广，应对这一挑战需要开发新的专业知识和能力。

此外，政府将研究如何识别和报告险情事故，并确保能快速吸取教训，以减少未来损害的风险。任何措施的具体细节将与国会议员、技术专家以及需要执行这些措施的运营商共同制定。

新兴的AI验证领域也将是减少严重AI风险努力的重要组成部分。它有助于检查关于AI系统如何开发、测试和评估的说法是否经得起推敲。凭借世界领先的专长以及该行业的一些领先组织位于英国，英国处于在这一工作中发挥领导作用的有利地位。未来几个月将公布支持英国AI验证工作的更多细节。

这些措施是英国需要走的更长远旅程的第一步，旨在抓住AI作为良好增长和更优质公共服务驱动力的潜力，同时对其潜在风险保持韧性。更广泛的工作由首相AI任务组（Prime Minister’s AI Taskforce）主导。未来几个月，任务组将重点关注受AI影响最大的领域；从国家安全到经济增长，再到我们公共服务和劳动力的未来。

正如首相在九月的联合国大会上所述，本政府将采取一切必要措施，保护英国人民免受AI风险的影响。明年，AI将成为英国担任G20主席国的核心议题。

编辑备注：

• 今年早些时候，部长们致公开信给企业，敦促他们采取行动加强针对AI网络威胁的网络防御。这包括：a) 在组织高层严肃对待网络安全，b) 通过网络要素（Cyber Essentials）掌握基础，c) 遵循国家网络安全中心（NCSC）的建议并注册其早期预警服务。