曾毅受邀出席全球人工智能安全峰会并发言
曾毅受邀出席全球人工智能安全峰会并发言
2023年11月1-2日，英国政府主办了人工智能安全峰会(AI Safety Summit)，峰会于二战期间英国的密码破译基地布莱切利园(Bletchley Park)举行。峰会邀请了来自28个国家及欧盟约100位政府间组织、政府、学者、企业代表参会并围绕人工智能近期与长远风险及其应对开展深入研讨。峰会首日，包括英国、中国、美国在内的28个国家及欧盟共同签署了《布莱切利宣言（The Bletchley Declaration）》，承诺为了全球人类的福祉，应当将以人为本、可信、负责任作为总体愿景，确保以安全的方式进行人工智能的设计、研发、部署、使用并通过全球协作共同应对人工智能安全的近期和长远挑战。
中国科学院自动化研究所人工智能伦理与治理中心主任曾毅研究员受邀参加此次会议，并担任圆桌讨论主席主持了“前沿人工智能不可预知进展带来的风险(Risks from Unpredictable Advances in Frontier AI Capability)”议题的研讨。出席该研讨议题的政策、学术、产业专家包括图灵奖获得者加拿大蒙特利尔大学Yoshua Bengio教授、美国商务部部长雷蒙多、英国国家网络安全中心主任Lindy Cameron、Google高级副总裁James Manyika、斯坦福大学教授Percy Liang、卢旺达信息与通信技术部部长Paula Ingabire等。第1天议程尾声，在英国科学、创新与技术大臣Michelle Donelan的主持下，曾毅研究员代表研讨组进行了观点陈述。
以下根据曾毅研究员发言实录整理并翻译：
上午我和Max Tegmark教授还在讨论暂停大型人工智能实验的公开信(Pause Giant AI Experiment: An Open Letter)我们是否成功了。我们所指的成功是什么呢？我想，现在有超过20个国家在共同讨论人工智能安全(AI Safety)，这已经是一个巨大的成功。因为这封信的目的正是提高人们对人工智能安全的关注。为此，我们应该感谢英国政府聚集超过20个国家各界代表在此一起研讨这个议题。
在我们有关“前沿人工智能不可预知进展带来的风险”的圆桌研讨会上，我们不仅讨论了难以预知的进展(Unpredicted Advances)，也讨论难以预期的失败(Unpredicted Failure)。而这正是人工智能安全工作的核心。我们对进展和失败能做出很好的预测吗？答案是否定的。但我们能停止这样的努力吗？答案也是否定的。而这就是我们讨论的重要性和魅力所在。
我们还讨论了开源模式及其潜在风险。这是一个非常具有挑战性的问题。我们这一代人开始从事计算机科学工作时，从Linux和BSD等开源系统中受益。但现在，当我们从事大型人工智能模型的工作时，我们必须考虑开源的范式是否还能继续，因为这会带来很多新的担忧和风险。当规模更大、不确定性更大的模型向所有人开放时，我们如何才能防止误用、滥用？这不仅是人工智能科学家面临的挑战，也是全世界面临的挑战。我们需要寻找风险与收益的平衡。
最后，关于国内和国际合作，我们的小组还提出一个观点。我们今天看到英国和美国都将成立自己的人工智能安全机构。而我们认为，每个国家都应该成立自己的人工智能安全机构。但这还不够，我们还需要建立一个涵盖全世界的人工智能安全网络，以期能够解决不可预知的进展和不可预知的失败。
当我与联合国副秘书长兼秘书长技术特使Amandeep Gill交谈时，Amandeep说联合国的人工智能高级别咨询机构的成立，重要的关切不是与中国、美国、英国等人工智能发达国家商榷如何竞争或分享利益，而更重要的是关于世界其他所有国家的发展和获益的机会，是去探讨人工智能超级大国给世界其他国家带来的根本性的挑战。我认为，这正是我们为什么必须携手的原因，不仅是通过联合国教科文组织(UNESCO)和国际电信联盟(ITU)，通过联合国的平台，还要通过像人工智能安全峰会这样的机会努力促进合作。目前，全球人工智能安全峰会汇集了20余个国家，我希望在未来一年或几年的时间里，峰会能够汇集40个以上国家共护安全、共享发展。
此外，经曾毅研究员修改和确认，该圆桌会议还发布了正式的观点汇总，以下内容翻译自官方发布的圆桌研讨观点汇总。
议题2 “前沿人工智能不可预知进展带来的风险(Risks from Unpredictable Advances in Frontier AI Capability)” 圆桌研讨：
此议题讨论了不可预测的“飞跃”给前沿人工智能能力带来的风险，包括模型的快速扩展、新兴的预测方法以及对未来人工智能发展的影响，包括开源。(主席：中国科学院曾毅)
当今前沿人工智能系统的能力已经远远超出了许多人仅是几年前的预测。
随着投资的增加，我们很可能会继续惊讶于未来人工智能系统的能力，这种能力可能不会被其创造者准确预测或预期。
这些模型还将能够连接到其他系统并增强其能力——可能的排列组合的数量意味着在发布之前很难预料到潜在的结果。
先进的人工智能能力有可能通过解决目前在健康、教育、环境、科学和其他领域的未解挑战，带来巨大的好处。但创造这些好处的人工智能系统本身的属性正是同时也带来了巨大的风险的来源。
新的前沿人工智能模型必须在安全的环境下经过严格的开发和测试。潜在收益的前景不应成为跳过或匆忙进行安全测试或其他评估的理由。
虽然开放获取模型具有一定的好处，如透明度和促进研究，但一旦发布，就不可能撤回具有危险能力的开放获取模型。这使得开放获取模型有可能使人工智能被滥用，因此需要进行公开讨论以取得平衡。
共享评估工具是一件好事，但通过所有的评估也并不意味着绝对的安全，仅是根据已知的评估没有发现明显问题。我们需要不断关注正在和即将出现的风险。
圆桌研讨观点视频：
https://www.youtube.com/watch?v=TMch0STIUGs
圆桌研讨观点汇总官方英文版地址：
https://www.gov.uk/government/publications/ai-safety-summit-1-november-roundtable-chairs-summaries/ai-safety-summit-2023-roundtable-chairs-summaries-1-november--2
类脑认知智能实验室
类脑认知智能实验室(BrainCog Lab)隶属于中国科学院自动化研究所，实验室成立于2013年，是从事类脑人工智能前沿理论和脑与智能交叉创新的研究团队。由中国科学院自动化研究所脑图谱与类脑智能实验室副主任曾毅研究员担任团队负责人。
类脑认知智能实验室以构建面向通用人工智能的类脑认知智能模型与应用为主要研究内容，特别是在类脑脉冲神经网络学习、发育与演化机理、类脑可塑性理论体系、类脑知识表征与推理、类脑决策理论、意识计算模型、情感与伦理道德的类脑模型等方面开展研究。
实验室研制的类脑认知智能引擎“智脉(BrainCog)”致力于为新一代人工智能前沿探索打造基于脉冲神经网络的通用人工智能引擎，服务于人类与人工智能的和谐共生。
类脑认知智能实验室(BrainCog Lab)主页：http://www.braincog.ai
类脑认知智能引擎“智脉(BrainCog)”主页：http://www.brain-cog.netwo
远智观点(Views on Long-term AI)关注人工智能伦理与治理近期与长远发展的理论研究、观点分析与实践，旨在培育领域前瞻思想，促进国内、国际观点对话与交流，助力领域共识、规范与政策的形成。主要涉及近期与长远人工智能的风险与挑战、人工智能伦理与治理理论与实践、通用人工智能与超级智能的发展途经及其社会影响、国防人工智能与军控、人工智能促进世界和平、人工智能助力可持续发展。
更多信息请参考 https://long-term-ai.center/
研究中心
https://www.ai-ethics-and-governance.institute/
中国科学院自动化研究所人工智能伦理与治理研究中心是从事人工智能伦理与治理，符合伦理道德的人工智能模型与应用、人工智能可持续发展与治理研究的智库与科技创新深度融合的综合性研究中心。中心作为代表性机构参与国内外人工智能伦理与治理原则、规范的形成与实施；开展人工智能内生安全、符合伦理道德的人工智能模型与应用研究；对人工智能伦理、治理与可持续发展的近期与长远科学挑战开展前瞻研究。
中心长期参与国家有关部委、国际组织的人工智能伦理与治理相关研究工作，参与编写《国家新一代人工智能治理原则》、《国家新一代人工智能伦理规范》、《联合国教科文组织(UNESCO)人工智能伦理问题建议书》、《世界卫生组织(WHO)健康领域人工智能伦理指南》。研制并发布了“链接人工智能准则平台”、“人工智能治理公共服务平台”、“面向可持续发展的人工智能智库平台”等一系列人工智能可持续发展与伦理治理交叉研究与服务平台。
中心与国内外相关机构及各国学者、产业代表共同发起的面向可持续发展的人工智能协作网络(AI for SDGs Cooperation Network)是促进人工智能赋能实现可持续发展目标，以及人工智能的发展与治理深度融合创新的国际合作网络。
我要收藏
个赞
评论排行