新一代人工智能正在全球范围内蓬勃兴起,为经济社会发展注入新动能，但人工智能技术如果运用不当，也会给公共安全、道德伦理、社会治理等带来威胁。近年来，加大力度防控人工智能安全风险已成为全球共识，我国在大力发展人工智能发展的同时，也需要关注内容安全，加强风险防控。

9月5日，人民中科董事长，中国科学院自动化研究所模式识别国家重点实验室研究员，知名青年AI专家李兵受邀接受CCTV10专访。

李兵认为“人工智能技术的快速发展，在一定程度上为网络安全的发展提供了很大的支撑，同时也是一把双刃剑，也会对网络安全带来新的隐患。”

01

人工智能发展带来一定安全风险

人工智能技术存在算法黑箱、技术滥用、侵犯隐私等安全问题，随着人工智能与实体经济深度融合，这些风险将会进一步叠加放大，给公共安全、道德伦理、社会治理等带来挑战。

技术内生风险。

深度学习作为运用最为广泛的人工智能技术，存在“算法黑箱”“不可解释”等缺点，难以对其实施检测检查，一旦算法模型中存在漏洞，其产生的安全风险问题可能对社会安全产生重大威胁。华盛顿大学等高校的研究人员在一篇论文中披露，自动驾驶汽车并不能“真正理解”指示牌上的图案，而是通过一些特征来进行识别，人们只需要在交通标志上用贴纸进行相应处理，就可以让系统错误地将停车标志识别为限速标志。

技术滥用风险。

技术发展是把双刃剑，随着人工智能应用日益深入，出现了利用计算机视觉、智能语音等技术实现“换脸”“换音”的情形，不但侵犯个人隐私，还可能被用于实施诈骗，产生严重后果。2019 年 3 月，《华尔街日报》报道，有犯罪分子使用深度伪造技术成功模仿了英国某能源公司在德国母公司CEO的声音，诈骗了220000欧元，造成严重的财产损失。

数据隐私风险。

人工智能技术训练需要依靠大量数据，但当前数据的获取、使用的监督管理尚不完善，存在隐私泄露、数据滥用等风险，同时数据作为重要资产，跨境流动时处理不当还可能对国家安全产生威胁。2020年2月，服务于600多家执法机构及安保公司的美国人脸识别创业公司Clearview AI称其客户面部信息数据库被盗，据报道，Clearview AI从网络社交媒体上抓取了超过30亿张照片，这些数据在采集时并未明确获得用户的同意。

02

人工智能技术是把双刃剑

李兵认为“网络安全一直是一个永恒的主题，有新的技术引入就一定会带来新的安全隐患，随着人工智能技术的快速发展，在一定程度上为网络安全的发展提供了很大的支撑，同时也是一把双刃剑，也会对网络安全带来新的隐患。比如虚假信息伪造、深度模型本身的安全隐患等。”

作为国内资深内容安全领域专家，人民中科内容安全公司创始人，

目前各城市已在数字化、智能化的道路上获益，实现管理效能提升、运营成本降低，为智能城市发展注入“数字动力”。当前世界上已有2亿个摄像头监视着我们的一举一动，城市中随时有数字化摄像设备，观察和监视着个体的行为，并识别嫌疑人员的相关行为，并提高了公共空间的安全性，但不利的一面是容易陷入到监控视频的海洋中，寻找准确的图像犹如大海捞针。

而面部识别技术为该问题提供了解决方案，李兵指出，面部识别技术目前比较主流的是基于深度学习、深度神经网络的方法，该方法是一个端到端的黑盒，只需要关注输入大量的训练样本，输出相应结果的过程，不需要关注模型本身，技术性能相对较好，能将人脸识别的性能大幅度提高，但同时也存在一个缺点，需要大量的大数据样本进行模型训练，同时在训练的过程中需要大量的计算资源，例如GPU、CPU等相应的硬件支持。

李兵表示“随着AI技术的发展，AI换脸过程中是保持B人脸部基本特征情况下，将A脸的生物特征进行深度嵌入，视觉是完全没有办法视察出来的。人脸合成和人脸交换会带来巨大的安全隐患，造成人身份信息的混乱及虚假信息的传播，这是目前面临的非常大的问题。”

该技术解决了依赖高清图像才能识别的问题，但面部识别技术同样会遇到一些问题，如通过一些服饰伪装等手段，系统就无法正常完成人脸识别。如今智能技术与真实世界的融合效果更加自然，甚至出现了以假乱真的换脸技术，也就是将A人的脸换到B人的脸上，让人难以分辨真假。

03

强化AI内容安全技术研发

人民中科作为中国科学院自动化研究所技术成果转化平台，以先进的算法研发能力和算法优化迭代能力为核心点，聚焦于内容安全领域的产业应用及产品开发，为内容安全产业提供新方案，构建有责任、有价值的人工智能生态。

人民中科与中科院自动化所国家模式识别实验室的研究团队提出了一种基于身份空间约束的伪造人脸检测新方法。

不久前，团队从实际应用出发，通过大量的科学观察和实验发现，公众人物或特定的人物在实际的人脸交换检测任务中，他们的身份总是已知的，或者每个人至少有一个真实的面部图像。既然卷积神经网络单凭待测图像进行分类的泛化性能不佳，而参考人脸图像又包含了相应身份人物的先验信息，这些信息利用起来可为伪造人脸图像鉴别模型提供重要判定依据。该思想对实际应用较为简单、合理，有助于克服泛化问题。

“目前我们在安全领域做了关于对抗人脸交换，进行人脸鉴伪的AI技术工作，即对伪造人脸进行鉴别，从而保护公民的个人隐私。目前我们提出了在人的生物特征区域，在不同尺度上细分地找到对应的原始人脸和被交换人脸之间的不兼容点或伪造点，来判断脸部图像是否是伪造合成的。”

李兵认为

人民中科(济南)智能技术有限公司是人民网与中科院自动化所联合发起设立的“人工智能技术引擎”和科技成果转化平台，以内容安全为初始应用场景，建设内容智能理解核心能力，目标是成为全球内容科技领导企业。