2022新智者大会丨周鸿祎：人工智能面临七大安全挑战

7月27日，在微博、新浪新闻主办的人工智能领域行业峰会——2022新智者大会上，360公司创始人周鸿祎分享了题为《筑牢AI安全基座 护航智能新时代》的演讲，从数字安全的角度，带给我们关于网络安全的全新视角和定义。

360社区

以下是周鸿祎分享实录，内容经编辑略有删减

尊敬的各位领导、各位同仁、各位来宾，感谢大会组委会的邀请，非常高兴参加“2022年新智者大会”。

我叫周鸿祎，虽然说可能很多人都认识我，但是很多人都问我一个问题，为什么你老喜欢穿红衣服？那是因为我的名字老被叫成周鸿“伟”，所以我穿一个红衣服，就是给大家提示一下，我是鸿祎（yi），不是鸿伟（Wei）。

本次会议的主题是“融合生态，价值共创”。当前发展数字经济，以人工智能为代表的数字技术赋能产业变革，推动整个社会经济进入智能化的新阶段。

我是绝对支持数字经济，支持新技术人工智能的。但是，我们做安全的人，稍微有点变态，天天都在琢磨这个技术有啥风险，这个技术有什么不安全的地方。

那么，我们今天谈数字经济、人工智能里不安全的问题，也是为了保证让我们建设数字中国，促进数字经济能走得更稳、更远。

简单来总结，当前一个大的趋势是数字化发展，数字化已经成为国家战略。这里边包括我觉得最重要的大家应该关注的是产业数字化，是红海中的蓝海。为什么这么讲呢？未来所有的传统行业，都值得用数字化重塑一遍它的产业链、供应链、价值链，甚至是商业模式。

数字经济已经成为当代的主旋律。很多人老误以为数字经济=虚拟经济，其实所有用数字化技术打造的经济成果，都是数字经济。中国在这方面已经遥遥领先，我们数字经济占GDP的比重已经超过30%。

所以，未来5-10年，所有的企业都将转型升级成数字化企业。

如果没有数字化的企业，可能就消失或者被淘汰了。

我们经常讲互联网的上半场，我的理解互联网的上半场是消费互联网的数字化。也就是这个互联网公司，把中国老百姓的吃喝玩乐、衣食住行，各种生活方式充分实现了数字化。所以，这些传统互联网公司，当仁不让成了主角。

但是，未来10年，我觉得是互联网的下半场，主角就不再是互联网公司，而是各种传统企业，各级政府，他们才会变成大数据、数字化真正的玩家，把各种产业场景用数字化再重新塑造一遍。

简单讲，数字化发展的几个核心技术。为了让大家记，我编了一个字母歌，叫I、M、A、B、C、D、E。

I，IoT，物联网技术，主要是未来用来把这个世界，把所有的商业流程，所有数字化，主要是依靠物联网设备。

M，移动通信，5G，实际上是为数字时代准备的，并不是说仅仅方便我们个人为了看视频，能够快速，实际上为了通过5G，把各种现实世界数字化的数据传到云端。

C是Cloud computing，云计算；A是人工智能；B是区块链；D是大数据；E是边缘计算。

所以，这里边的逻辑，我觉得最重要是以AI为核心，AI是一个大数据的基础，才有了深度学习，所以AI也是数据基础。

数据又来源于哪儿呢，来源于IoT，大量对这个世界的数字化，通过5G，传到云端。通过大数据系统管理起来。

所以，未来我们谈数字经济，我们谈数字化战略，都脱离不开这几个技术。当然，还有一个是我们今天要说到的，有一个技术跟它们都不能并列，是“安全”。因为只有“安全”，给它们提供了坚实的基础，这些技术才能够充分发挥作用，而不至于成为风险的来源。

我可以举一个简单的例子。

最近的“俄乌冲突”相当于是一场开卷考试，是新的时代下数字世界对抗冲突的真实预演，有几个特点，我给大家总结一下。

第一，网络战和传统战争相结合，已经演变成一场数字化战争。

在战前，网络战已经不是传说中的幻想小说。实际上在传统作战发生之前，网络战已经开打。俄乌双方的政府部门，还有银行、电信、电力等关键基础设施，均遭到了网络打击。那除了网络攻击之外，星链、卫星、互联网、人工智能、无人机，人工智能技术，传统武器、传统攻击方法融为一体，打了一场新型的数字战争。乌克兰获得了北约和美国的支持。在数字化技术方面，弥补了弱势，而俄方由于在数字化方面落后，所以不免有扩大的损失。

第二，网络攻击的手段无所不用其极。

此次，双方除了使用包括原来常规的基于漏洞的APT攻击，还把DDoS拒绝服务攻击，特别是数据查处攻击、供应链攻击各种网站攻击，各种传统手段，包括新的手段结合起来，所以这一次战争（后面我会讲）还有一个特点，不仅是数字化战争，还是第一次人工智能参战的数字战争。

第三，这一次是一场数字时代的人民战争。

正因为双方都大量使用了数字化技术，而数字化的技术，真正的高手在民间。所以，很多高科技公司走向攻防的前沿，民间的黑客成为主力军。

比如美国有很多高科技的公司，哪怕是民间公司，实际上都参与了战斗。包括IBM、微软、谷歌，他们对俄罗斯禁运芯片，或者终止服务，包括埃隆马斯克，提供星链、卫星、互联网等技术。

然后，民间的网安公司也纷纷参战。也就是包括俄罗斯的卡巴斯基，还有欧洲的很多传统杀毒软件公司都纷纷参加，成为网络攻击攻防的重要力量。

本来俄罗斯在乌克兰的系统里，预埋了一些后门和漏洞。但是，美国的网络战部队和美国的一些安全公司出手。帮助乌克兰做了漏洞和预埋后门的清理，使得俄罗斯原来预设的网络打击效果大打折扣。

乌克兰还组织了30万国际黑客，又叫“IT志愿军”，这30万黑客冲到俄罗斯的网络空间里，大打出手，导致俄罗斯的网军精力难以兼顾，处处被动。

所以，我们可以从俄乌的例子来看，这是人类历史上第一次数字化战争，也是第一次AI战争。体现了双方谁的数字化技术落后，谁就要挨打这个机制。

过去我们有句老话讲“落后就要挨打”。通过俄乌战争，我们可以把这句话改成，今天在数字化的时代里，谁在数字化体系上落后，谁就要挨打。

我们可以看到，这次俄乌战争表面上是两个国家的武力冲突。但实际上背后是俄罗斯和西方两大数字体系的碰撞。结果不言而喻，西方强大的数字体系，不再区分军工、民用，也不再区分国企、民企，也不再区分企业、个人，把整个的数字化力量综合在一起，在这方面俄罗斯就应该说处于下风吧。

为什么我又讲这是人类历史上第一次AI战争呢？因为在军事冲突过程中，你会发现这一次AI（人工智能）活跃于战场的各个领域，扮演着非常重要的角色。甚至包括AI的武器，直接参与了战场的攻击，参与了战场的情报支持，辅助战场决策，被用于心理战的这种虚假宣传，下面呢我讲一一详细来给大家做一些例子的说明。

第一个，AI的武器直接参与战场攻击。

我记得当年阿西·莫夫在讲“机器人三原则”的时候，有一个重要的原则，就是机器人不能伤害人。实际上今天各种无人战车、无人飞机，已经应用在战场上。这里面举一个例子，乌克兰军队使用美国的弹簧刀无人机，具备监视、侦察和打击功能。既是无人机，又是一个自杀式导弹，在人工智能的加持下，单兵就能熟练掌握，有效打击俄军的机动目标，成为战场规则的改变者。

那今天弹簧刀无人机可能还是在被遥控，最后打击的瞬间可能还是由人来下指令。但是，从人下指令，到它自动识别、自动判断、自主发起攻击，我觉得这就是一层薄薄的窗户纸。

第二个，AI参与战场情报支持。

乌克兰国防部使用Clearview AI面部识别技术，通过人工智能来识别俘虏和尸体。该公司拥有一个包括来自网络的100亿张面孔的数据库。其中，仅来自俄罗斯社交媒体的图像就高达20亿张。这种技术通过战场上传来的俄罗斯战俘或者尸体的面部照片，可以对死者的身份进行匹配。

第三个，AI辅助战场决策。

这次我们都知道说乌克兰派出很多小分队，对俄罗斯的运输线进行各种灵活的打击，打完了就跑。这个前提是要有完全，应该说尽在掌握之中的战场态势感知。

这一次呢，Seekr和Semantic AI的增强智能平台相结合，应用深度分析技术，来发现人员地点，事件之间的隐蔽连接，自动生成报告和动态仪表盘，从而帮助指挥者做出更明确的选择。所以，这一次整个战场态势感知，大数据分析应该说AI功不可没。

第四个，打仗既是认知战，也是心理战，也是宣传战。

所以，前面网上流传了一个叫Deepfake的视频，所谓Deepfake就是利用AI做的深度伪造，内容是泽连斯基宣布他投降，这个视频害的泽连斯基不得不公开辟谣。但还是有大量的AI水军机器人在网上狂炒，制造舆论。

所以，在这个过程中，AI发挥了巨大的作用。

第五个，AI基础算力设施的服务断供。

我们讲运行AI需要算力，算力需要大数据等基础设施。但如果数据中心，云服务都被终止，那么各种无人机，自动驾驶坦克各种大脑就失去了重要的能源。

在本次俄乌冲突中，西方对俄罗斯采取了“六断”（断网、断供、断服务、断证书、断域名、断舆论），包括说微软、IBM和甲骨文这些公司对俄停止SSL证书，停止域名解析，停止互联网接口，中断国际传输网络，停止了各种软件跟服务，芯片和硬件供应商，比如英特尔对俄断供，甚至包括脸书、推特等就彻底把俄罗斯的很多帐号给禁掉，彻底将俄孤立。再试图把俄罗斯在数字化的世界里彻底抹去。

而俄罗斯由于缺乏市场化的数字产业支撑，完全被动挨打，这个都让俄罗斯算力、产品和服务的基础被掣肘。

所以，大家想一想当未来发生冲突的时候，实际上就成了数字体系的对抗。这个数字体系的强壮与否，已经不完全取决于军队或者仅仅是军工企业，可能跟每一家数字化的公司，每一家研究数字技术的科技人员，都有密切的关系。

所以，我们可以得出一个结论，安全是数字化的基座，在一切皆可编程，万物均要互联，大数据驱动业务、软件重新世界的趋势下，整个全世界的安全环境也更加的脆弱，这其中AI也不例外。

一切皆可编程，我刚才讲过了，就意味着所有的东西都是软件。比如说汽车也是软件，无人机也是软件，所以漏洞无处不在。有漏洞，就有可能被人利用，被人利用就可能被人攻击。

我稍微解释一下漏洞的原理，过去大家只要觉得说自己的电脑口令不丢失，帐号不泄漏，就没有安全的问题。实际上“漏洞”的出现改变了这一切，漏洞改变了整个网络攻防的游戏规则。基于一个我知道，而你不知道的漏洞，可能别人就能以一种完全意想不到的方法来控制你的系统。

举一个例子，比如说利用一个常见的浏览器漏洞，可能你在浏览一张美女图片的时候，你在享受看图片的时候，可能在这个图片里面编码的一个代码，就神不知鬼不觉在你的电脑上开始运转起来。

前两天，有一个WannaCry勒索病毒利用了一个漏洞，更是匪夷所思。一台电脑向另外一台电脑的网卡发送了一个数据包，两台电脑毫无感觉，这个数据包就能够在接收机器的电脑上运行，从而控制这台电脑，所以应该讲，漏洞现在是无孔不入。

关于漏洞最典型的例子，是去年年底阿帕奇基金开源项目的Log4j2的组件，被发现存在着远程代码执行漏洞。这个软件被大量应用于关键业务系统底层开发，这个漏洞就意味着我们很多重要的系统，被漏洞的利用者能够洞开。

万物均要互联，万物互联带来的好处就不讲了。所以，今天的车联网、智慧城市、工业互联网都是万物互联的典型例子。但是，这也意味着在虚拟世界里的攻击，往往会变成物理世界的伤害。在过去，大家中了病毒，只是说文件丢失，大不了电脑不用了，邮件不收了，网不上了。但是，今天虚拟世界里的伤害，都可以转成对物理世界的攻击。

所以，我们可以看到，导致工厂停工，大面积停电，社会停摆。

我举两个例子，今年2月-3月，三家丰田的供应商遭到黑客攻击，丰田不得不停止其14家日本工厂的运营，导致每月的生产能力下降了5%。

前几年，在委内瑞拉、乌克兰都出现了利用网络攻击，攻击变电站设备，远程拉闸，导致大面积停电，所以这里就不是美国科幻电影里的幻想。

再举一个真实的例子，我们现在大家都会买智能网联车或者新能源车，但是说句不好听的话，你买了车，你不要以为这车就是你的了，实际上是听车厂的。

我们的车每时每刻都需要跟车厂保持联系，不断的从车厂各种更新的指令、更新软件，也不断把各种数据传回车厂。

一旦黑客破解了这个车厂的协议，或者破解了车厂的云端服务器，就可以远端对你的车进行遥控，那么可能就会出现更大的风险。在2017年，我们曾经帮助某全球知名的一个知名车企，发现了大概19个漏洞。通过这些漏洞，这个车厂在2017年以后出的全球600多万辆车，都可以远程启动、远程熄火、远程开门、远程开天窗，一旦这些漏洞被黑客掌握，后果不堪设想。

大数据驱动业务，我们现在对大数据都非常重视。数据变成重要的战略资产，数据变成整个信息化社会的重要的像石油一样的基础血液。但是，反过来说，数据一旦遭到了攻击，可能就意味着业务停转，数据安全直接影响业务安全。

那2022年1月，我们国家台湾地区的台达电遭到勒索软件攻击，有1500台服务器，12000台电脑在本次攻击中数据被加密，被勒索1500万美金。

还有一个去年5月份，美国东海岸一家输油管道公司受到了攻击，当时这个事情很出名，美国东海岸很多加油站都供不上油了，害了美国总统都为之出来做了一些讲话。美国交通部甚至都要宣布，在美国东部要进入紧急状态。当时我们也觉得这是一件很诡异的工业互联网攻击。

后来调查下来发现，其实比我们想得要简单。因为来自俄罗斯的黑客，直接把这家美国油管公司的财务数据给加密了，导致整个财务数据系统崩溃之后，就没有办法向客户提供油料了。所以，整个的业务就中止了。

这几年我们在国内也接到不少公司的报案，他们受到勒索攻击的这种侵犯。实际上一旦核心数据被加密，整个业务系统立刻停摆。

所以，这里边我也讲一下勒索软件或者勒索攻击，已经变成现在成长速度最快，获利最高的一种新的黑产的商业模式。

过去我们很多人很迷信，我的数据很加密，别人也拿不走，但是勒索攻击者脑洞很清奇，他们不拿走你的数据，把你的数据再加密一点，就像我说的，我们家有一个保险柜，你来了之后不用打开它，再带一个更大的保险柜，把我的保险柜锁在你的保险柜里，这样我只能乖乖地找你去要保险柜的钥匙，所以这就是勒索攻击的核心秘密。

所以，我们可以看到数字化技术，固然一方面给我们创造了自动化，非常美好的科技的这种未来，美好的生活，更高的生产力、更高的效率。但是它同时也有安全上的隐患。

当然了，前面讲人工智能技术本质也是软件，本质也是基于数据，也有很多破绽。所以，总结起来，我觉得人工智能安全有七大安全挑战：硬件、软件、通信协议、算法、数据、应用和社会伦理。

下面我将给大家逐个解释一下。

第一个，硬件，可能会出错。因为我刚才讲，今天的数字化世界，我们很多数据是来自于物联网设备及各种传感器。如果这个传感器数据出错，传给系统的数据本身信号就是错的，那么系统当然就会做出错误的判断。

比如说美国波音公司的737Max前几年出了几次空难，实际上是自动压机头和自动提升的软件出了错误。因为机头升降仰角读取的传感器读出了错误，以至于AI发生了错误判断。

包括今天我们比较看好的无人驾驶车，都会装有激光雷达，用激光雷达来对前方的路障进行识别。但是，如果我用类似的激光笔或者对激光雷达进行干扰，可能无人驾驶车，就会发生错误的判断。所以，硬件是整个AI数字化很重要的基础，硬件有可能会带来错误的数据。

第二个，软件存在漏洞。特别是我们今天的AI训练，很多都是基于开源框架，这些开源框架本身软件都有很多的漏洞。在过去的时间里面，我们360已经挖取了不少的漏洞。

比如说最近有一个AI编程神器的软件，自动生成代码中有40%存在漏洞，这个漏洞比一个优秀的人工工程师的漏洞还要多出10倍以上。

第三个，通信协议可能会被劫持。你比如说，刚才我们讲了无人驾驶汽车，跟车厂之间是有特殊的协议，来进行软件的更新和远程控制。如果这个协议被破获之后，无人驾驶车就可能会失控。

那么，伊朗曾经通过GPS信号的欺骗，把美国的一架无人机迫降到伊朗的机场，这种GPS的信号欺骗也是一种通信协议的劫持。

第四个，算法可以被欺骗、被误导。谷歌曾经有一个AI算法，把黑人识别成猩猩，惹出了很大的风波。现在我们有一些人工智能漏洞挖掘团队，发现当你走在街上，面对满大街人工智能的基于人脸识别的摄像头，你如果不想被他认出来你是一个人，你穿上特殊条纹或者特殊图案的T恤，摄像头就会不认为你是一个人，它就对你不会做面部识别，这就说明了算法是可以通过一种特殊的组合数据来进行欺骗和误导的。

更重要的数据可以被污染，或者我们称之为数据投毒。因为数据是宝贵的数字资产，AI的深度学习是要基于大量的数据训练。但是，如果我们在训练过程中，我们给的数据是有误的，有可能训练出一个完全不一样的AI的结果。

比如说，如果我们在训练如何识别猫的这样一个训练集的时候，我们给了很多狗的图片，那将来这个AI可能就会把狗误认为是猫。

AI比较独有的两个特点，我们也在这儿提一下。就是应用上可能会危害人类的根本利益，这里面的案例有两个，主要是涉及到社会伦理的问题。

第一，AI在5G上战场直接攻击人类。原来阿西·莫夫就希望说，只要有AI能力的，把这些机器都称之为叫机器人，机器人永远不要伤害人类。但是现在看来这个原则已经被打破。所以，我们可能有一个建议说，因为现在各国都在AI跟武器结合方面，世界各国都在展开军备竞赛，这也是未来大国角力的焦点。

所以，AI武器应该把最后的决定权，应该让人来做最后的控制，而不是完全让AI做自动的判断、自动的决策。包括深度伪造技术，前面已经讲了，这个技术也涉及到对人的利益的伤害。不仅可以用于网络诈骗，制造色情视频，甚至伪造新闻，误导舆论。

你比如说，最近有人用马斯克的视频，深度伪造。伪造了一个他鼓动粉丝购买特定的虚拟货币的事件，害得马斯克不得不出来辟谣，说这个视频是别人用Deepfake来伪造的。

AI最大的一个问题，也是现在我们国家很多学者都在讨论的，AI在社会伦理上，有可能超出现有的社会法律和道德的规范。

比如说，有一个电车难题，如何认定无人驾驶车出事以后的责任。比如说在高速行驶之中，自动驾驶汽车，如果避让行人，可能会撞上旁边的障碍物，导致车主人身伤亡；如果不避让，就会导致行人伤亡。在这种情况下，就有两个问题，AI的程序应该如何来做出判断。第二个，如果出了车祸，到底这个责任应该算是AI的，算是车厂的，还算是驾驶员的，所以这些问题应该说都还没有一个明确的答案。

前面我们讲了数字化技术带来了诸多挑战，但是今天也有很多人，对安全的认识还停留在计算机安全和网络安全的时代，以为安全就是杀杀病毒，防防木马，用防火墙隔离等传统手段。

面对大数据、人工智能各种复杂的安全挑战，我觉得网络安全还应该重新被定义，要将计算机安全、网络安全升级到数字安全，才能跟得上整个行业的发展要求，才能跟得上国家的产业数字化的发展要求，才能保障我们进入数字文明时代。

当前一个重要的变化是，人工智能安全已经上升为国家安全的重要组成部分，《国家安全战略（2021年-2025年）》明确提出加快提升网络安全、数据安全、人工智能安全等领域的治理能力，这也是国家战略层面首次提出来，人工智能安全的概念，说明人工智能安全是数字安全的一部分，也是平常我们所说的“非传统安全”。

反过来，说了半天AI的问题，我们讲数字化技术也是一把双刃剑。人工智能技术高速发展，带来安全挑战的同时，也为解决网络安全、数字安全的风险提供了新的技术手段。

现在AI技术已经广泛利用于大数据的分析、威胁情报的处理、智能防御等领域，特别是在恶意代码的样本检测、恶意代码流量分析、漏洞挖掘、僵尸网络检测、网络黑灰产检测等方面发挥了巨大的作用。360这几年连续帮助国家发现了50个境外的国家级黑客组织，与我们对AI的使用都是分不开的。

在AI数据分析方面，人工智能在海量数据分析方面，发挥了积极重要的作用。因为大数据的数量浩如烟海，依靠人工去做发现是基本不可能的。必须借助人工智能，去对多维度海量、鲜活的安全大数据进行实时的分析，用算力来代替人力，然后再从中挖掘出安全的线索，再由安全专家来进行跟进。

在AI情报处理方面，人工智能可以参与漏洞的挖掘，筛选恶意的样本、恶意的网址，对APT的攻击行为进行自动化的分析跟学习，实现针对威胁攻击的智能化检测、监测、预警和响应。

未来在AI智能防御方面，人工智能可以发现未知的病毒木马，对DDoS攻击进行监测和预警，并对APT的攻击溯源进行定位，有效提高安全运营的效率，大幅度提高我国的安全防御能力。

作为中国数字安全的领军企业，360一直高度重视人工智能安全，率先在行业里进行布局，积极构建人工智能安全能力体系。我们确立了“数据制胜”为核心的新战法，核心就是无论任何的攻击，首先要强调能够想办法利用大数据分析，能够看见攻击。看见攻击，那么随后对它进行阻断，进行溯源，进行封堵，进行清理，就变得比较简单。如果看不见，那什么都是抓瞎。

所以，如何利用人工智能技术，从全网大数据中进行分析，建立全局视角，并且从中构建起看见的这种能力。

在新的战法指导下，360应用人工智能数据分析技术，对自身积累的全球最大规模的安全大数据进行实时分析，形成360全网安全大脑的原型，为行业或者企业提供强大的数据和情报支撑，实现对网络威胁进行有效的分析、预警、发现和阻断。

面对人工智能自身的安全挑战，360也积极参与人工智能漏洞挖掘。我们一共发现了150多个机器学习框架和供应链的漏洞，涉及到Tensorflow、Caffe、PyTorch等主流深度学习AI开源框架。我们发现了多款人脸识别设备的安全漏洞，利用漏洞可以实现远程控制、隐私的窃取、模型文件的窃取。360的AI安全实验室发现了多款移动APP、人脸识别功能方面存在的数字泄漏的安全风险。

所以，未来利用AI解决安全，也大有可为。

360将AI安全作为公司业务发展的重点方向，愿意与行业、产业一起开放协同创新。我们积极承担安全大脑，国家新一代人工智能开放创新平台的建设，目前360安全大脑开放平台的能力，已经落地于工业互联网、物联网、智能网联车、智慧城市、数字政府等多个场景，并且赋能教育、运营商、信创等诸多行业。

360还牵头研发了人工智能安全评测与风险监测预警平台，入选工信部的人工智能产业创新任务揭榜单位名单。

作为中国数字安全的领军企业，360愿意开放自身的安全大数据，将产业力量联合起来，共建AI安全生态，集中推动数字安全的创新，其成果也将最终沉淀于安全大脑人工智能创新开放平台的建设。

360还将在安全大脑人工智能开放创新平台建设的基础之上，倡导建立人工智能与开放创新体系，建立平台化机制，实现核心研究成果的对接与转换，赋能人工智能与安全相关的中小微企业、高校、科研院所，赋能中小微初创的安全企业，全球行业、AI产业，共享技术成果，推动产业健康快速发展，提升国家人工智能安全整体的防御能力。

在过去的20年里面，360核心做的就一件事，就是“安全”。希望在未来越来越富有挑战的安全环境里面，我们做到真正能看见攻击，发现威胁，抵御威胁。

未来360将携手合作伙伴，共同夯实AI安全能力，把服务于国家和社会的数字安全能力复制到各个行业里，为数字中国的建设，各个行业的数字化转型贡献力量。

谢谢大家！



来源   新浪新闻