沧桑浪子 发表于 2020-6-17 13:58

来个工程师发个文章详解下鲲鹏KP引擎呗

来个工程师发个文章详解下鲲鹏KP引擎呗
就像QVM那样的介绍,我每次看,每次都很激动,兴奋,开心,接近热泪盈眶!

360QVM人工智能引擎

自360杀毒2.0尝鲜版2010年10月中旬发布试用以来,在一些专业论坛中,网络安全的爱好者们就将360公司自主研发的第三代人工智能引擎QVM视为焦点。在诸多的测试中,采用了QVM引擎的360杀毒2.0尝鲜版一直保持着傲人的成绩——它对未知病毒尤其是加壳与变种的检出率达到了令人瞠目的90%以上,被誉为“最聪明的杀毒神器”。不过,与任何艰难的创新一样,在耀目的光芒之下,却是360的QVM开发小组历时两年的艰辛探索,其中蕴含着闪亮的汗水与思想。

两年前,当360公司进入杀毒领域,推出360免费杀毒的软件时,周鸿祎就常把自己关在办公室里,在马友友低沉深远的琴声中反复思考一个问题:杀毒技术该如何突破?

以往的传统杀毒技术大都过于依赖人工,通过专业的安全工程师对已出现的病毒进行行为特征分析,然后将病毒的特征制作成类似于“黑名单”的数据库,通过定期更新的方式下载到用户的电脑中。根据特征,杀毒软件会对照每一个被扫描的程序,如果与特征相符,就认定为病毒。但是,这种方法是先出现病毒才会出现相应的特征码,对于新型的病毒,特征码的方式无能为力。

随后,针对特征码的缺陷,杀毒界出现了“启发式查杀”的技术,也就是工程师们根据各种病毒的特征总结归纳,提炼出病毒的基本行为规律,按行为规律及特征来对病毒进行判断,这种技术的优点是能很好的应对未知的新型病毒,但是却大大增加误杀率。

这两种方法在周鸿祎看来都存在很大的缺陷,不仅大量消耗用户本地电脑的资源,造成用户体验的糟糕,而且还一直处在被动的接招状况中,在互联网飞速发展的环境下,这些方法实在有一些落伍了。“在杀毒技术上,应该加进什么样的新思维呢?”与互联网恶意软件做过斗争的周鸿祎开始思索:如何用更好的方式对抗互联网时代千变万化的木马病毒。

在现在的互联网环境中,木马的威胁已经远远超过了病毒,木马的种类与变形非常多,而且木马本身与恶意软件一样,具备攻击能力,而传统杀毒技术在面对木马时就显得迟钝。而周鸿祎与360公司则拥有对付恶意软件的丰富经验,并且,360是一家完完全全的互联网公司.“何不用互联网的思维来对付木马与病毒呢?只要发挥自己不同于传统软件公司的视野与思路,一定还有新的突破口!”说干就干,周鸿祎在接下来的两年中,想尽办法邀请了一批海内外一流的技术高手,其中有搜索引擎的专家、有杀毒软件的专家、有系统底层的专家等,聚集在360安全研究院,潜心寻找新一代杀毒技术的突破口。

“门外汉”做杀毒

在周鸿祎与360安全研究院的技术专家的眼里,对付病毒木马的关键点就是要把这些潜入或打算潜入到用户电脑中的危险程序找出来,“查找”这个过程不就类似于互联网上的搜索引擎吗?在海量的信息数据中,用户可以通过搜索引擎找出自己想找的网页,而杀毒软件要解决的问题其实有些类似,就是能够智能地找出已知或未知的病毒,这种“智能”的“查找识别”也应该是新一代杀毒工具的核心所在。区别在于,搜索引擎要查找和识别的是网页,而杀毒软件查找和识别的是文件。

突破点就在这里——制作一个能够具备学习能力的病毒智能识别引擎,如果可行那即便是未知的病毒也不在话下了。于是,360研究院决定了研究与开发的方向,把目标定在开发第三代杀毒引擎——人工智能引擎。

所谓的人工智能,实际上是让电脑具备人类的学习能力,让电脑自己来发现和学习病毒的变化规律。这样一来,就能独立地将新、老病毒的查杀率提升到前所未有的高度。如果这一想法能够实现,无疑将给整个安全界带来巨大的变革。这种想法极大地鼓舞着周鸿祎与360的团队,不过,这个想法却被很多人视为“异想天开”。

360安全研究院的负责人巩是个经验丰富、头脑清楚的高手,他在machine learning(注:机器学习,人工智能的重要分支)方面十分在行,可以轻松地训练电脑拦截各式垃圾邮件,甚至还可以识别手写、指纹对比等等。但是对于杀毒来说,巩自称是个“彻头彻尾的门外汉”。

就这样,一个“门外汉”带领十多个同样并不一定精通杀毒技术、但对machine learning了如指掌的工程师展开了早期艰苦卓越的反复研究和试验。“正因为我们不受传统杀毒的条条框框限制,才能自由地发挥我们的技术所长,最后把两者结合起来。”巩说。

经过一年多紧张的开发,推翻无数个理论模型后,QVM引擎终于初具雏形。巩和他的同事们小心翼翼地将它从虚拟环境中推送到现实环境中,准备接受真刀实枪的考验。“实际上,你可以把QVM看成是另外一种形式的搜索引擎,其中最核心的是可以进行自学习的算法。这个算法与Google在搜索领域的Page Rank算法一样,是核心机密。”巩相当自豪地说。

痛并快乐着

理想状态中的QVM似乎应该刀枪不入,实则不然。刚刚投入内测的QVM便遇到了一个猝不及防的大麻烦:大量误报。这是因为与传统方式相比,QVM更依赖机器的判断,只要逻辑判断稍有偏差,便会出现大量误报的情况。因此,虽然一直以来误报都是任何杀毒软件不可避免的问题,但当QVM面对这一问题时显然更加棘手。

为攻克摆在面前的这道最后、也是最大的技术难题,巩和同事们立刻调整了策略,,重新训练电脑对病毒的识别和判断。但是,这项工作的难度和强度远比看上去要大的多。“那段时间非常痛苦,压力太大了我就会去抽烟,一支烟我只需要两口就抽完了,‘两口一支烟’的名号也就在那时落下了。”巩自嘲地笑笑。

这还不是让巩感到最烦恼的,因为有些同事开始对枯燥的样本检测、分析逐渐失去耐心。“他们很迷茫,看不到这个技术的未来。”巩回忆说:“但是好在公司高层一直非常支持我们,我们坚持下来了,最终看到了胜利的曙光。”

不愿遵循旧有的游戏规则,通过跨界的思维进行创新,360公司实际上就是用互联网开放性的思维来解决传统领域的问题,应该说,360QVM引擎的成功是互联网的胜利,是跨界思维的胜利。

360fans_u37448279 发表于 2020-6-17 14:55

您好,您的建议我们已经记录,感谢反馈!
页: [1]
查看完整版本: 来个工程师发个文章详解下鲲鹏KP引擎呗