近日,第二届浦江AI学术年会在上海召开,聚焦科学智能前沿,汇聚百余位顶尖学者、产业领袖及技术专家,共同探索AGI驱动科学发现的广阔前景,助力全球人工智能创新协同发展。360数字安全集团副总裁余凯受邀出席本届年会《AI安全:跨界融智 信守未来》专题论坛,并分享了360在智能体安全领域的前沿思考与实践。
为什么智能体让人“更焦虑”?
以前的AI,是对话框里的“咨询顾问”,一问一答,给的是建议。现在的智能体,是装上“外骨骼”和“手脚”的数字员工,它能直接操控文件系统、操作终端、管理邮件,甚至替你做金融支付。
从安全视角审视,这种能力拓展恰恰引发了深刻的担忧。余凯指出,AI越重要,AI 安全就越迫切。智能体能够执行的任务越多,安全焦虑也随之加剧。从技术本质上看,智能体已彻底突破了传统安全防御体系的边界。通过一个对话窗口,攻击者可以植入恶意Skill,或在信息检索过程中引入恶意代码,从而绕过现有防御机制。加之智能体以自然语言为交互基础,更带来了一系列前所未有的安全挑战。
以模治模:用AI治理AI
AI时代,安全的重要性被进一步放大。几乎每一个行业都将被AI渗透,其核心业务系统必然与AI深度融合。那些未能与AI结合的行业,或将面临被边缘化乃至替代的风险。
在此背景下,AI安全已不再是可选项,而是关乎行业存续的必答题。当AI不再是“工具”,而是拥有自主权的“数字员工”,我们面临的核心问题是:如何让它安全上岗,真正赋能产业,而不是成为新的风险源。
余凯指出,要坚持“以模治模”的治理思路,即用AI治理AI,以“安全智能体”赋能安全能力升级,并分享了360在实践中总结的几点经验。
首先,决策与执行相分离,将决策智能体与执行智能体职责划分,二者相互制约,即使某一环节被突破也难以形成完整的攻击链。同时,设立专门的审计与监控智能体,对业务智能体行为进行实时监督,一旦发现权限越界、数据外传、操作漂移等异常,立即触发熔断机制。
其次,考虑将智能体控制在沙箱中运行——一个完全隔离的容器,限制网络出口和文件读写,即便发生失控,破坏也仅限于临时空间。
最后,每个智能体必须拥有独立的“非人类身份”,通过即时访问控制确保只在任务执行期间临时授权,任务完成立即收回权限,避免单点突破引发系统性风险。
未来十年:AI安全,360已在路上
图灵奖得主、中国科学院院士姚期智在本届年会上指出,AI的安全问题是其发展的重要瓶颈。如果安全性有问题,将来它在应用推广上就会遇到瓶颈。
上海人工智能实验室主任、首席科学家周伯文在开幕式致辞中指出,当前人工智能正处在技术成熟与产业重构的历史交汇点,让我们有机会更前瞻性地思考如何定义全新的技术未来。
过去二十年,网络安全从“救火”走向“备战”,核心是形成了CVE漏洞、ATT&CK攻防技战术、CTI威胁情报的“通用语言”“知识框架”和“作战地图”。而AI安全领域,目前还缺乏这样的共识基础。余凯呼吁行业主管、智库、厂商合力共建AI安全的基础设施体系,让AI安全进入有序发展的快车道。
从办公网到生产网,从员工终端到核心服务器,360已经形成了一整套“事前扫描+事中拦截+事后追溯”的智能体安全防护体系。无论是供应链投毒、提示词注入,还是违规部署、权限失控,360都能实现“发现即处置、攻击即阻断”。
不发展是最大的不安全。未来十年,随着AI快速迭代,安全将不再是合规底线,而是AI业务竞争力的核心支柱。360作为既懂安全又懂AI的先行者,将持续为智能体系紧“安全带”,为“人工智能+”行动行稳致远保驾护航。
来源:360数字安全 |
|
|
|
|
|
评论
直达楼层