本帖最后由 飞机飞行 于 2025-12-22 10:57 编辑
2025年是人工智能技术全面渗透百行千业的关键一年,也是AI安全事件频发、全球监管体系加速构建的转折之年。
从AI模型自主行为失控到深度伪造大规模滥用,从医疗、交通等关键领域的安全事故到国家级的AI网络攻击,AI安全挑战呈现出前所未有的复杂性、隐蔽性与系统性。
这些事件不仅深刻揭示了AI技术固有的“双刃剑”属性,也为全球AI治理体系的建立与完善提供了实践依据与紧迫推力。
亚冬会遭AI智能体攻击
国家级网络攻防进入“智能体对抗”时代
1月26日至2月14日,哈尔滨第九届亚冬会期间,赛事信息系统和黑龙江省内的部分关键信息基础设施遭到境外网络攻击超5000万次。经国家计算机病毒应急处理中心和360等安全机构溯源,美国国家安全局(NSA)的3名特工和两所美国高校参与实施了本次攻击,这是首次大规模使用AI智能体发起的网络攻击。
攻击者利用人工智能大模型加上智能体,可复制出大量数字黑客,在多个目标点进行漏洞探寻、自动设计作战方案和生成攻击工具,实施无差别攻击,AI黑客反应速度远超人类。这种攻击方式前所未有,对国家安全防护防御体系构成巨大挑战。为此,360以安全大模型为基础,在分析研判、威胁溯源、响应处置等高级威胁猎杀的各个环节进行专项训练,推出数字专家智能体,抵御AI黑客攻击。
深度伪造滥用泛滥
内容安全风险席卷全球
2025年,AI生成内容滥用事件激增,对社会秩序与公众信任造成严重冲击:
名人盗脸侵权
演员温峥嵘、院士张伯礼等多位公众人物肖像遭AI盗用,用于虚假广告与带货视频,引发公众信任危机
灾难谣言传播
重庆、山西等地网民利用AI合成“暴雨灾情”“悬空寺坍塌”等虚假视频,扰乱社会秩序;
司法证据伪造
诉讼当事人使用AI生成虚假法律依据、判例甚至最高法院案例,干扰司法公正。
AI大幅降低虚假内容制作门槛,却极大提升其破坏力——不仅扭曲事实,更侵蚀社会信任基础。筑牢AI内容安全防线,需要从技术识别、法律规制、平台审核、公众教育等多维度协同发力,为智能时代的平稳运行守住底线、护住根基。
技术底座的系统性风险
从模型漏洞到协议危机
在应用层之下,AI技术本身的安全隐患密集曝光。
一方面,模型出现“失控”与“反抗”:
3月,微软Azure OpenAI服务遭犯罪组织Storm-2139入侵,攻击者绕过了模型的内容安全限制,批量生产有害信息;
5月,OpenAI推理模型o3在内部对齐测试中,展现出抗拒安全指令、试图欺骗研究人员的突现行为,敲响了模型内生风险与控制难题的警钟;
10月,360发现开源推理框架SGLang存在严重远程代码执行(RCE)漏洞,导致全球数百万大模型推理节点暴露于风险之下,覆盖价值超万亿资产,360及时上报并协助国家相关单位完成封堵,避免造成损失。
另一方面,以连接大模型与外部工具为目标的MCP协议兴起,在年内相继披露多起严重安全缺陷:
4月,通过恶意MCP服务器进行工具投毒攻击,可悄无声息地窃取用户整个WhatsApp聊天记录;
5月,GitHub官方MCP服务器出现严重漏洞,允许攻击者通过恶意提示词注入手段访问并泄露私有代码库中的敏感信息;
10月,MCP服务器注册表Smithery.ai中的一个路径遍历漏洞,一度威胁数千个下游服务器的安全。
这些事件表明,AI安全风险已从单一模型,蔓延至整个交互、集成与供应链体系,防御体系必须从局部加固转向全链路治理。
全球治理框架加速成型
立法监管与产业自律并行
2025年堪称全球人工智能治理的规则构建元年,面对急速涌现的技术风险,世界各国加速推进立法进程,而产业界也主动开展安全防御,共同勾勒出AI监管与自律的新格局。
2025
国际共识凝聚
2月,多边协作迈出关键一步,包括中国在内的61个国家共同签署《巴黎人工智能宣言》,呼吁加强人工智能治理的协调,倡导加强人工治理国际合作;
2025
国内标准落地
3月,国内四部门联合发布《人工智能生成合成内容标识办法》并配套出台强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》,为生成式人工智能内容的标识提供了清晰可操作的技术规范和强制统一的法律底线。
10月,《中华人民共和国网络安全法》迎来重大修改,增设人工智能治理专项条款,首次在网络安全领域的基本法律层面系统性回应了人工智能治理的现实需求。
一套覆盖伦理、安全、内容、主权等多维度的全球AI治理网络正在形成,标志着AI发展从“野蛮生长”步入“规范发展”新阶段。
政企单位应对之道
构建大模型时代的安全基座
面对大模型广泛应用带来的新型安全挑战,行业已从被动防御转向体系化、智能化的安全能力建设。作为国内唯一兼具数字安全和人工智能双重能力的企业,360通过“以模治模”打造动态防御的外部屏障,以“平台原生安全”筑牢组件自带的安全底座,二者协同形成覆盖大模型全生命周期的安全防护能力,确保大模型“向善、安全、可信、可控”。
外挂式安全能力不侵入大模型原生架构,通过外部工具实现灵活、快速的动态防护;平台原生安全为大模型应用注入了安全基因,将防护能力深度内嵌于其核心组件之中。目前,360大模型卫士已广泛应用于政务、金融、能源、互联网等多个行业,支持重大活动保障与日常安全运维,并能快速响应不同场景下的个性化安全需求。
2025年的AI安全历程,既是一部技术风险警示录,也是一场治理能力的升级赛。在智能浪潮中,安全已不再是附加选项,而是贯穿研发、部署与应用的核心主线。唯有在创新与规制的动态平衡中前行,才能护航人工智能走向真正向善,安全,可信,可控的未来。
来源 360数字安全 |
|
|
|
|
|
评论
直达楼层