360智脑张向征：共建可信可控AI生态 应对大模型安全挑战

人工智能的加速发展，有力推动了社会的数智化转型，与此同时，相关安全风险也日益凸显。近日，通明湖人工智能开发与应用大会在北京举办，360智脑总裁张向征以“大模型安全研究与实践”为主题，分享了大模型安全领域的最新研究成果和实践经验。
张向征表示，大模型是数智化时代的重要基础设施，其应用贯穿众多行业和领域，而安全挑战同样不容忽视。大模型的开发、训练、推理和应用涉及复杂的软件生态系统，这一过程中，数据泄露、模型投毒、提示注入攻击、幻觉问题等安全隐患贯穿始终。他强调，保障大模型安全，不仅是维护企业利益的关键，更是确保社会公共安全的必要举措。
张向征提到，大模型安全面临四大核心挑战：大模型软件生态系统安全、内容安全、幻觉问题和Agent流程可控。针对这些挑战，360智脑团队基于多年安全研究积累，提出了一套完整的安全防护体系，包括全链路检测、防护、攻击与测评的闭环流程。
在大模型软件生态系统安全方面，360智脑通过自主研发的检测工具与多层次安全评估方法，可及时发现和修复潜在漏洞，为开发者和用户提供全面的技术支持。此外，针对提示注入攻击、持久性提示劫持、记忆投毒等新型安全威胁，研发精准识别与多重防御机制，提升了模型对恶意行为的抗干扰能力。
内容安全方面，360智脑通过持续预训练、安全微调和安全强化对齐等手段，结合国标TC260的要求，构建了“大模型原生安全增强”“内容安全护栏”两大防护方案，有效减少模型输出中可能涉及的歧视偏见、违禁内容和其他不良信息。
针对大模型幻觉问题，360智脑引入幻觉检测Agent技术，能够对模型的输出进行实时评估与修正。通过结合外部知识库和搜索增强功能，该技术降低了幻觉发生率，提升了模型的决策可信度。
此外，在Agent流程可控方面，360智脑构建了一套针对多Agent协作任务的流程监控与管理机制，通过实时监测和动态调整，确保模型任务执行的全程可控性与透明性。这一举措不仅有效降低了操作偏差的风险，还为复杂任务的安全性提供了有力保障。
张向征表示，大模型安全不仅是技术问题，更是行业共同面临的课题。他呼吁行业关注大模型的“检、防、攻、测”体系建设，通过技术创新与资源共享，共同推动大模型在社会各领域的落地与发展。

来源：光明网

通过技术创新与资源共享，共同推动大模型在社会各领域的落地与发展。