AI捏造“顶流明星澳门输10亿”谣言，大模型内容安全如何保障？

近日，公安部网安局通报，某网民为博取流量，使用某软件AI智慧生成功能，输入社会热点词制作了谣言信息，并通过互联网平台对外发布，诱发相关谣言、话题等频繁登上热搜热榜，严重扰乱公共秩序。公安机关根据相关法律法规，对徐某强处以行政拘留8日处罚。

360社区

近年来，人工智能技术在推动新质生产力发展的同时，逐渐沦为新型谣言制造工具，从文字到视频、从民生到公共安全，AI生产的谣言持续泛滥。
一方面，造谣者利用AI技术的便利性，通过凭空杜撰、恶意拼凑剪辑、虚构演绎等手段批量炮制不实信息；
另一方面，大模型因数据污染或技术缺陷生成看似合理实则虚构的内容，这些幻觉问题与一些人的盲目轻信也加剧了谣言的破坏力。
破解AI生产谣言，对于用户来说，要注意甄别，保持对信息来源的警惕性，不要盲目相信和传播未经证实的信息；同时，大模型企业要将大模型内容安全视为产品研发与市场推广的前置要务，同时，持续提升大模型的可信度和可靠度，保障产品真正服务于用户、造福于社会。
今年两会期间，全国政协委员、360集团创始人周鸿祎携三份提案聚焦AI和安全两件事。关于大模型安全问题，他表示，人工智能作为新质生产力的核心驱动力量，其安全性直接关乎整个 AI 生态的可靠性。大模型存在的幻觉、内容安全等问题，依靠传统安全方案已无法有效化解，需要“以模制模”，用AI来解决AI的安全问题。
作为兼具数字安全和AI双重能力的科技企业，360很早开始关注大模型安全风险，并推出一系列有针对性的创新技术，包括开发了国内首个免费安全大模型，通过“以模制模”理念，利用AI大模型来检测和防范大模型可能出现的安全风险，既解决传统网络安全问题，又为攻克AI安全新挑战提供了可行性方案。
AI
针对大模型内容安全问题
360智盾打造了全流程、多种类、多模态、场景化的内容安全体系，通过精准的风险检测、高效的内容拦截与替代机制，帮助企业确保生成内容的合法性、合规性与伦理可靠性，同时提升用户体验和模型输出的可信度。
360智盾支持100多类风险内容的识别过滤，涵盖超200种对抗内容防御机制，支持文本、音频、图片、视频等多种模态的风险防护，并通过平台定制化场景风控策略，满足不同场景的风控需求，检测识别正确率超90%。
AI
针对大模型幻觉问题
360智搜通过精确的知识整合，减少虚假或不准确信息，提升大模型的可信度与可靠性，有效减少大模型生成幻觉内容的可能性。同时，360智搜支持基于企业私域数据的知识提炼与总结，为企业提供更安全、更高效的业务支持。
360智搜整合多领域精品知识库，实现全网与私域知识的无缝对接，提升信息获取效率。实际应用中，在幻觉检测Agent加持下，大模型通用场景下幻觉比例下降50%以上。
目前，360大模型安全解决方案已在政务、税务、医疗等垂直行业落地应用。未来，360将继续护航大模型安全，推动大模型技术在各行各业的规模化应用，助力AI成为实体经济加速发展的新动能。

来源 360数字安全