11月4日,在2026年世界互联网大会乌镇峰会“人工智能赋能科学研究”论坛上,360集团发布两项AI研究成果。360集团首席科学家、高级副总裁潘剑锋发布元认知模型(MCM)相关研究成果,360集团副总裁张向征发布ScienceArena科学推理评测基准。
两项研究看似关注不同问题,却指向AI产业应用的一道共同门槛:AI不仅要能生成内容,还要能可靠地执行任务;不仅要在测试中拿高分,还要真正具备相应的能力。
从“能生成”到“可信赖”,AI竞争的重点正在发生变化。360此次发布的两项研究,分别从任务执行和能力评测两个环节,为AI走向真实产业场景提供新的技术支撑。
让AI不只会生成,还能可靠执行
大模型可以根据已有知识提出假设、生成研究方案,但这些方案是否符合科学规律,还需要进一步推演和验证。单步推理看似合理,放到完整任务中,也可能因为前提变化而失效。
当AI从回答问题走向调用工具、执行任务,这种不确定性就不再只是回答是否准确的问题,还可能演变为实际操作风险。
360集团首席科学家、高级副总裁潘剑锋在论坛发言
在潘剑锋看来,AI要真正进入科研及复杂产业场景,不能只依赖大模型的生成和推理能力,还需要一套能够理解任务环境、判断行动路径、检验执行结果的认知与验证机制。
针对这一问题,潘剑锋提出面向通用任务场景的“推理+验证”范式,通过“MCM+LLM”双轮驱动,实现生成与验证的协同。其中,LLM负责理解问题、提出假设和探索方案,元认知模型(MCM)则通过对任务环境、经验知识、行动逻辑和状态变化进行建模,为大模型提供认知与验证支撑。
具体而言,MCM能够持续补充任务对象、环境条件和状态变化等信息,帮助AI更全面地理解当前任务;结合经验知识和行动约束,为大模型提供更合理的探索方向,以及需要进一步核实的条件和证据;同时,依据任务目标、科学规律、形式规则和外部证据检验候选方案,并将结果反馈给大模型,推动其修正推理、调整探索方向。
简单来说,LLM负责思考和提出方案,MCM则帮助AI理解当前环境、判断行动是否合理,并根据执行反馈持续修正。两者协同,让AI不只是生成一个看起来合理的答案,还能结合实际条件判断方案是否可行。
这一能力并不局限于科研。在网络安全等领域,智能体同样需要理解任务目标、拆解工作流程、调用工具并跟踪执行状态。MCM所提供的通用认知与决策支持,正是提升复杂任务执行可靠性的重要一环。目前,MCM所代表的状态理解、路径引导与验证能力,已在360安全产品中落地验证。
在网络安全领域,360安全产品将环境理解、风险识别和攻击路径分析等能力应用于真实攻防场景。其中,360 AI自主攻防系统图龙锋近期登顶AI安全CyberGym榜单,以99.4%的成功率刷新世界纪录。
潘剑锋表示:“生成决定AI能跑多快,可靠执行决定AI能跑多远。没有验证的生成,是风险;有可靠执行的生成,才是生产力。”
给大模型一把可信的能力标尺
如果说MCM解决的是AI执行任务时如何更加可靠,那么张向征论坛上提到的360与北京大学联合研究发布的ScienceArena,则试图回答另一个问题:大模型看起来很强,究竟是不是真的强?
随着大模型基准测试分数不断攀升,行业却面临一个越来越突出的难题:高分不再必然代表真本事。
一方面,部分传统评测基准逐渐趋于饱和,模型之间的分数差距越来越难以拉开;另一方面,数据污染风险以及对推理过程评价不足,也让评测结果的可信度受到挑战。尤其在科学研究等专业领域,仅凭一个总分或排名,很难判断模型是否真正掌握了相关知识和推理能力。
360集团副总裁张向征在论坛发言
张向征此次发布的ScienceArena科学推理评测基准,就是希望为行业提供一套更可信的能力评估方法。
ScienceArena选取物理、化学、生物领域的奥林匹克竞赛试题,依据官方评分细则开展分步骤评分,并引入奥赛金牌选手的人工批改与批注,对自动评分结果进行校准与验证,提升科学推理评测的精细度、透明度与可信度。与只看最终答案、只给出总分的传统评测方式不同,ScienceArena不仅能够反映模型整体表现,还能通过逐题记录回查模型作答、得分及扣分依据,进一步分析模型在解题步骤、知识运用和科学论证等方面的具体失分情况,识别其能力短板。这意味着,评测不再只是给模型排一个名次,而是能够进一步回答:模型究竟会什么?哪些地方还不会?问题出在什么环节?
某种意义上,ScienceArena就像一台大模型“测谎仪”,也是一把更加精细、透明的科学推理能力标尺。它不看模型说得多漂亮,而是通过真实科学题目、官方评分细则和逐题推理分析,检验模型在科学推理任务中的真实表现,让模型能力有据可查、可比较、可解释。
目前,ScienceArena相关论文已发布于arXiv,并被EMNLP 2026主会议接收。同时,项目已在GitHub开源,相关数据集和在线评测平台也已对外开放,研究者和开发者可以直接获取数据、开展评测,并复现和检验相关结果。
可信评测的价值也不止于科研研究本身。对于开发者,它可以帮助发现模型的能力短板,为技术迭代提供依据;对于企业,它能够帮助判断模型适用的任务范围和潜在风险,为模型选型和应用部署提供参考。
事实上,ScienceArena也是360持续探索AI可信技术的一部分。此前,360智脑自研千亿参数通用大模型已通过中国信通院“可信AIGC大语言模型基础能力”评估,360研发的幻觉检测Agent技术,在相关测试中可将大模型幻觉比例降低50%以上。从生成内容的幻觉检测,到科学推理能力的可信评测,360正在持续探索AI能力的可靠性与安全应用。
从模型能力到产业应用,
可信是绕不开的一道门槛
一个解决AI执行任务是否可靠的问题,一个解决AI能力评估是否真实的问题。MCM与ScienceArena分别落在AI应用链条的不同环节,却共同指向一个趋势:当AI从技术演示走向真实产业应用,验证与可信正成为不可或缺的基础能力。
这背后,也有360长期积累的技术逻辑。
过去二十年,360在网络安全领域持续面对一个核心问题:如何在复杂、多变且不可完全信任的环境中,理解环境、识别风险、约束行为并验证结果。这种围绕环境认知、风险判断和结果验证形成的技术积累,也为360探索AI可信技术提供了基础。
元认知模型将环境理解、路径判断和约束验证引入大模型任务执行,让AI在行动前理解条件、行动中判断路径、行动后检验结果;ScienceArena则通过标准化、可追溯的评测机制,让模型能力能够被检验、被比较、被复现。
两项研究,一个让AI做事更可靠,一个让AI能力更可信。它们共同体现了360对AI产业发展的一个判断:AI的竞争,不仅是模型生成能力的竞争,更是可靠执行与可信验证能力的竞争。
安全是根,AI是新枝。360要做的,不只是让AI变得更强,更是让AI在进入真实世界时,能够理解环境、遵循约束、经得起检验,真正成为可靠的生产力。
360黑板报 |
|
|
|
|
|
评论
直达楼层