大模型高分不等于真本事 360乌镇峰会发布科学推理评测

      11月4日，在2026年世界互联网大会乌镇峰会“人工智能赋能科学研究”论坛上，360集团副总裁张向征发布ScienceArena科学推理评测基准相关研究成果。该基准以物理、化学、生物奥赛真题为评测对象，依据官方评分细则逐项打分，并经奥赛金牌选手校准，为AI科学推理能力提供一套可追溯、可复现的评测框架。它就像一台大模型“测谎仪”，也是一把更加精细、透明的科学推理能力标尺，帮助行业判断模型是否真正具备科学推理能力。

360集团副总裁张向征。（360集团供图 央广网发）

      这一研究回应了当前大模型评测面临的共性难题：模型在基准测试中的分数越来越高，行业却越来越难判断其真实能力。基准饱和、数据污染风险以及对推理过程评价不足，正成为大模型评测面临的挑战。高分不再必然代表真本事，尤其在科学研究等严肃场景中，如果评测本身不够可信，模型能力就难以得到准确判断，AI生成的科研结论也难以真正获得行业采信。
      ScienceArena尝试为这一问题提供新的评测方法。它以真实科学竞赛题为基础，采用官方评分细则进行分步评价，并通过奥赛金牌选手的批改和批注校准自动阅卷系统。评测结果不仅能反映模型整体表现，还能通过逐题记录回查模型作答、得分及扣分依据，进一步定位推理过程中的具体失分环节和能力短板。相比只给出一个总分或排名，这种评测方式更有助于看清模型究竟会什么、不会什么，以及差距在哪里，让模型能力评估从单纯的分数比较走向更细致的能力诊断。
      据悉，ScienceArena相关论文已发布于arXiv，并被EMNLP 2026主会议接收。更重要的是，ScienceArena已在GitHub开源，相关数据集和在线评测平台也已对外开放，研究者和开发者可以直接获取数据、使用平台开展评测，并复现和检验相关结果，让这套方法能够被更多研究者使用和验证。
      更值得一提的是，从行业应用看，可信评测不仅关系到模型能力如何被衡量，也影响模型选型、技术迭代和应用部署。通过更细致、可复现的评测，开发者能够发现模型的能力短板，企业也能更准确地判断模型适用的任务范围和潜在风险，为AI在专业领域和产业场景中的应用提供更可靠的参考。
      此外，ScienceArena研究也是360持续探索AI可信技术的一部分。360智脑自研千亿参数通用大模型曾通过中国信通院“可信AIGC大语言模型基础能力”评估，360研发的幻觉检测Agent技术已能将大模型幻觉比例降低50%以上。从生成内容的可信检测，到模型科学推理能力的评测，360正围绕AI能力的可靠性与安全应用持续开展技术探索，为AI更可靠地进入产业场景提供根技术支撑。

央广网