让Agent从“能跑通”到“放心用” 360智语全新升级企业级智能体评测体系

越来越多的AI Agent进入业务场景，不少政企对智能体的关注重点也从“能否搭建、能否运行”，转向“能否稳定、合规、可控地投入使用”。
紧盯政企用户对智能体上线前的“最后一公里”，360企业级智能体平台全新升级标准化“智能体评测”体系，一站式完成用例生成、智能评分、问题溯源、优化指引，给自研AI资产筑起一道可量化、可复用的质量防线。
1，智能体已跑通，为什么还不能放心用？
“功能已经跑通，但谁也不能保证换一种问法、换一个用户，结果仍然可靠。”
这是政企单位在智能体建设中的典型顾虑。人工试用通常只能覆盖少量标准问题，很难系统验证同义表达、连续追问、异常输入和诱导提问等场景。智能体可能在首次回答中表现正常，却在多轮对话中出现前后不一致；也可能在依据不足时生成看似完整、实际错误的内容。
工具调用同样如此。用户要求“先查询，确认后再办理”，智能体却直接执行后续操作；或者工具选择正确，但参数传递错误。表面上看，任务似乎完成得更快，实际上已经偏离了用户意图。
更棘手的是，发现异常之后，团队往往只能得到一句“回答不准确”或“流程不符合预期”，却无法判断问题究竟来自提示词、知识内容、模型理解，还是工具和权限配置。

“智能体在演示中完成几次问答，并不意味着已经达到生产要求。”360智能体资深产品专家表示，结果不稳定、事实性错误与幻觉、敏感信息泄露、工具调用失控等问题，都可能在复杂输入和真实业务流程中暴露。“特别是对于党政军、央国企用户而言，智能体一旦进入政策咨询、内部办公、业务办理或客户服务场景，一次错误回答、一次敏感信息泄露，甚至一次未经确认的操作，都可能带来业务、合规和责任风险。”
2，特设双维评测，建立企业级质量基线
政企用户真正需要验证的，不是智能体“能不能运行”，而是它“能不能持续、合规、可追溯地运行”。针对该重点需求，360企业级智能体构建与运营平台全新升级智能体评测体系，面向智能体、Skill技能和MCP工具等核心资产，从功能表现和安全风险两个方面建立企业级质量基线。
功能性评测关注智能体是否真正理解业务需求，能否遵循指令，是否正确调用相关工具，并按照业务规范输出结果。它可以识别答非所问、信息遗漏、格式错误、工具选择错误、参数传递异常等问题
安全性评测则围绕敏感信息、违规内容、越权请求和诱导性对话等场景，检查智能体能否正确拒答、脱敏和控制权限，将内容安全、隐私泄露及不当操作等风险尽可能前置发现。
“用户真正需要的，并不是一个看起来不错的评分，而是一套能够用于验收和复盘的评测标准。”产品专家认为，因此，360智能体平台坚持从人工抽查转向标准化评测，并形成覆盖评测集构建、自动执行、量化评分、证据留存、问题诊断和结果应用的完整流程。
3，升级后的评测系统有多好用？
1-更高效：评测Case一键搞定
企业想要完整验证智能体能力，需要覆盖大量业务场景、异常提问、安全诱导话术。手动编写上百条测试用例耗时耗力，小团队甚至没有专人维护测试集，只能简单抽查，大量风险场景直接遗漏。升级后平台支持AI一键生成评测集，同时支持导入自有评测集、选用历史评测集适配不同团队使用场景：

2-更直观：多维量化评分
很多企业目前仍依赖于人工测试，人工测试没有统一打分标尺，不同测试人员对 “功能达标” 的定义不一样。上线后一旦出现故障，无法拿出客观评测数据证明前期校验工作，复盘、追责、迭代都缺少依据。
评测功能升级后，系统摒弃人工打分，系统自动从功能正确性、指令遵循性、工具调用能力三个核心维度完成量化打分，评测结果以表格可视化展示，甚至能帮助团队快速定位高消耗、低效率交互场景。系统还自动区分轻微问题、主要问题、提醒问题并高亮标记，薄弱环节一眼锁定，不用人工逐条筛选排查。

3-更快捷：完整诊断+整改清单一步到位
普通人工测试即便测出智能体输出异常，也只能笼统判定 “不好用”，无法定位根源，更难产生配套优化方案，调试只能反复试错。而升级过后，360的评测体系会清楚地为每一处问题留存完整原始对话证据，前后对比验证优化效果，同时输出针对性优化建议。

“对于政企用户而言，搭建企业级智能体，‘开发即完成，主观判断可上线’的流程万万不可取。”360产品专家认为，360企业级智能体构建与运营平台自动化评测体系的初衷，是实现 智能体上线前的“全场景覆盖、数据化校验、精准优化”，而下一步，评测体系还将继续发力，将深度打通智能体上架全流程，并实现智能评测和质检，做到“不等人看、不用人判，达标就过，违规就拦。”

来源：日照新闻网