工联院大模型测评：360智脑位列国产第一梯队表现超ChatGPT

近日，中国工业互联网研究院针对人工智能大模型在中文工业领域的知识问答能力进行系统性评测。结果显示，360集团自研大模型“360智脑”在多项指标超过GPT3.5，综合表现位于国产大模型前列。

工联院此次评测选取了工业领域典型的八大行业，集合五大院士，八大IEEE Fellow共13位顶级专家构成了专家委员会。每个行业抽取客观题和主观题，主观题主要考察基础能力、语句能力、概括能力和逻辑能力四大维度，最终八大行业共计超过1100道题，对大模型就行全方位评测。评测对象涵盖GPT4、GPT3.5、360智脑、文心一言等国内外具有代表性的头部大模型。



从评测结果可以看出，GPT4表现最佳，国内大模型表现亮眼，360智脑在多个行业均处于前列，其中装备制造业和纺织行业更是超过GPT-3.5，表现优异。



虽然国内大模型在本次评测表现较好，以360智脑为代表的国产大模型甚至在部分行业赶超GPT3.5，但工联院评测报告也指出，国内外通用大模型在工业知识问答领域探索仍处于初级阶段，也缺乏行业针对性训练。



其实，360近期已经推出一个企业级的AI大模型解决方案，基于360智脑的能力，综合行业和企业的专业知识库，打造“行业化、企业化、垂直化、小型化、专有化”企业级大模型，目前已在智慧城市、智慧企服场景下落地应用实践，且双双入选“北京市通用人工智能大模型行业应用十大典型场景案例”。



这不是360智脑第一次在第三方评测中表现出优异成绩，早在不久前中文通用大模型基准（SuperCLUE）评测中，360智脑数次上榜，且多项能力蝉联国产大模型第一。


360黑板报