360智脑开源两大模型，助力行业破解大模型幻觉难题

近日，三六零(601360.SH，下称“360”)公司宣布开源两款大模型360Zhinao-search和360Zhinao-1.8B-Reranking，两款模型聚焦于提升长文本检索效果，在RAG技术的检索、排序阶段进行模型优化，结合此前开源的360K长文本能力，全面打通了RAG技术链路，可为行业提供可靠的降低大模型“幻觉”概率的能力，两款模型的retrieval、reranking能力力压众多知名闭源模型，分别位列C-MTEB单任务评测榜首位，进一步壮大开源力量。

检索增强生成（Retrieval-augmented Generation），简称RAG，是一种结合检索和生成技术的模型。当模型需要生成文本或者回答问题时，它会先从一个庞大的文档集合中检索出相关的信息，然后利用这些检索到的信息来指导文本的生成，从而提高预测的质量和准确性，从而降低大模型著名的“幻觉”难题。

一般而言，RAG大致可分为检索、排序、生成三个阶段，且都面临长文本处理的挑战，360重点在检索和排序阶段的模型层面进行优化，大幅提升了长文本场景下的信息检索效果。在语义检索模型优化上，360从数据过滤、数据源强化、难负例挖掘、提升训练效果等维度对模型进行优化。

在语义排序模型优化上，360从数据感知、任务冲突建模优化以及训练不稳定问题入手，不断激发大模型在预训练阶段蕴含的世界知识，更好的打通生成式模型-判别式任务的鸿沟。
此前，360公司创始人周鸿祎表示，相信开源的力量，开源终将战胜闭源。今年4月，360智脑7B参数模型正式开源，包括4K、32K、360K三种文本长度，在360K长度下，可支持50万字左右输入，三秒钟即可读完《三体》，促使行业告别长文本内卷。与此同时，360智脑7B开源模型的技术报告已开放（https://arxiv.org/abs/2405.13386 ），结合全套工具集，可为开发者提供开箱即用的开发体验。

来源: TechWeb.com.cn