全世界不会只有OpenAI一个大模型,大模型的成本还将进一步的降低,使得科技平权能真正地普惠给每一个人、每一个企业和政府机构,真正的实现大模型的工业革命。
专、小、廉、强正在成为大模型的四大发展趋势。
最近大模型行业发生了4件事情,代表了我预言的四大方向和趋势。
第一,Llama3.1发布最强开源模型,超过了GPT-4、谷歌的Gemini等闭源模型,这说明开源已经开始和闭源并驾齐驱。
360社区
第二,Llama3.1发布不到一天,欧洲的Mistral Large2开源模型也发布了,而且号称在几个指标上都超过了Llama3.1,同样也超过了GPT-4o 。Mistral 开源模型的大小连Llama3.1的1/3都不到,它使用的是MOE架构,就是一个大模型,由多个专家模型组合而成。这说明通过多个专家模型的联合工作,它的能力超过了规模比它大很多的大模型,这是第二个趋势,就是专。
360社区
第三,GPT-4o上了一个mini版本,模型更小、性能更强,所以价格大幅度降低、性价比超高。跟当年的GPT-3相比,两年内模型的成本已经降低了99%,这个模型的能力是从哪里来的?它实际上应该是对GPT-4o的能力进行了蒸馏和压缩,使得能力上可以和GPT4相匹敌,但是因为模型的规模缩小了,所以成本就降低了。
这证明了我的第三个观点——模型并不是越大越好,还要把模型的成本降下来,才能真正实现让人们更广泛地接触AI。如果我们希望AI惠及世界每一个角落、每个行业、每个应用程序,我们就必须让AI变得更便宜,所以这个趋势代表的是便宜和低成本。
第四件事是苹果刚刚发布了一个DCLM-7B版本的大模型,把模型权重训练的数据集和训练代码全都开源了,在性能测试中和Llama3一样,但计算量只有Llama3 8B的1/6,这个模型之所以小,是为了能在笔记本、iPad等终端设备本地运行。看起来PC和手机上的端侧大模型要正式开战了。
360社区
我们综合这四个趋势来看,可以做一个总结,就像我这半年的预言一直鼓吹的那样,要引发大模型的工业革命,必须要让它从原子弹变成茶叶蛋,把它拉下神坛,如果都像OpenAI那样搞越做越大的模型,卷越来越大的算力,谁也做不起,最后挣钱的只有英伟达。
事实上这几个趋势——专、小、廉、强正在成为大模型的四大发展趋势,包括OpenAI都开始做小规模的大模型,降低大模型的使用门槛,加速工业革命的到来。加速工业革命绝不是做一个大模型,让全世界人干什么都用,而是两条路径。
一个是模型进入千家万户,离用户越来越近。大模型越做越小、功能越来越强,上电脑、上手机、上车、上机器人,变得无处不在。
另一条路就是大模型走入百行千业。和传统制造业、传统企业的业务紧密地结合,这个需要把大模型参数做小,功能做专、变成专家模型,同时提高企业的知识密度和知识含量,让模型的能力不会因为小而降低,反而因为有了更专业的企业高纯度数据、知识而变得功能更加强大。
同时在面向消费者的公有大模型方面,也出现了把模型做小,把成本降低的趋势。这样使得很多第三方开发者和普通用户,能够以普惠的价格获得大模型使用的基本体验,实现大模型的科技平权。
从各个方面来讲,我们可以乐观地看到大模型的成本还将进一步的降低,使得科技平权能真正的普惠给每一个人、每一个企业和政府机构,真正的实现大模型的工业革命。
最后补充一点,扎克伯格最近见了彭博社的记者,在专访中扎克伯格也表达了他对开源的信心和对开源生态的信仰。
他有一个观点也支持我的看法,就是全世界不会只有OpenAI一个大模型,每个企业、每个政府机构都会拥有自己大小不一样的、各种各样定制的专业大模型,所以他们发布的Llama3.1 4000亿参数这个版本,不仅仅可以让人免费的使用GPT-4同样的能力,还可以作为一个教师模型,把它的能力蒸馏提纯到客户自己的小模型上,成为众多专业小模型的母体。
中国要搞自己的大模型发展之路,我觉得应该扣紧这四个趋势和方向,而不要被OpenAI牵着鼻子转。事实上OpenAI今天也在痛苦的反思和转型,因为人工智能之路到底怎么走,大家都在摸石头过河。
来源 红衣大叔周鸿祎
|
|
|
|
评论
直达楼层