• Meta宣布:Llama3的80亿和700亿参数版本发布了
  • 发布于 1个月前
  • 62 热度
    0 评论
Meta宣布,Llama3的80亿和700亿参数版本发布了。这款开源的大模型是真的牛逼了。根据Meta的数据,小一点的8B模型,在MMUL,GPQA,HumanEval等一系列测试中,都超过了Gemma7B和Mistral 7B。而更牛逼的70B模型,则可以和Claude 3 Sonnet以及谷歌的Gemini Pro 1.5 PK,毫无毛病。

Meta还有一个没开源的400B的,在training中。据说这个400B的更牛逼,和Claude 3 Opus也能干起来,干翻GPT 3.5也是不在话下。至于GPT 4的话,可能还有点距离。据说训练Llama 3的数据规模达到了15T的token,比之前的版本多了7倍。这就让Llama 3显得尤其牛逼了。

当然,Llama 3 也不是没缺点,上下文窗口长度目前只有8k。不过我估计这也不是什么问题,在Meta的加持下,只是时间问题。为了训练这个模型,Meta用了两套的24k H100。这是真的有点土豪了。不得不说Meta实在是有钱买显卡啊。一般的公司大概率是不敢这么豪横的。当然,对于中文社区来说,肯定还是有点遗憾。这个模型的语料里面5%的是非英文,其他的都是英文和代码。总体来说,Llama的中文表现并不是很理想。

总体来说,Meta砸了重金,训练了一个特别牛逼的模型,开源了,可谓土豪菩萨,撒钱贡献开源毫不含糊。所以在今天股票市场一片大跌的前提下,Meta的股票竟然逆势涨了起来。一度涨幅高达3%。我们可以这样说,OpenAI是个假的Open,真的OpenAI来自Meta。只有Meta才是新时代大语言模型的活菩萨活雷锋。

小札自从元宇宙搞失败以后,是彻底转型成为AI大语言模型领军人物了。难怪Meta的股价在跌破100以后能如此迅速回到500以上。我又要讲个鬼故事了。前段时间,Databricks宣布了它家的开源模型DBRX跑分跑了第一。据说训练花了1000万美元。这个模型还没让Databricks高兴多久,Llama 3这种逆天的大模型就出来了,不知道1000万美元和2套24k的H100比起来,到底算啥呢?Databricks是不是应该砸3套24k的H100,训练一个DBRX3.0出来,拳打Llama 3,脚踢GPT 4?

我开玩笑了,毕竟土豪是土豪,新贵是新贵,1个T的和43个B的体量,还是不能比的。Meta的这个开源,是不是又要催生出一堆在Meta架构上训练的,或者微调的,新的大模型了。我们拭目以待。

好巧不巧的,最近发现Snowflake也招了一个微软的人去做大模型了。不知道Snowflake接下来会讲出什么样的鬼故事来,也不知道这个鬼故事有没有人愿意去听。
用户评论