Meta 发布 Llama 4 系列 AI 模型,引入“混合专家架构”提升效率
创始人
2025-04-06 06:11:21
0

IT之家 4 月 6 日消息,Meta现已发布旗下最新Llama 4 系列AI 模型,包含 Llama 4 Scout、Llama 4 Maverick 和Llama 4 Behemoth,Meta 透露相应模型都经过了“大量未标注的文本、图像和视频数据”的训练,以使它们具备“广泛的视觉理解能力”

目前,Meta 已将系列模型中的 Scout 和Maverick 上架到Hugging Face(点此访问),而 Behemoth 模型则还在训练中。其中 Scout 可以在单个英伟达H100 GPU 上运行,而Maverick 则需要英伟达H100 DGX AI 平台或“同等性能的设备”。

Meta 表示,Llama 4 系列模型是该公司旗下首批采用混合专家(MoE)架构的模型,这种架构在训练和回答用户查询时的效率更高,所谓“混合专家架构”基本上是将数据处理任务分解为子任务,然后将它们委派给更小的、专门的“专家”模型。

例如,Maverick 总共有4000 亿个参数,但在128 个“专家”模型中只有170 亿个活跃参数(参数数量大致与模型的问题解决能力相对应)。Scout 有170 亿个活跃参数、16 个“专家”模型以及总计1090 亿个参数。

不过值得注意的是,Llama 4 系列中没有一个模型是像OpenAI 的o1 和o3-mini 那样真正意义上的“推理模型”。作为比较,“推理模型”会对其答案进行事实核查,并且通常能更可靠地回答问题,但因此也比传统的“非推理”模型花费更长的时间来给出答案。

Meta 内部测试显示,Maverick 模型最适合用于“通用AI 助手和聊天”等应用场景,该模型在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试中表现超过了OpenAI 的GPT-4o 和谷歌的Gemini 2.0 等模型。然而 Maverick 与谷歌的 Gemini 2.5 Pro、Anthropic 的Claude 3.7 Sonnet 和OpenAI 的GPT-4.5 等功能更强大的最新模型相比仍有一定进步空间。

而 Scout 的优势则是总结文档、基于大型代码库进行推理。该模型支持 1000 万个词元(“词元”代表原始文本的片段,例如单词“fantastic”可拆分为“fan”、“tas”和“tic”),因此一次可以处理“多达数百万字的文本”。

IT之家注意到,Meta 还进一步预告了其 Behemoth 模型,据该公司称,Behemoth 有2880 亿个活跃参数、16 个“专家”模型,总参数数量接近2 万亿个。Meta 的内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth 的表现优于GPT-4.5、Claude 3.7 Sonnet 和Gemini 2.0 Pro,但不如Gemini 2.5 Pro。

相关内容

热门资讯

天刀手游话本龙首山成就 天刀手游话本龙首山成就龙首山副本中有4个特殊的成就任务,每个成就任务完成的方式不同,通过完成指定要求...
斑爷好抗跌!实力好强大!带图也... 斑爷好抗跌!实力好强大!带图也变得太像六道仙人了!斑爷能对抗得了吗?带图能力很奇怪!尤其是那个黑球斑...
校园里有这么一个有趣的地方作文... 校园里有这么一个有趣的地方作文五百字智就事论事恢w
名人的烦恼故事,他是如何解决的... 名人的烦恼故事,他是如何解决的?以最好的心态,去解决烦恼的事
作文 《主动》 作文 《主动》结合生活体验 不少于八百字兵法云:能战则战,不能战则守,不能守则走。无论战或守,都应由...
暗黑2 火焰之河 暗黑2 火焰之河没有通,还要进混沌避难所杀大菠萝[非资料片在这里就算通关],资料片还要去第5幕,杀巴...
叛逆的鲁鲁修还会出第三季么? 叛逆的鲁鲁修还会出第三季么?鲁鲁修木有死呢,据官方情报r2最后的那个车夫就是鲁鲁修,之后还有很长的故...
今夜我无法入睡原唱 今夜我无法入睡原唱 今夜我无法入睡原唱是倪红,这首歌的歌词如下:又喝一杯最烈的酒,让我忘掉所有忧愁。...
魔兽世界趣事儿! 魔兽世界趣事儿!比如说有意思的任务~最好能给东西的。各种各样的。就是你认为比较有意思的,不那么枯燥的...
有金字的成语大全 有金字的成语大全 有金字的成语大全 :金碧辉煌、固若金汤、金口玉言、金榜题名、金瓯无早漏缺、披沙...
小孩吃的米粑怎么做 小孩吃的米粑怎么做 用料大米磨成的米粉 500g瘦猪肉 400g豆角 400g干黄花菜 100g...
天高气爽的意思是什么 天高气爽的意思是什么意思:形容秋天天空高远明朗、气候凉爽宜人。读音:tiān gāo qì shuǎ...
美元兑日元下跌1.01%,报1... 04月09日消息,美元兑日元盘中快速下跌,跌幅1.01%,截止03:10,报146.211。
鹰眼预警:香农芯创营业收入与净... Hehson财经上市公司研究院|财报鹰眼预警4月8日,香农芯创发布2024年年度报告,审计意见为标准...
魔兽世界中暗夜精灵的种族技能影... 魔兽世界中暗夜精灵的种族技能影遁在pvp中有什么用用处大了,用了以后可以脱战,我是DZ,我把影遁和潜...
在爱情中屡受挫折,导致没有信心... 在爱情中屡受挫折,导致没有信心和勇气去追求真爱,该如何走出去?是应该在爱情当中让自己拥有一定的自信心...
听说深圳仁树医疗眼耳鼻喉科很厉... 听说深圳仁树医疗眼耳鼻喉科很厉害,都有哪些名医和专家?确实很厉害,医疗团队都是在国内三甲医院有十年以...
夜奶是迷糊奶吗 夜奶是迷糊奶吗奶是不分迷糊奶的,都是一样的。
女孩子萱字搭配什么字好? 女孩子萱字搭配什么字好?女孩子的名字里有萱字,想要问问搭配什么字比较好,我觉得叫宣静比较好听,因为这...
谁有美文美句? 谢谢了! 谁有美文美句? 谢谢了!醉过才知酒浓 爱过方知情重就一句 :风吹落了黄叶,秋已然告别,冬无声的来临,...