在MoE模型中，单个token仅激活总参数的一部分。Meta表示，MoE架构在训练和推理时计算效率更高，在固定训练FLOPs预算下，相比密集模型提供更高的质量。

当地时间4月5日，Meta公司发布了最新的开源人工智能软件Llama 4的首批大模型版本Llama 4 Scout和Llama 4 Maverick。这也是该公司迄今为止最强大的两款AI大型语言模型（LLM）。

不过Meta表示，更强大的一款被命名为Llama 4 Behemoth的大模型仍在训练中，该模型将在Meta的混合专家模型（MoE）架构中充当“新模型的老师”。

这也是Meta基于Llama软件首次采用的MoE模型架构。在MoE模型中，单个token仅激活总参数的一部分。Meta表示，MoE架构在训练和推理时计算效率更高，在固定训练FLOPs预算下，相比密集模型提供更高的质量。

以Llama 4 Maverick模型为例，该模型拥有170亿激活参数和4000亿总参数。Meta采用交替的密集层和混合专家（MoE）层来提高推理效率。在这种方式下，尽管所有参数都存储在内存中，但在服务这些模型时，只有总参数的一部分被激活。

Meta最新大模型的发布也意味着科技巨头在生成式人工智能大潮中的投资竞赛进一步升级。此前有报道称，Meta推迟了大模型最新版本的发布，因为在开发过程中，Llama 4 在技术基准方面没有达到Meta的期望，特别是在推理和数学任务方面。

“我们的目标是打造世界领先的人工智能，将其开源，并使其普遍可用，让世界上的每个人都能从中受益。”Meta公司创始人CEO马克·扎克伯格在Instagtam上的一段视频中说道，“我认为开源人工智能软件将构建出领先的模型，而随着Llama 4的出现，这种情况开始发生了。”

谷歌CEO桑达尔·皮查伊（Sundar Pichai）也在社交媒体上就Llama最新模型的发布表示祝贺。他说道：“人工智能的世界永远不会无聊！祝贺Llama团队，继续前进！”

此外，Meta将于4月29日举办首届LlamaCon AI大会。该公司预计还将在今年第二季度推出Meta AI聊天机器人的独立应用程序。

Meta公司首席产品官Chris Cox上个月表示，Llama 4将推动AI智能体（AI Agent）的发展，使其具备更高水平的推理和行动能力。这些AI智能体将能上网并处理大量对消费者和企业有用的任务。

与此同时，Meta正在对AI基础设施进行大量投入。该公司计划今年斥资650亿美元扩建AI基础设施，其中可能包括一个耗资近10亿美元在美国威斯康星州中部建立的数据中心项目。

不过，就在Meta新模型发布之前，该公司人工智能研究主管乔尔·皮诺（Joelle Pineau）上周宣布离职。皮诺是Meta公司的顶尖人工智能研究人员之一，自2023年以来一直领导该公司的基础人工智能研究部门（FAIR），负责公司的前沿计算机科学相关研究，包括Meta的开源Llama系列AI模型和其他技术。