腾讯混元开源首款混合推理MoE模型,主打Agent工具调用和长文理解
创始人
2025-06-27 17:20:21
0

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

6月27日,腾讯混元宣布开源首个混合推理MoE模型 Hunyuan-A13B,总参数80B,激活参数仅13B,效果比肩同等架构领先开源模型,但是推理速度更快,性价比更高。这意味着,开发者可以用更低门槛的方式获得更好的模型能力。

即日起,模型已经在 Github 和 Huggingface 等开源社区上线,同时模型API也在腾讯云官网正式上线,支持快速接入部署。

这是业界首个13B级别的MoE开源混合推理模型,基于先进的模型架构,Hunyuan-A13B表现出强大的通用能力,在多个业内权威数据测试集上获得好成绩,并且在Agent工具调用和长文能力上有突出表现。

*加粗为最高分,下划线表示第二名,数据来源于模型各个公开的测试数据集得分

对于时下热门的大模型Agent能力,腾讯混元建设了一套多Agent数据合成框架,接入了MCP、沙箱、大语言模型模拟等多样的环境,并且通过强化学习让Agent在多种环境里进行自主探索与学习,进一步提升了Hunyuan-A13B的效果。

在长文方面,Hunyuan-A13B支持256K原生上下文窗口,在多个长文数据集中取得了优异的成绩。

在实际使用场景中,Hunyuan-A13B模型可以根据需要选择思考模式,快思考模式提供简洁、高效的输出,适合追求速度和最小计算开销的简单任务;慢思考涉及更深、更全面的推理步骤,如反思和回溯。这种融合推理模式优化了计算资源分配,使用户能够通过加think/no_think切换思考模式,在效率和特定任务准确性之间取得平衡。

Hunyuan-A13B模型对个人开发者较为友好,在严格条件下,只需要1张中低端GPU卡即可部署。目前,Hunyuan-A13B已经融入开源主流推理框架生态,无损支持多种量化格式,在相同输入输出规模上,整体吞吐是前沿开源模型的2倍以上。

Hunyuan-A13B 集合了腾讯混元在模型预训练、后训练等多个环节的创新技术,这些技术共同增强了其推理性能、灵活性和推理效率。

预训练环节,Hunyuan-A13B 训练了20T tokens的语料,覆盖了多个领域。高质量的语料显著提升了模型通用能力。此外,在模型架构上,腾讯混元团队通过系统性分析,建模与验证,构建了适用于 MoE 架构的 Scaling Law 联合公式。这一发现完善了MoE 架构的 Scaling Law 理论体系,并为 MoE 架构设计提供了可量化的工程化指导,也极大的提升了模型预训练的效果。

后训练环节,Hunyuan-A13B采用了多阶段的训练方式,提升了模型的推理能力,同时兼顾了模型创作、理解、Agent等通用能力。

图:Hunyuan-A13B后训练四个步骤

为更好的提升大语言模型能力,腾讯混元也开源了两个新的数据集,以填补行业内相关评估标准的空白。其中,ArtifactsBench用于弥合大语言模型代码生成评估中的视觉与交互鸿沟,构建了一个包含 1825个任务的新基准,涵盖了从网页开发、数据可视化到交互式游戏等九大领域,并按难度分级以全面评估模型的能力;C3-Bench针对Agent场景模型面临的三个关键挑战:规划复杂的工具关系、处理关键的隐藏信息以及动态路径决策,设计了1024条测试数据,以发现模型能力的不足。

Hunyuan-A13B模型是腾讯内部应用和调用量最大的大语言模型之一,有超过 400+ 业务用于精调或者直接调用,日均请求超1.3亿。本次进行升级更新并对外开源 ,是继混元large后混元大语言模型推出的又一重要开源模型,参数更小,但是性能和效果实现了大幅的提升。接下来,腾讯混元也将推出更多尺寸、更多特色的模型,将更多实践技术与社区共享,促进大模型开源生态的繁荣。

腾讯混元坚定拥抱开源,持续推进多尺寸、多场景的全系模型开源,旗下图像、视频、3D、文本等多种模态基础模型已全面开源。未来,混元计划推出多尺寸混合推理模型,从0.5B到32B的dense模型,以及激活13B的MoE模型,适配企业与端侧不同需求,混元图像、视频、3D等多模态基础模型及配套插件模型也将持续开源。

附项目相关链接

体验入口:

https://hunyuan.tencent.com/

API地址:

https://cloud.tencent.com/product/tclm

Github :https://github.com/Tencent-Hunyuan

HuggingFace:https://huggingface.co/tencent

C3-Bench:https://github.com/Tencent-Hunyuan/C3-Benchmark

ArtifactsBench:https://github.com/Tencent-Hunyuan/ArtifactsBenchmark

— 完 —

相关内容

热门资讯

国创高新:无逾期担保 证券日报网讯 6月27日晚间,国创高新发布公告称,截至本公告披露日,公司对外担保余额为9000万元,...
中国人民银行货币政策委员会20... 转自:证券日报    本报讯 (记者刘琪)据中国人民银行网站6月27日消息,中国人民银行货币政策委员...
妙可蓝多修订关联交易管理制度 ... 来源:中访网财观中访网数据  上海妙可蓝多食品科技股份有限公司(以下简称“妙可蓝多”)于近日修订《关...
何家乡渔光互补惠民项目投入运营 转自:衢州日报  本报讯 (记者 胡宗仁 通讯员 彭亚捷) 6月27日,记者来到常山县何家乡首个渔光...
中国重汽:公司产品出口保持良好... 证券日报网讯中国重汽6月27日发布公告,在公司回答调研者提问时表示,根据方得网数据,今年1-5 月,...
妙可蓝多修订及制定多项治理制度... 来源:中访网财观中访网数据  上海妙可蓝多食品科技股份有限公司(证券代码:600882,证券简称:妙...
智翔金泰:公司将稳步有序推动在... 证券日报网讯智翔金泰6月27日在互动平台回答投资者提问时表示,公司GR2001注射液目前处于上市申请...
万科企业2024年度股东大会通... 来源:中访网财观中访网数据  万科企业股份有限公司(以下简称“万科”)于2025年6月27日召开20...
妙可蓝多食品科技强化年报审计监... 来源:中访网财观中访网数据  上海妙可蓝多食品科技股份有限公司(以下简称“妙可蓝多”)近日发布公告,...
东方盛虹拟延长第二期员工持股计... 来源:中访网财观中访网数据  江苏东方盛虹股份有限公司(股票代码:000301)于2025年6月27...