小红书开源首个大模型，11万亿非合成训练数据
创始人
2025-06-09 07:53:14
格隆汇6月9日｜据AIGC开放社区，社交平台小红书，开源了首个大模型——dots.llm1。dots.llm1是一个1420亿参数的专家混合模型（MoE），在推理过程中仅激活140亿参数，能保持高性能的同时大幅度降低训练和推理成本。dots.llm1最大特色是使用了11.2万亿token的非合成高质量训练数据，这在现阶段的开源大模型中非常罕见，看来小红书也得益于自己庞大的语料库出手就是阔啊。所以，在中文测试中dots.llm1的性能非常强，以91.3的平均分超过了DeepSeek开源的V2、V3和阿里开源的Qwen2.532B和72B。
相关内容
热门资讯
福建平和：“世界柚乡”挂满“致...
（来源：千龙网）新华社福州12月17日电 题：福建平和：“世界柚乡”挂满“致富金果”新华社记者吴剑锋...
于细微处见担当 在窗口处绽光彩
清晨的阳光透过玻璃窗，洒在办公桌码放整齐的文件上。马彦超翻开待处理工作的文件夹，指尖划过一行行文字，...
水墨乡村景如画
（来源：市场星报） 安徽省黄山市黟县宏村镇冬景如画，晨雾如轻纱般缭绕于白墙黛瓦的徽派民居之间，阳光穿...
从慈禧照片看晚清社会
慈禧与众人在颐和园乐寿堂前慈禧与外国公使夫人合影慈禧中海泛舟假扮观音十九世纪四十年代，西方出现了摄影...