本周DeepSeek启动了“开源周”,连续5天每天开源1个核心代码库。这些代码库有何技术亮点?DeepSeek一直秉持的开源有何深层意义?解放日报记者专访了上海交通大学人工智能学院严骏驰教授。
【盘点“开源周”技术亮点】
DeepSeek第一天开源的项目为FlashMLA,其目的是为了提高大模型在计算注意力过程中的效率。多头潜在注意力(MLA)是DeepSeek去年5月首次提出的一种新注意力机制,这种方法可以降低模型的冗余参数。而FlashMLA则是用于高效计算MLA的工具。
“大模型处理文本的过程类似于快递分拣包裹,每个包裹都需要专车运输,这使得运输成本不断增加。而DeepSeek采用的MLA技术,就像把相似包裹统一装车运输,有效降低了成本。这次开源的FlashMLA则像一位聪明的调度员,能够根据包裹自动安排合适的车辆进行装车和运输,充分发挥图形处理单元(GPU)芯片的算力,让AI‘干活不浪费’。”严骏驰说。这种技术的应用,不仅提升了国产芯片运行AI的效率,还可能让未来的手机和电脑在处理复杂任务时更快且更省电。这表明,AI的高效不仅依赖于算法,还需要硬件和软件的精妙协作,通过“精打细算”实现智慧的优化。
第二天开源的DeepEP是用于优化“混合专家模型”中各模型之间的通信过程。“混合专家模型”可以理解为成千上万个小专家组成的一个“超级团队”,专家之间的沟通效率直接影响整体表现。
“DeepEP技术就像是在这些专家之间修建了一条高速公路,不仅能够实现多个专家之间的数据快速传输,还能快速聚合多专家的信息。”严骏驰说。此外,它还开启了数据计算的“绿色环保模式”,通过采用低精度计算,将原本计算量大、耗能高的“大货车”替换为更省油的“小型货车”,从而减少计算量和成本。这种技术的应用意味着未来AI服务的响应速度可能会更快,成本也会更低。这表明,AI的“团队协作”离不开底层通信技术的支撑,就像再厉害的员工也需要高效的会议系统一样。
AI的核心运算是矩阵乘法,类似于超级计算器进行连续乘法操作。第三天开源的DeepGEMM技术仅用300行代码打造了一个针对FP8(一种8位浮点数据格式)的矩阵乘法“数学天才”,在保持精准度的同时,速度提升数倍。这种优化不仅缩短了AI模型的训练时间,还降低了硬件成本,使得未来天气预报、药物研发等科学计算有望大幅提速。这表明,AI的进步不仅在于“思考更聪明”,更在于“算得更快”,基础计算的优化才是硬实力。
在训练AI模型时,芯片常常在计算和数据传输之间“干等”,类似于工厂流水线出现卡顿,下游任务必须等待上游任务完成才能继续执行。第四天开源的DualPipe和EPLB技术有效解决了这一问题。DualPipe是一种双向管道并行算法,通过实现计算与通信的高效重叠,让芯片在原本等待的时间内同时开展其他任务。EPLB则通过动态调整任务分配,平衡各环节的工作量,减少AI“摸鱼时间”高达30%。这两项技术的结合,不仅降低了大模型训练的成本,还为未来AI技术的普及降低了门槛。这表明,AI的高效运行不仅需要强大的计算能力,还需要系统性优化,就像再好的发动机也需要润滑剂和传动装置来提升整体性能。
AI训练需要处理海量数据(维权),而传统存储系统在数据传输效率上存在瓶颈,类似于用小推车运货,速度缓慢且效率低下。第五天开源的3FS文件系统通过“无人卡车+智能分拣”的方式,结合高性能硬盘和网络技术,大幅提升了数据存取速度。3FS文件系统就像给AI造了一个“超级仓库”,为推理任务提供了高吞吐量、大容量的缓存替代方案,每个客户端节点的峰值吞吐量可达40G字节/秒。
“这种高性能的存储系统不仅显著缩短了AI训练的时间,还降低了硬件成本,使得未来AI学习新知识的速度可能像人类翻书一样快。”严骏驰说。这也表明,数据是AI的“粮食”,而如何快速“喂食”才是关键——存储技术正是AI进化的隐形推手。
【AI竞赛的下半场是“基建赛”】
从诞生之日起,开源就是DeepSeek的精神内核之一。甚至,在一年前的2月28日,DeepSeek还就开源的常见问题解答发了一篇公众号推文。
当ChatGPT、Sora等生成式AI惊艳世界时,大众往往只关注“模型多聪明”“数据多庞大”,而DeepSeek的开源揭示了一个真相:大模型发展的“参天大树”更需培育隐形“根系”。
在严骏驰看来,AI竞赛的下半场是“基建赛”。就像5G网络决定直播流畅度,AI的算力调度、通信效率、存储速度这些底层技术,极大地影响了AI模型在使用过程中的用户体验,这些是决定模型能否真正落地的关键。DeepSeek五天连开五炮,瞄准的正是这些“地基工程”。
生成式AI需要“多轮驱动”,算法突破如同汽车设计,但要想跑得快,还需要发动机(芯片)、变速箱(通信)、油箱(存储)共同升级。“DeepSeek的技术布局证明:只关注模型创新是单腿跳,软硬件协同才是双腿奔跑。”
在西方芯片封锁背景下,国产AI如何破局?严骏驰认为,DeepSeek通过开源让国产GPU、存储系统与AI技术深度适配,这既是技术突围,也是生态建设——就像安卓系统通过开源赢得开发者,最终构建护城河。
展望未来,AI的发展不能只靠“天才的灵感”,更需“工匠的积累”。DeepSeek的爆发看似突然,实则是深耕底层技术的厚积薄发。“当行业疯狂追逐模型参数时,那些低头修路的人,或许才是真正定义AI时代的人。”
原标题:DeepSeek开源周盘点:大模型发展的“参天大树”更需培育隐形“根系”
题图来源:上观题图
来源:作者:解放日报 黄海华
上一篇:与爱同行再出发!