DeepSeek开源周盘点:大模型发展的“参天大树”更需培育隐形“根系”
创始人
2025-03-01 07:41:03
0

本周DeepSeek启动了“开源周”,连续5天每天开源1个核心代码库。这些代码库有何技术亮点?DeepSeek一直秉持的开源有何深层意义?解放日报记者专访了上海交通大学人工智能学院严骏驰教授

【盘点“开源周”技术亮点】

DeepSeek第一天开源的项目为FlashMLA,其目的是为了提高大模型在计算注意力过程中的效率。多头潜在注意力(MLA)是DeepSeek去年5月首次提出的一种新注意力机制,这种方法可以降低模型的冗余参数。而FlashMLA则是用于高效计算MLA的工具。

“大模型处理文本的过程类似于快递分拣包裹,每个包裹都需要专车运输,这使得运输成本不断增加。而DeepSeek采用的MLA技术,就像把相似包裹统一装车运输,有效降低了成本。这次开源的FlashMLA则像一位聪明的调度员,能够根据包裹自动安排合适的车辆进行装车和运输,充分发挥图形处理单元(GPU)芯片的算力,让AI‘干活不浪费’。”严骏驰说。这种技术的应用,不仅提升了国产芯片运行AI的效率,还可能让未来的手机和电脑在处理复杂任务时更快且更省电。这表明,AI的高效不仅依赖于算法,还需要硬件和软件的精妙协作,通过“精打细算”实现智慧的优化。

第二天开源的DeepEP是用于优化“混合专家模型”中各模型之间的通信过程。“混合专家模型”可以理解为成千上万个小专家组成的一个“超级团队”,专家之间的沟通效率直接影响整体表现。

“DeepEP技术就像是在这些专家之间修建了一条高速公路,不仅能够实现多个专家之间的数据快速传输,还能快速聚合多专家的信息。”严骏驰说。此外,它还开启了数据计算的“绿色环保模式”,通过采用低精度计算,将原本计算量大、耗能高的“大货车”替换为更省油的“小型货车”,从而减少计算量和成本。这种技术的应用意味着未来AI服务的响应速度可能会更快,成本也会更低。这表明,AI的“团队协作”离不开底层通信技术的支撑,就像再厉害的员工也需要高效的会议系统一样。

AI的核心运算是矩阵乘法,类似于超级计算器进行连续乘法操作。第三天开源的DeepGEMM技术仅用300行代码打造了一个针对FP8(一种8位浮点数据格式)的矩阵乘法“数学天才”,在保持精准度的同时,速度提升数倍。这种优化不仅缩短了AI模型的训练时间,还降低了硬件成本,使得未来天气预报、药物研发等科学计算有望大幅提速。这表明,AI的进步不仅在于“思考更聪明”,更在于“算得更快”,基础计算的优化才是硬实力。

在训练AI模型时,芯片常常在计算和数据传输之间“干等”,类似于工厂流水线出现卡顿,下游任务必须等待上游任务完成才能继续执行。第四天开源的DualPipe和EPLB技术有效解决了这一问题。DualPipe是一种双向管道并行算法,通过实现计算与通信的高效重叠,让芯片在原本等待的时间内同时开展其他任务。EPLB则通过动态调整任务分配,平衡各环节的工作量,减少AI“摸鱼时间”高达30%。这两项技术的结合,不仅降低了大模型训练的成本,还为未来AI技术的普及降低了门槛。这表明,AI的高效运行不仅需要强大的计算能力,还需要系统性优化,就像再好的发动机也需要润滑剂和传动装置来提升整体性能。

AI训练需要处理海量数据(维权),而传统存储系统在数据传输效率上存在瓶颈,类似于用小推车运货,速度缓慢且效率低下。第五天开源的3FS文件系统通过“无人卡车+智能分拣”的方式,结合高性能硬盘和网络技术,大幅提升了数据存取速度。3FS文件系统就像给AI造了一个“超级仓库”,为推理任务提供了高吞吐量、大容量的缓存替代方案,每个客户端节点的峰值吞吐量可达40G字节/秒。

“这种高性能的存储系统不仅显著缩短了AI训练的时间,还降低了硬件成本,使得未来AI学习新知识的速度可能像人类翻书一样快。”严骏驰说。这也表明,数据是AI的“粮食”,而如何快速“喂食”才是关键——存储技术正是AI进化的隐形推手。

【AI竞赛的下半场是“基建赛”】

从诞生之日起,开源就是DeepSeek的精神内核之一。甚至,在一年前的2月28日,DeepSeek还就开源的常见问题解答发了一篇公众号推文。

当ChatGPT、Sora等生成式AI惊艳世界时,大众往往只关注“模型多聪明”“数据多庞大”,而DeepSeek的开源揭示了一个真相:大模型发展的“参天大树”更需培育隐形“根系”。

在严骏驰看来,AI竞赛的下半场是“基建赛”。就像5G网络决定直播流畅度,AI的算力调度、通信效率、存储速度这些底层技术,极大地影响了AI模型在使用过程中的用户体验,这些是决定模型能否真正落地的关键。DeepSeek五天连开五炮,瞄准的正是这些“地基工程”。

生成式AI需要“多轮驱动”,算法突破如同汽车设计,但要想跑得快,还需要发动机(芯片)、变速箱(通信)、油箱(存储)共同升级。“DeepSeek的技术布局证明:只关注模型创新是单腿跳,软硬件协同才是双腿奔跑。”

在西方芯片封锁背景下,国产AI如何破局?严骏驰认为,DeepSeek通过开源让国产GPU、存储系统与AI技术深度适配,这既是技术突围,也是生态建设——就像安卓系统通过开源赢得开发者,最终构建护城河。

展望未来,AI的发展不能只靠“天才的灵感”,更需“工匠的积累”。DeepSeek的爆发看似突然,实则是深耕底层技术的厚积薄发。“当行业疯狂追逐模型参数时,那些低头修路的人,或许才是真正定义AI时代的人。”

原标题:DeepSeek开源周盘点:大模型发展的“参天大树”更需培育隐形“根系”

题图来源:上观题图

来源:作者:解放日报 黄海华

相关内容

热门资讯

搭建信息交流平台,北京演出娱乐... 转自:北京日报客户端2月27日,北京演出娱乐行业协会剧场分会成立仪式在中山公园音乐堂举行。据悉,北京...
C1基带立功了!iPhone ... 最近才开售的iPhone 16e电池容量曝光,其电池容量为3961mAh,介于iPhone 16的3...
巴基斯坦发生自杀式袭击致5死2... 来源:新华网 新华社伊斯兰堡2月28日电(记者蒋超)巴基斯坦官员28日说,该国西北部开伯尔-普什图省...
抓好春耕春管 夯实丰收基础   2月26日,在孟州市河阳街道大夥村的麦田里,农户驾驶农机在对小麦喷洒农药,防治病虫害。本报三农全...
这条鱼第一年是雄性 在海洋里变... 北京时间2月27日,孟加拉国贾格纳特大学与中国上海海洋大学联合研究团队在达卡举行新闻发布会,宣布在孟...
太原:警民协作救出四名“驴友” 转自:公安部新闻传媒“驴友”到崛围山徒步,下山途中迷失方向被困。近日,山西省太原市公安局尖草坪分局柴...
吵作一团后,马斯克准备查账了 美国总统特朗普2月28日与到访白宫的乌克兰总统泽连斯基在媒体前爆发激烈争吵,泽连斯基提前离开白宫。当...
日本岩手县山火蔓延 4000多... 来源:央视新闻客户端 总台报道员当地时间3月1日获悉,日本岩手县大船渡市发布的山火避难指示对象范围已...
攻坚渐冻症 转自:新康界一年又一年,又来到了罕见病日。罕见病的种类繁多,全球范围内已知的罕见病约有7000多种。...
河南:保“她”健康 护“童”成... 妇女及青少年儿童身心健康关系到千家万户。昨日,省政府新闻办召开河南省“实事惠民生 聚力谋出彩”系列第...
财联社创投通:一级市场本周91... 《科创板日报》3月1日讯 据财联社创投通数据显示,本周(2.22-2.28)国内统计口径内共发生91...
CIPS总裁许再越履新上清所,... 21世纪经济报道记者 边万莉 杭州报道2月26日,银行间市场清算所股份有限公司(下称“上清所”)官网...
濮阳干部任前公示 转自:濮阳发布
1日至4日寒潮来袭 中东部将有... 转自:央视网央视网消息:据中央气象台网站消息,气象监测显示,昨日(2月28日),新疆西部、西藏西部等...
肖展欣任广东省地方志办党组书记... 转自:中国经济网综合  中国经济网广州3月1日综合报道 据广东省情网“领导成员”页面更新显示,肖展欣...
本想保护隐私却伤害了眼睛?紧急... 转自:央视新闻  为了保护隐私,很多人会选择在手机上贴防偷窥膜。然而近日,有网友发现透过防窥膜看东西...
与特朗普激烈争吵后被问是否考虑...   【环球网报道】美国总统特朗普2月28日与到访白宫的乌克兰总统泽连斯基在媒体前爆发激烈争吵,泽连斯...
石磊,拟任南京市级机关正职,曾... 2月28日,南京市委组织部发布市管领导干部任前公示通告,其中出生于1988年2月的溧水区委常委、统战...
怎样让自己快速进入睡眠状态 怎样让自己快速进入睡眠状态怎样让自己快速进入睡眠状态放松心态,用幻想法就一定很容易睡别想事,平静自然...
泰叔是怎么死的 泰叔是怎么死的 《狂飙》中泰叔最后的结局是在监狱里死去的。泰叔最后应该是得以善终,原因很简单,泰叔对...