DeepSeek突发!本周启动!
创始人
2025-02-24 20:31:21
0

万众瞩目的DeepSeek“开源周”,第一弹来了。

2月24日,DeepSeek开源了首个代码库FlashMLA。据了解,这是DeepSeek针对Hopper GPU优化的高效MLA(Multi-Head Latent Attention,多头潜在注意力)解码内核,专为处理可变长度序列而设计,现在已经投入生产使用。

上周四,DeepSeek宣布将在本周举办“开源周”活动,连续开源五个代码库,由此引燃了大家的期待。作为“开源周”的第一弹,FlashMLA给业界带来颇多惊喜。本周的剩下四个工作日,DeepSeek还将继续开源四个代码库。业内人士分析,其余四个代码库可能会与AI算法优化、模型轻量化、应用场景拓展等相关,涵盖多个关键领域。

进一步突破GPU算力瓶颈

根据DeepSeek的介绍,FlashMLA主要实现了以下的突破:

一是BF16支持,提供更高效的数值计算能力,减少计算精度损失,同时优化存储带宽使用率。

二是分页KV(Key-Value,一种缓存机制)缓存,采用高效的分块存储策略,减少长序列推理时的显存占用,提高缓存命中率,从而提升计算效率。

三是极致性能优化,在H800GPU上,FlashMLA通过优化访存和计算路径,达到了3000GB/s内存带宽和580TFLOPS的计算能力,最大化利用GPU资源,减少推理延迟。

据了解,传统解码方法在处理不同长度的序列时,GPU的并行计算能力会被浪费,就像用卡车运小包裹,大部分空间闲置。而FlashMLA通过动态调度和内存优化,将HopperGPU的算力“榨干”,提升相同硬件下的吞吐量。

简单理解,FlashMLA能够让大语言模型在H800这样的GPU上跑得更快、更高效,尤其适用于高性能AI任务,进一步突破GPU算力瓶颈,降低成本。

值得注意的是,DeepSeek之所以能够实现大模型训练与成本的大幅降低,与其提出的创新注意力架构MLA密不可分。MLA(多头潜在注意力机制)又被称为低秩注意力机制,是与传统的多头注意力机制(Multi-head Attention)不同的一种创新性注意力机制。自从V2模型开始,MLA就帮助DeepSeek在一系列模型中实现成本大幅降低,但是计算、推理性能仍能与顶尖模型持平。

浙江大学计算机科学与技术学院和软件学院党委书记、人工智能研究所所长吴飞表示,我们理解一篇文章,更关切单词所刻画的主题概念,而非单词从头到尾的罗列等。传统大模型中的注意力机制由于需要记录每个单词在不同上下文中的左邻右舍,因此其变得庞大无比。DeepSeek引入低秩这一概念,对巨大的注意力机制矩阵进行了压缩,减少参与运算的参数数量,从而在保持模型性能的同时显著降低了计算和存储成本,把显存占用降到了其他大模型的5%-13%,极大提升了模型运行效率。

由于Flash MLA进一步突破了GPU算力瓶颈,记者注意到,有英伟达股民跑到DeepSeek的评论区祈祷,希望DeepSeek在让GPU更为高效的同时,能够不影响英伟达的股价。

以持续开源加速行业发展进程

作为开源社区的“顶流”,DeepSeek以完全透明的方式与全球开发者社区分享最新的研究进展,加速行业发展进程。

在开源公告中,DeepSeek还表示,自己只是探索通用人工智能的小公司,作为开源社区的一部分,每分享一行代码,都会成为加速AI行业发展的集体动力。同时,DeepSeek称,没有高不可攀的象牙塔,只有纯粹的车库文化和社区驱动的创新。

记者注意到,在DeepSeek开源FlashMLA的帖子下,有不少网友点赞其公开透明的开源精神。有网友表示,“OpenAI应该将它的域名捐给你”,还有网友说,“(开源周)第五天,我猜会是通用人工智能”。

由于DeepSeek的图标是一只在大海里探索的鲸鱼,还有网友形象生动地描述称,“这条鲸鱼正在掀起波浪”(The whale is making waves)。

据证券时报记者了解,(Open Source Initiative,开源代码促进会)专门针对AI提出了三种开源概念,分别是:

开源AI系统:包括训练数据、训练代码和模型权重。代码和权重需要按照开源协议提供,而训练数据只需要公开出处(因为一些数据集确实无法公开提供)。

开源AI模型:只需要提供模型权重和推理代码,并按照开源协议提供。(所谓推理代码,就是让大模型跑起来的代码。这是一个相当复杂的系统性工程,涉及到了GPU调用和模型架构)。

开源AI权重:只需要提供模型权重,并按照开源协议提供。

业内普遍认为,DeepSeek的胜利是开源的胜利,开源大模型的创新模式为人工智能的发展开辟了新的路径。DeepSeek此前开源的是模型权重,并没有开放训练代码、推理代码、评估代码、数据集等更为重要的组件,因此属于第三种类型的开源。

一名资深的业内人士告诉记者,在DeepSeek推出R1并发布技术报告后,许多团队都在试图复现R1模型,但由于背后还涉及许多重要和关键的技术细节,因此要实现真正的复现其实比较困难,而且也需要较长的时间。不过,业内的开源基本上也都是开源模型权重,而DeepSeek的开源与其他开源模型相比已经是最顶级、最彻底的一种。

正因如此,DeepSeek也被业界称为“源神”。同样在今天,DeepSeek-R1在知名的国际开源社区Hugging Face上获得了超过一万个赞,成为该平台近150万个模型之中最受欢迎的大模型。Hugging Face的首席执行官Clement Delangue也在社交平台上第一时间分享了这一喜讯。

民生证券研报认为,DeepSeek所有模型均为开源模型,即所有应用厂商都拥有了可以比肩顶级AI的大模型,而且还可自行二次开发、灵活部署,这将加速AI应用的发展进程。当模型的成本越低,开源模型发展越好,模型的部署、使用的频率就会越高,使用量就会越大。

研报进一步指出,经济学上著名的“杰文斯悖论”提出,当技术进步提高了资源使用的效率,不仅没有减少这种资源的消耗,反而因为使用成本降低,刺激了更大的需求,最终导致资源使用总量上升。因此从更长的周期来看,DeepSeek的发展恰恰会加速AI的普及和创新,带来算力需求、特别是推理算力需求更大量级提升。

责编:叶舒筠

相关内容

热门资讯

在奇迹网写古代言情小说怎么样? 在奇迹网写古代言情小说怎么样?古言,红袖添香不错不怎么样,纵横走的是起点的路子,不是很重视言情类作品...
德国农业专家:中国农业农村现代... 转自:上观新闻2月23日,《中共中央 国务院关于进一步深化农村改革 扎实推进乡村全面振兴的意见》发布...
“中国智造”扬帆起航,连云港海... 转自:扬子晚报2月23日晚,装载1000台新能源汽车的“大丰港黎明号”轮从连云港港滚装码头顺利启航,...
PM2.5迎更严管控!中国将修... 转自:中国新闻网中国生态环境部有关负责人24日透露,已启动《环境空气质量标准》的修订工作。这位负责人...
共进股份被责令改正,深圳证监局... 【导读】共进股份被责令改正,深圳证监局查明多项问题中国基金报记者 闻言2月24日晚间,共进股份公告称...
国家知识产权局:驳回抢注“DE... e公司讯,2月24日,国家知识产权局发布关于依法驳回抢注“DEEPSEEK”等相关商标注册申请的通告...
航行警告!黄海部分海域进行实兵... 据中国海事局网站消息,青岛海事局发布航行警告,2月25日6时至19时,黄海部分海域进行实兵演习,禁止...
看完《哪吒2》,可免费或者半价... 《哪吒之魔童闹海》累计票房(含预售)位列全球票房榜前8。脚踏风火轮、手持火尖枪的小英雄哪吒,不仅在银...
新质生产力浇筑温暖空间 转自:中国政府采购报【发现新质生产力】新质生产力浇筑温暖空间——中国国际供热通风空调、卫浴及舒适家居...
科林电气:2024年净利润同比... 证券时报网讯,科林电气(603050)2月24日晚间披露年报,2024年实现营业收入40.99亿元,...
巨轮智能:公司XT减速器产品可... 证券时报网讯,巨轮智能2月24日在互动平台表示,公司最新研发的可适用于人形机器人的XT减速器产品,根...
兴业科技:子公司拟收购增资富源... 每经AI快讯,兴业科技(002674)2月24日晚间公告,公司全资子公司兴业投资国际拟以150万美元...
农业农村部党组召开2024年度... 转自:农业农村部网站本网讯  按照中央部署安排,2月24日,农业农村部党组召开2024年度民主生活会...
定期向人大报告,让民营经济政策... 转自:新京报评论促进民营经济发展是道“必答题”,容不得马虎和轻怠。▲2月22日,工人在重庆宏钢数控机...
“DeepSeek:人工智能的... 转自:上观新闻2月21日,“DeepSeek:人工智能的中国时刻?”学术研讨会在复旦大学召开,会议由...
双流国际机场T1航站楼焕新归来   双流国际机场T1航站楼恢复运行后,将为旅客带来更舒适和更方便的出行体验。本报讯(双轩 记者 彭江...
连云港海州:一把扫帚“扫”到底... 转自:扬子晚报“现在村里干净得像城里小区,我每天都要走两圈。”24日清晨,在连云港海州区新坝镇新坝西...
她安抚美国盟友:主要目标是中国... ► 文 观察者网 赖家琪美国总统特朗普的行政命令——对所有美国进口钢铁和铝征收25%关税,即将于3月...
美股三大指数集体高开 文远知行... e公司讯,美股三大指数集体高开,纳指涨0.34%,道指涨0.15%,标普500指数涨0.23%。英伟...
员工被限制如厕次数?最新回应 近日 ,刚经历离职风波的小刘(化名)向媒体反映,他此前就职的爱仕达电子(深圳)有限公司管理极不人性化...