DeepSeek发布梁文锋署名新论文:提出mHC新架构 提升大模型训练稳定性
创始人
2026-01-01 17:44:28

格隆汇1月1日|DeepSeek发布新论文,提出了一种名为流形约束超连接(mHC)的新架构,旨在解决超连接网络(HC)技术因破坏恒等映射特性而导致的训练不稳定和可扩展性受限等问题。该架构通过将HC的残差连接空间映射至特定流形以恢复恒等映射特性,同时结合严格的基础设施优化以确保效率,实现了显著的性能改进和优越的可扩展性。DeepSeek预计,mHC作为HC的一种灵活实用拓展,将有助于更深入地理解拓扑架构设计,并为基座模型的演进指明有前景的方向。该论文由Zhenda Xie(解振达)、Yixuan Wei(韦毅轩)、Huanqi Cao共同担任第一作者,梁文锋也在作者名单之中。

相关内容

热门资讯

“中国龙眼之乡”广东茂名龙眼采... 来源:中国新闻社“中国龙眼之乡”广东茂名龙眼采收结束 果农丰产增收中新网 广东茂名8月16日电 (梁...
SpaceX上市造富高校圈:哈... 近日,哈佛大学旗下投资管理机构哈佛管理公司(Harvard Management Company, ...
杨浦这家店,有哪些值得带回家的... (来源:上观新闻)在杨浦区三号湾广场二楼 有一家能让你足不出“沪” 就直达香格里拉的餐厅——哈达 这...
全球股市陆续熊去,下周A股能否... 来源:@每日经济新闻微博 【#全球股市陆续熊去#,下周A...
应急管理部从河南、陕西、江苏、... (来源:政事儿)转自:政事儿央视新闻8月16日消息,为协助做好河南周口市区排涝工作,应急管理部从河南...