腾讯携手创新“无监督前缀微调”技术：降低 AI 推理计算开销
创始人
2025-03-02 15:47:57
0次
IT之家 3 月 2 日消息，科技媒体 marktechpost 昨日（3 月 1 日）发布博文，报道称腾讯 AI Lab 携手香港中文大学，提出名为“无监督前缀微调”（UPFT）的创新方法，显著提升了大型语言模型的推理效率。
该方法无需处理完整的推理过程，只需关注模型输出的前 8 至 32 个词元（token），即可有效改进模型的推理能力。UPFT 抓住了不同推理路径中共同的关键早期步骤，在降低计算开销的同时，实现了推理性能的提升。
大型语言模型在语言理解和生成方面表现出色，但提升其推理能力仍然是一项挑战。传统微调方法依赖大量标注数据或复杂的拒绝采样，资源消耗巨大。UPFT 则另辟蹊径，通过聚焦模型输出的初始 tokens，解决了效率和对昂贵监督的依赖问题。
研究发现，针对同一问题，模型生成的各种推理路径的初始步骤往往高度相似，UPFT 正是基于这种“前缀自洽性”，无需完整推理轨迹或大量标注数据，仅使用这些初始标记进行训练。
UPFT 采用贝叶斯推理原理，将正确推理的概率分解为“覆盖率”和“准确性”两部分。通过训练早期 tokens，UPFT 在探索多样化推理路径的同时，确保了结果的可靠性。实验表明，UPFT 可将训练中处理的 tokens 数量减少高达 95%，并显著降低时间和内存需求。
UPFT 在 GSM8K、MATH500、AIME2024 和 GPQA 等推理基准测试中表现优异。例如，在 Qwen2.5-Math-7B-Instruct 模型上，UPFT 在减少训练和推理 tokens 的同时，提升了平均准确率。在复杂推理任务中，UPFT 的性能提升尤为显著，表明早期推理步骤包含解决问题的关键信息。
IT之家附上参考地址
相关内容
热门资讯
盒马关闭上海三家X会员店 全国...
观点网讯：3月3日，盒马宣布将关闭位于上海的三家X会员店，包括高青店、大场店和东虹桥店，调整后全国仅...
《中国金融》｜外汇展业改革服务...
转自：中国金融杂志导读：国家外汇局上海市分局自觉将展业改革放在服务上海高水平对外开放、支持涉外经济高...
铜陵铜官区：奋力谱写现代化幸福...
2024年，铜陵市铜官区紧扣奋力挺进安徽省城区发展十强区目标，全力以赴稳增长、促改革、惠民生、保稳定...
济南暴雪刷新历年3月降雪纪录！...
刷新济南3月降雪纪录下了387个“大明湖”3月2日，记者从济南市气象台获悉，根据气象观测站网统计，3...
财报前瞻 | 节假日销售红利难...
智通财经APP获悉，塔吉特(TGT.US)将于3月4日公布四季度业绩。市场预期营收为308.5亿美元...
让走进博物馆成为一种生活方式
转自：中国妇女网全国人大代表、南京市博物总馆副馆长宋燕□ 中国妇女报全媒体记者 茹希佳春节一过，全国...
浙文影业涨2.17%，成交额4...
3月3日，浙文影业盘中上涨2.17%，截至11:08，报3.76元/股，成交4993.59万元，换手...
东阳光等成立智能技术新公司 含...
人民财讯3月3日电，企查查APP显示，近日，湖北光谷东智具身智能技术有限公司成立，法定代表人为周林，...
幼儿学“春耕”
农耕场主教小朋友们翻土 刘波 摄幼儿园老师教小朋友们播种 刘波 摄 2月27日，江苏省海安市一幼教...
自由现金流ETF为A股长线投资...
本报记者 田鹏 近日，首批两只自由现金流ETF——华夏国证自由现金流ETF和国泰现金流...
青岛港跌2.08%，成交额63...
3月3日，青岛港盘中下跌2.08%，截至11:06，报8.46元/股，成交6355.54万元，换手率...
梅州市科协主席李丹调研嘉应制药...
转自：嘉应制药梅州市科协主席李丹调研嘉应制药推动客家中医药发展2 月 28 日，梅州市科协主席李丹率...
小区垃圾清理不及时惹民忧相关回...
转自：安庆新闻网 近日，市民王先生向掌上安庆APP反映，龙井小区5号楼楼下的垃圾桶不仅摆放位置不合...
我国碳捕集技术亟须代际升级
Hehson财经ESG评级中心提供包括资讯、报告、培训、咨询等在内的14项ESG服务，助力上市公...
美财长回应通胀担忧：预计通胀率...
来源：中国新闻网 中新网3月3日电 (张乃月)据彭博社2日报道，美国财政部长贝森特预计，美国通胀率有...
徐福记被雀巢全资收购，创始人家...
3月3日，雀巢官网宣布，已与徐氏家族达成协议，收购徐福记剩余40%的股份。 早在2011年，雀...
奉俊昊执导、罗伯特·帕丁森主演...
中新网北京3月3日电 (记者 高凯)3月2日，由奥斯卡最佳导演奉俊昊执导、罗伯特·帕丁森主演的影片《...
英集芯涨2.01%，成交额1....
3月3日，英集芯盘中上涨2.01%，截至11:08，报20.29元/股，成交1.11亿元，换手率1....
中国工程院院士 刘合：大模型既...
转自：科创中国前段时间，网络上流传着一些由大模型生成的“异次元篇章”。比如，有人让大模型续写《红楼梦...
六氟磷酸锂板块走强 瑞泰新材涨...
03月03日消息，截止11:00，六氟磷酸锂板块走强，永太科技、石大胜华、深圳新星涨停，瑞泰新材...