格隆汇2月28日|据全天候科技,今日在2025玄铁RISC-V生态大会上,北京开源芯片研究院首席科学家包云岗指出,AI推理产生巨大的算力需求,AI推理的算力需求将呈现两个特征:
一个是与CPU紧密协作。Al推理将会成为未来各种业务中不可或缺的环节,但业务主程序仍运行在CPU上–通过API调用将AI推理请求卸载到AI加速器,得到推理结果后再由CPU返回给用户;
二是呈现多样化需求。不同场景产生不同的算力需求,相应的资源约束也不同。比如云端推理算力要考虑满血版大模型的高效部署,端侧应用场景则往往会部署不同容量的裁剪版。