边缘AI国产新突破,小设备也能“跑”百亿级参数大模型
创始人
2025-06-11 18:46:53

转自:北京日报客户端

在数智化转型加速演进的浪潮中,算力自主可控逐渐成为产业发展的核心命题。记者6月11日从爱簿智能获悉,该团队近期研制出面向边缘场景的E300 AI计算模组并推向市场。

据悉,该成果实现了50TOPS(每秒50万亿次整数运算)的国产算力突破,无需庞大、昂贵的服务器,能将320亿参数(简称“32B”)大模型轻量化地部署在本地(大模型本地部署,通常指将大模型装在本地的设备上,不用联网、不依靠远程服务器),解决了边缘AI场景中算力不足和延迟高的问题,有望加速AI为教育、能源、医疗、金融、交通等数字经济重点行业智能化转型赋能的进程。

所谓边缘AI,通俗理解就是让智能设备在数据产生的地方直接处理信息、做决策,而不是把数据传到遥远的云端计算后再返回结果的AI应用场合。比如说,在自动驾驶、医疗监测、工厂质检、智能家居等各种场景中,边缘AI就如同给每个终端智能设备装了微型大脑,让其产生的数据无需往返“跑”云端,而是能即时完成智能化处理和决策。

技术人员介绍,E300搭载了自研的国产AI SoC芯片AB100,并通过创新的模块化系统设计,将强大的算力浓缩于不到10厘米见方的模组中,而以往要实现同等算力,模组体积至少要达到其数倍。“小巧的模组意味着可以更容易地部署在各种边缘设备上,比如摄像头、传感器等,这些设备往往空间有限。”上述技术人员说,边缘设备往往还对功耗、散热要求以及成本控制有较高要求,而E300能够较好地解决这些痛点。

据了解,E300支持DeepSeek、Qwen、Llama等主流开源大模型的大模型边缘推理,最高能够将320亿参数的大语言模型部署在本地,并支持上百种视觉模型的推理,通过将数据本地处理与私有化部署来保护数据隐私与系统安全,从而满足工业、能源、水利、气象、政务、教育等关键领域对高安全性、高可靠性AI应用的要求。

来源:北京日报客户端

相关内容

热门资讯

今年我省粮食产量达515.56... (来源:辽宁日报)转自:辽宁日报 图为在中储粮(盘锦)储运有限公司,装运粮食的重型卡车排起长队...
国家发展改革委部署促进投资止跌... (来源:辽宁日报)转自:辽宁日报 新华社北京12月13日电 (记者魏玉坤) 记者13日从全国发展和改...
江苏省实施《中华人民共和国森林... (来源:新华日报) 目 录 第一章 总则 第二章 森林、林木和林地权属管理...
姜堰数字化产品讲“活”理论 (来源:新华日报) □ 本报记者 卢佳乐 通讯员 姜宣 “王教授,您约我‘喝茶论道’,...
联合国维和部队在苏丹遇袭 6人... 转自:财联社【联合国维和部队在苏丹遇袭 6人死亡】财联社12月14日电,当地时间13日,苏丹武装部队...