苹果推出Ferret-UI Lite端侧AI模型:3B参数看懂复杂屏幕
创始人
2026-02-21 07:58:23

  炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会!

(来源:IT之家)

IT之家 2 月 21 日消息,苹果研究团队在最新论文中,推出展示 Ferret-UI Lite 端侧 AI 模型,仅有 30 亿(3B)参数,却在性能上匹配甚至超越了体积大 24 倍的大型模型。

IT之家注:Ferret-UI Lite 是专为移动设备打造的多模态大语言模型(MLLM),参数量仅为 30 亿(3B),属于典型的“轻量级”模型,可以在算力有限的手机端,精准理解与操作复杂图形用户界面(UI)。

不过在多项基准测试中,Ferret-UI Lite 的性能不仅追平,甚至超越了参数量高达其 24 倍的大型服务器端模型。

在核心技术方面,通用大模型往往难以看清手机屏幕上微小的图标和文本,而 Ferret-UI Lite 通过引入“推理时裁剪(Inference-time Cropping)”技术解决了这一痛点。

模型在处理任务时,会先进行一次粗略预测,然后智能地“剪切”并放大相关区域,就像人眼凑近观察细节一样,再次进行精准识别。这种策略让小模型无需处理海量图像数据,也能捕捉到界面中的关键信息,从而更好理解屏幕元素。

在训练方面,研究团队为了解决高质量训练数据匮乏的问题,构建了一套合成数据生成系统。该系统包含“任务生成器”、“规划器”、“执行者”和“批评者”四个角色,让 AI 在模拟环境中不断尝试操作、犯错并自我修正。

这种机制不仅生成了海量训练样本,还让模型学会了如何应对现实操作中的错误与意外情况(如点击无反应或弹出干扰窗口),其效果远优于单纯依赖人工标注的清洁数据。

测试结果显示,该模型在执行短流程、基础 UI 操作时表现优异,但在处理复杂的多步长任务时仍有提升空间。

最重要的是,Ferret-UI Lite 能够完全在本地运行,无需将屏幕截图上传至云端服务器,这在赋予手机“自动操作 App”能力的同时,最大程度地保障了用户隐私。

IT之家附上参考地址

相关内容

热门资讯

日本民众举行“抗议高市”集会,...   10日晚间,约2.7万名日本民众聚集在东京的国会议事堂周边,手持彩色荧光棒举行名为“国会前行动:...
AI眼中的世界杯8强:14个模...   世界杯进入最后冲刺阶段,冠军争夺已经进入白热化。而在球场之外,另一场“比赛”也迎来关键阶段如今,...
中国石化宣布完成对中国航油的重... (来源:长江日报)记者从中国石化新闻办获悉,中国石化宣布完成对中国航油的重组工作,中国航油正式成为中...
史诗级回收!科技股行情是撤退还... 周五的行情体会就三个字——挫败感。见证航天事业重大突破的同时,也承受着账户缩水的现实。这是资金转移到...
4100亿跌到1000亿,Mi... 解禁期将至,MiniMax再迎大考。文|金玙璠编辑|魏佳来源|定焦One(ID:dingjiaoon...