近日,上海人工智能实验室联合复旦大学等机构,成功研发了新一代裸眼3D显示系统书生·瞳真EyeReal。国际顶级学术期刊《自然》(Nature)正刊发表该成果相关论文,并评价其为“光学信息运用的全新范式”。
通过AI深度学习算法进行实时计算,EyeReal将有限的显示资源,精确地传递至观看者的双眼,从而实现裸眼3D,并大幅提升观看体验。完全兼容消费级液晶面板,无需复杂的光学元件或特制硬件,首次实现了在桌面级显示尺寸内,超过100度超宽视场角、包含全部视差类型(水平、垂直、径向、连续与焦点)的实时三维显示。
显示尺寸和可视角度
难以兼顾
人类生活在三维世界中,也一直在探索将数字世界三维化。当前,虚拟现实(VR)技术虽能构建立体视觉效果,却需以头部佩戴的物理束缚为代价。
相比之下,更贴合人类感知习惯的技术形态是裸眼3D:无需借助任何外接设备,通过双眼就能从屏幕中获得如“真实窗口”般的沉浸式体验。
要实现这一目标,显示器必须要重构一个物体的完整光场,即模拟其向所有方向发出的光线。但这在现实中几乎不可能实现,因为重构完整光场需要海量光信息作为支撑,其规模堪比天文数字,而现代光学显示系统的信息传输能力,即“信息预算”,却存在着极大的局限性。
在预算有限的情况下,传统技术陷入了“拆东墙补西墙”的困境中——代表路线之一的数字全息显示,虽然能提供极高的视角和画质,但不得不将显示尺寸极致压缩,往往仅有指甲盖大小;另一种代表路线多视图自动立体显示,虽然能做大尺寸,但只能将有限的信息“被动广播”到空间中的预设方向。尽管这些路线的工作不断被优化,但只要遵循“被动光场调制”的传统路径,就无法跳出这一物理定律的制约,这种信息浪费,带来了显示尺寸和可视角度之间的严重制约。
AI主动精准组合信息
另辟蹊径
联合科研团队另辟蹊径,给出了一种全新的解决思路:与其被动浪费信息,不如用AI计算主动管理信息。EyeReal系统采取“光场生成建模+神经网络解码”的融合式技术路线,既遵循客观规律,又结合人工智能高效计算优势,从而实现实时、高质量的三维图像重建。
光场生成建模阶段,EyeReal通过传感器采集到的关键点信息定位观察者眼位,构建“人眼—光场”坐标系——在屏幕与观看者双眼之间建立精确的几何模型;神经网络解码阶段,科研团队设计了专用的轻量化卷积神经网络(CNN),实现在0.02秒内快速计算出如何通过多层液晶屏的像素排列组合,在空间中精准发射出仅针对当前观察者双眼位置的“最优光场”。
这一“最优光场”的筛选过程,若采用传统算法,必然面临计算量指数级激增的技术困境。而AI凭借强大的非线性拟合与智能推理能力,成功将这一高复杂度计算过程提速至实时响应水平。AI算法已不再是简单的图像插值工具,而是成为光学显示系统的“智能大脑”,通过对光线传播路径的主动调度与精准把控,让每一份“信息预算”都实现效能最大化。
挑战三维化视觉呈现
论文亮相
这篇论文的独立第一作者马炜杰,今年才26岁。在他硕士学业结束后,就加入到上海人工智能实验室、复旦大学和上海创智学院的联合培养专项学习,师从上海人工智能实验室领军科学家、复旦大学计算与智能创新学院校外合作导师、香港中文大学教授欧阳万里和上海人工智能实验室研究员钟翰森。
彼时,研究量子物理出身的钟翰森萌生出将AI技术赋能到同样与光学有关的裸眼3D显示领域的想法。而马炜杰对三维计算机视觉有一定的研究基础与思考,同时对于三维化视觉呈现非常感兴趣,有志于探索该领域的挑战,两人一拍即合。进组后一年间,马炜杰几乎每日泡在实验室,可以说是“隐入尘烟”。
收到论文拟接收的邮件时,马炜杰给家人打电话时哭了很久……对于项目未来,马炜杰希望以裸眼3D技术的研究为起点,打造一个沉浸式、可交互兼具的3D内容输出窗口,应用于数字娱乐和智慧教育、医疗等领域。
本报记者 郜阳 张炯强