使用机械臂构建的mmNorm原型(上部),使用其他方法进行的粗略3D重建显示为蓝色(中间),mmNorm重建显示为紫色(右侧)。
在发货前,发现损坏的物品可以大大提高仓库机器人处理包裹的效率。 麻省理工学院研究人员开发了一种新型成像技术,可以让仓库中的质量控制机器人透过纸制包装箱,发现埋在包装泡沫下的损坏的物品。他们的方法是利用毫米波(mmWave)信号(与Wi-Fi中使用的信号类型相同),对被遮挡的物体进行精确的3D重建。 毫米波可以穿过常见的障碍物,例如塑料容器或内墙,并从隐藏的物体上反射回来。该系统名为mmNorm,它会收集这些反射信号,并将其输入到一种算法中,用于估算物体表面的形状。这种新方法对一系列具有复杂弯曲形状的日常物品的重建准确率达到了96%。而目前基准方法的准确率仅为78%。 此外,mmNorm无需额外带宽即可实现如此高的准确率。这种高效性使得该方法能够广泛应用于从工厂到辅助生活设施等各种环境。例如,mmNorm可以让工厂或家中工作的机器人区分抽屉里隐藏的工具并识别其手柄,从而更有效地抓取和操纵物体,且不会造成损坏。 “我们对这个问题感兴趣已经有一段时间了,但却一直碰壁,因为过去的方法虽然在数学上很容易实现,但却无法达到我们想要的效果。我们需要找到一种与半个多世纪以来一直使用的方法截然不同的方法来利用这些信号,以解锁新的应用类型。”麻省理工学院电子工程与计算机科学系副教授、媒体实验室信号动力学小组主任、mmNorm论文的资深作者Fadel Adib说道。关于反射的思考 传统的雷达技术发送毫米波信号并接收来自环境的反射,以探测隐藏或远处的物体,这种技术被称为反向投影。这种方法对于大型物体(例如被云层遮挡的飞机)效果很好,但对于机器人可能需要识别的小物件(例如厨房用具)来说,图像分辨率太低。 在研究这个问题的过程中,麻省理工学院的研究人员意识到,现有的反向投影技术忽略了一个重要的特性,即镜面反射。当雷达系统发射毫米波时,几乎所有被波击中的表面都会像镜子一样,产生镜面反射。 如果一个物体表面朝向天线,信号会从物体反射到天线;但如果该表面朝向其他方向,反射信号就会远离雷达,无法被接收。研究人员的想法是利用镜面反射,不仅要估计环境中反射的位置,还要估计该点表面的方向。 他们开发了mmNorm来估计所谓的表面法线(即表面在空间中特定点的方向),并利用这些估计值重建该点表面的曲率。mmNorm结合空间中每个点的表面法线估计值,使用一种特殊的数学公式来重建3D物体。 研究人员将雷达连接到机械臂上,创建了一个mmNorm原型,机械臂在围绕隐藏物体移动时会持续进行测量。该系统会比较在不同位置接收到的信号强度,以估计物体表面的曲率。例如,天线会从直接指向它的表面接收最强的反射,而从不直接面向天线的表面接收较弱的信号。 由于雷达上的多个天线会接收一定量的反射,因此每个天线都会根据其接收到的信号强度对表面法线的方向进行“反馈”。有些天线的“反馈”可能非常强,有些天线的“反馈”可能非常弱,研究人员将所有“反馈”合并在一起,生成一个所有天线位置都一致的表面法线。 此外,由于mmNorm会从空间中的所有点估计表面法线,因此它可以生成许多可能的表面。为了找到正确的表面,研究人员借鉴了计算机图形学的技术,创建了一个3D函数,可以选出最能代表接收到的信号的表面。他们利用这个函数生成最终的3D重建图像。更精细的细节 团队测试了mmNorm重建60多个形状复杂的物体的能力,例如马克杯的手柄和曲线。与最先进的方法相比,mmNorm的重建误差降低了约40%,同时还能更准确地估算物体的位置。 他们的新技术还可以区分多个物体,例如藏在同一个盒子里的叉子、刀子和勺子。对于由木材、金属、塑料、橡胶、玻璃以及多种材料组合制成的物体,该技术也表现良好,但对于隐藏在金属或非常厚的墙壁后面的物体则效果不佳。 定性结果不言而喻。而且,这些改进使得开发使用这些高分辨率3D重建技术执行新任务的应用程序变得更加容易。例如,机器人可以区分盒子里的多个工具,确定锤子手柄的精确形状和位置,然后计划如何拾取并使用它执行任务。mmNorm还可以与增强现实头显结合使用,使工厂工人能够看到完全遮挡物体的逼真图像。 它还可以融入现有的安防应用,在机场安检扫描仪或军事侦察中对隐藏物体进行更精确的重建。 研究人员希望在未来的工作中探索现有功能以及其他潜在的应用。他们还希望提高该技术的分辨率,增强其对反射率较低的物体的性能,并使毫米波能够有效地穿透更厚的遮挡物进行成像。 (麻省)