【立体匹配论文阅读】Pyramid Stereo Matching Network
创始人
2024-05-30 04:06:00
0

Authors: Jia-Ren Chang, Yong-Sheng Chen
Link: https://arxiv.org/abs/1803.08669
Years: 2018

Credit

请添加图片描述

Novelty and Question set up

本文提出之时,基于深度学习的立体匹配主流方式仍是patch-based孪生结构,这种方式缺乏上下文信息的获取能力,为了解决这个问题,作者提出了PSMnet,主要通过SPP和3D CNN模块来进行上下文信息的学习。其中SPP(空间金字塔池化)结构利用全局多尺度信息来捕获上下文,而3DCNN则是利用多个hourglass结构来实现更优化的cost volume正则。本文主要贡献:
  • 提出一个端对端框架直接获得视差图,并且不需要任何后处理
  • 提出利用SPP来捕获图像上下文信息
  • 提出利用3D Conv的stacked hourglass来进一步获得上下文线索以实现更优的cost volume正则

Solutions and Details

  • 总体结构
    请添加图片描述

    整体网络结构分4个stage:

    1. CNN:用于提取图像特征,PSMNet在最末几个block采用了dilation来扩大感受野
      请添加图片描述
    2. SPP:用于聚合上下文信息
      请添加图片描述
    3. Cost Volume:构建左右图特征的匹配代价,采用特征concatenate策略
      请添加图片描述
    4. Regularization:采用3个hourglass对代价体进行正则化,每个hourglass block都会输出一个预测视差图,训练阶段会对三个视差图进行加权平均,而推理时只采用最后一层输出的视差图
      请添加图片描述
  • 视差回归

    沿用GC-Net的soft argmin策略,对所有视差level进行一个可差分的回归估计

    d^=∑d=0Dmaxd×σ(−cd)\hat{d} = \sum_{d=0}^{D_{max}}d\times{\sigma{(-c_{d}})} d^=d=0∑Dmax​​d×σ(−cd​)

  • 损失函数

    采用SmoothL1作为损失函数,对ground truth视差图和预测视差计算平均误差

    L(d,d^)=1N∑i=1NsmoothL1(di−d^i)L(d,\hat{d})=\frac{1}{N}\sum_{i=1}^{N}smooth_{L1}(d_i-\hat{d}_i) L(d,d^)=N1​i=1∑N​smoothL1​(di​−d^i​)

Results

  • 在Sceneflow和KITTI-2012/2015上进行实验,最大视差设置为192,对于KITTI数据集,由于数据量太少,采用在Sceneflow上预训练的模型进行finetune请添加图片描述
  • 在KITTI和Sceneflow上进行消融实验,验证dliated conv、SPP、stacked hourglass对精度的影响,结果显示三者都用对精度提升帮助比较大;另外在KITTI上进行loss的权重选取对比,0.5\0.7\1.0的组合效果最佳请添加图片描述
  • 在KITTI2015上与其他SOTA的表现对比,除了前景区域,其余精度指标上表现都比其他SOTA要好请添加图片描述
  • 在Sceneflow数据集上与其他SOTA比较,EPE指标上明显好于其他模型,比GC-Net误差明显要低很多请添加图片描述
  • 在KITTI2012上与其他模型比较,所有指标均达到SOTA水平
    请添加图片描述

Thoughts

  • PSMNet采用SPP,不仅突破了模型对分辨率,也增强了立体匹配必需的上下文信息聚合的能力
  • 采用stacked hourglass增强了代价正则的效果,但因为用了3D卷积,这个stage算力要求非常高,并且stacked hourglass会产生大量的feature map缓存,内存开销也不小
  • PSMNet的创新点基本都在模型结构上,范式基本还是沿用GC-Net,其他方面没有太多亮点

相关内容

热门资讯

科创100ETF(588190... 7月7日,截止午间收盘,科创100ETF(588190)跌0.30%,报1.002元,成交额3449...
芯片50ETF(159560)... 7月7日,截止午间收盘,芯片50ETF(159560)跌0.26%,报1.158元,成交额87.78...
午评:创业板指跌1.25% 跨... 转自:证券时报人民财讯7月7日电,A股三大指数早盘震荡调整,创业板指偏弱,截至午间收盘,上证指数跌0...
第二届敦煌文献与多民族交往交流...  中国甘肃网7月7日讯(西北角·中国甘肃网记者 孙珩力)7月4日至6日,由西北民族大学主办的第二届敦...
铭记!自强! 从1931年到1945年,中国人民经过长达14年艰苦卓绝的浴血奋战,打败了穷凶极恶的日本军国主义侵略...
2025中国软件供应链安全报告...   炒股就看金麒麟分析师研报,权威,专业,及时,全面,助您挖掘潜力主题机会! 近日,奇安信代码安...
徐顾承:全球贸易战火重燃 黄金... 7月7日,当地时间7月4日,美国政坛与贸易领域风波不断。特朗普宣称,美政府当日将向贸易伙伴发函,设定...
海思科(002653.SZ)2... 海思科(002653.SZ)发布公告,公司于2025年7月4日晚间收到深圳证券交易所(简称“深交所”...
产业 | 西方金属冶炼业面临生... (转自:要钢网)外媒7月5日消息:全球供应链正因中国稀土出口管制而震荡,但更大的危机正在金属冶炼领域...
珠免集团换帅完成工商变更 李向... 观点网讯:近日,珠免集团(维权)发生工商变更,郭凌勇卸任法定代表人、董事长,由李向东接任。珠海珠免集...