题目

2.5D&3D视觉感知技术在室内机器人中的应用

视频链接

https://apposcmf8kb5033.pc.xiaoe-tech.com/detail/l_6145ba2de4b0b558b932032b/4

分享人

隋伟

地平线3D视觉资深算法工程师

中科院自动化所模式识别与智能系统博士，研究方向为3D视觉、三维重建及SLAM，参与完成了多个3D视觉产品研发和项目落地，拥有丰富的工程实践经验，积累和沉淀了大量的核心技术。

分享内容

1、室内自主机器人与汽车自动驾驶技术的关联

2、2.5D&3D视觉感知技术解析

3、机器人视觉感知对计算平台的要求及开发难点

4、机器人纯视觉方案的未来前景

内容

1、室内自主机器人与汽车自动驾驶技术的关联

• 共性：都是高复杂任务，涉及到物体识别、景深测距、高度检测、可行驶区域、定位监督等技术

• 区别：室内场景的难度不低于室外汽车驾驶

  • 光照变化复杂、弱纹理区域、环境杂乱、深度分布范围变化更明显
  • 安全容忍度更高

  2、2.5D&3D视觉感知技术解析

带置信度的有监督深度估计

• 低纹理区域的街道重建效果会更好
• 挑战：不同摄像头安装位置的泛化性，量产车和机器人需要将安装摄像头归一化到统一的位置
  

无监督深度估计

• 基于残差流对静止物体和运动物体分别建模，解决无监督中的运动物体问题
  • 残差流是物体运动引起的
  • 刚体流是相机运动引起的
    

环视摄像头深度估计

• 每个摄像头分别进行深度估计后拼接
  

高程网络

• 检测物体的高度，一般基于图像纹理的方式泛化性差，这里基于几何的方法来识别路面上高度不平的异物
  
• 理论基础是平面视差，基于平面对图像进行 warp，通过视频的前后帧得到地面的平面方程，对两幅相邻帧图像进行 warp，如果是平面上的物体能在单应性变换后对齐，有高度的物体会存在畸变，随着高度增加畸变程度变大，通过畸变程度判断物体高度
  
• 基于上述原理实现的网络
  

光流估计

• 光流定义
  

• UnDenseFlow 无监督光流估计，超过了 LK 光流估计的传统方法
• 应用：作为中间信息用于感知任务的性能提升，明显提升精度和泛化性
  

3D 检测

• 应用，3d 检测及测距任务、Dynamic cube slam
  • 高层次特征能够提升鲁棒性，体特征约束更强，但是更难提取，所以基于 3d 检测框的 cube 来做 slam

SLAM 前端

• 测试时在线更新用于提升精度
  
• 可以做到在 kitti 上训练，业务数据集上测试
  

3、机器人视觉感知对计算平台的要求及开发难点

高性能计算平台

• GPU：灵活
• FPGA：支持灵活 operator，但成本也高
• ASIC：地平线芯片都属于 ASIC

高效的 Backbone

• VargNet

多任务框架

• 共享 backbone，合并 2D 和 2.5 D、3D 任务
  
  
• 训练技巧比较重要，平衡不同任务间训练时会互相造成的影响

总结

• 纯视觉方案目前做到室外自动驾驶很难，室内很有机会