浙江大学：基于RGB-D图像的三维场景重建和物体识别

本文从理论和实验两方面，研究了基于 RGB-D 相机 Intel RealSense 的三维场景重建和物体识别，并根据项目背景，选择对于盲人出行影响较大的楼梯作为实验对象，验证算法在不同环境下的楼梯检出效果。 传统彩色相机的物体识别，通常是基于物体的色彩特征、边界特征进行识别，然而彩色图像中物体的特征受到外界影响较大，在不同的光线或者观察角度下，物体的形状和颜色都将发生不可预测的变化，从而使识别率降低。 利用 RGB-D 相机获取的图像同时结合了物体的彩色特征和深度信息，在丰富物体特征上有很大的优势。在本项目中，通过对楼梯结构的分析以及对人类识别楼梯方式的思考，在特征的选择上，根据楼梯具有阶梯性的特性，采用了基于深度变化直方图、TSDF、物体三维形状等特征作为匹配依据，对于检测结果，使用支持向量机进行分类，利用CAD建模构建的理想楼梯模型作为输入正样本，采集图片作为负样本，在一定程度上提高了检测的鲁棒性，同时通过多帧融合的方式提高了输入深度图的质量，验证了深度图多帧图像融合方法对于检出率的有效提高。