基于深度学习算法和传统立体匹配算法的双目立体视觉

在开始之前，我相信很多站友都会有这个疑问，所以我想先在这里做一下简要的介绍，以方便大家快速地了解这个项目。我们知道，人类通过眼睛感知世界、获取信息。人类获取信息的方式有很多 种，可通过眼睛、耳朵、触觉、嗅觉、味觉等，但我们接受到的绝大部分信息都是通过视觉的方式获取到的。由此可见，视觉系统在人类的生存、生产、发展中起到了极其重要的作用。随着计算机技术、智能机器人等的广泛研究与应用，不少科学家尝试将人类视觉系统功能赋予机器。让机器获取与人类一般的视觉能力，是许多科研工作者长期以来的追求。目前，虽然还不能够使机器获得与人类一模一样的视觉感知能力与认知能力，但自上世纪中叶以来，各种视觉技术理论与图像处理技术得到了飞速的发展，我们正朝着这一目标不断前进。

立体视觉原理示意图如下图所示，右眼能看到被视物体的右侧，左眼能看到被视物体的左侧，左右眼视网膜上形成２副存在视差的图像，经大脑融合处理后，大脑根据视差判断物体的空间位置关系，使人产生立体视觉。

在机器视觉中，以仿生学原理获取视差图像，人类立体视觉获取的视差以角度表示，计算机获取的视差大小则以２ 副图像之间的像素坐标差值表示。机器视觉中，需通过3Ｄ显示设备呈现立体景象，根据物体远近表现的视差，分为正视差、负视差和零视差，并以此形成立体感。

左右视图即来自于左右眼睛或摄像头的图像，我们网路的训练用到的左右视图是来自Middlebury数据库中供立体匹配算法研究的一组参考图像。

我们采用了基于全卷积神经网络的立体匹配，利用大量的图像对与真实视差图像进行训练，学习图像对到视差图的直接映射。视差平滑假设，然后解决一个优化问题。卷积神经网络可以进行端到端的学习，立体匹配则要求进行像素级别的视差计算，一般的卷积神经网络的无结构输出结果无法满足要求。我们通过全卷积神经网络可以对任意尺寸的图像进行输入，进行端到端的学习，进行像素级别的预测，全卷积网络结构采用双塔式网络结构，去掉全连接层，输入为同一场景对应的两张的图像，输出为视差图。

我们使用全卷积神经网络进行光流预测，基于全卷积神经网络的立体匹配网络结构采用如图所示，整个网络采用双塔式网络结构。因为双目立体匹配输入为两张图像，此网络输入具有两个分支，输入分别为参考图像r与匹配图像m，r与m是同一场景不同视角的两幅图像，再分别经过三层卷积（具体层数可以进一步调节）与池化层变换进行特征提取，再把两个分支的特征图首尾相接进行聚合，形成双塔式结构。把聚合的特征图继续执行卷积与池化操作，进行更高层次的抽象语义特征提取，最后结合高层的语义信息与低层的位置信息进行提炼(refinement )，既可以获取语义信息，又可以保持更好的空间结构，获取更加精准的预测，符合人脑生物特性，通过这个双塔式全卷机神经网络，进行像素级别的预测，可以直接进行图像对到视差图的映射。

Census 变换在实际场景中,造成亮度差异的原因有很多,如由于左右摄像机不同的视角接受到的光强不一致,摄像机增益、电平可能存在差异,以及图像采集不同通道的噪声不同等，cencus方法保留了窗口中像素的位置特征,并且对亮度偏差较为鲁棒,简单讲就是能够减少光照差异引起的误匹配。

我们深度学习算法的实验结果的最终误差率只有7.25%！！！

以下是我们深度学习算法最终的实验结果：

传统立体算法源码截图

1、DP算法

2、Census算法

3、SAD算法

巨人的肩膀

[1]  张克兵.基于双目视觉的特征目标三维信息构建[D].哈尔滨：哈尔滨工业大学，2012.

[2] 马颂德，张正友．计算机视觉－计算理论与算法基础[M].北京：科学出版社，2003：1-21．

[3] 陈拓.基于卷积神经网络的立体匹配技术研究[D].浙江：浙江大学，2017.

[4] 戴杰.基于深度学习的立体匹配研究[D].北京：北京邮电大学，2016.

[5] 刘云海，白鹏.一种基于卷积神经网络的双目立体匹配方法：中国，105956597A[P].2016.

[6] Haeusler R, Nair R, Kondermann D. Ensemble learning for confidence measuresin stereo vision[C]//2013 IEEE Conference on Computer Vision and PatternRecognition (CVPR). IEEE ComputerSociety, 2013：5695-5703.

[7] Lecun Y, Boser B, Denker JS,et al. Backpropagation applied to handwrittenZip code recognition[J]. NeuralComputation, 1989, 1(4):541-551.

[8] 赵茏菲. 双目立体视觉中局部立体匹配算法研究[D].河北：河北大学，2015.