基于深度堆叠卷积神经网络的图像融合

《基于深度堆叠卷积神经网络的图像融合》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、基于深度堆叠卷积神经网络的图像融合蔺素珍韩泽中北大学计算机与控制工程学院该文针对多尺度变换融合图像中普遍存在的需要依据先验知识选取滤波器，导致融合效果存在不确定性的问题，提出了基于深度堆叠卷积神经网络的融合方法.首先，分别以高斯拉普拉斯滤波器和高斯滤波器为首层网络的初始卷积核，将源图像分解为高频和低频图像序列;其次，基于HeK方法初始化其余层卷积核，获得与源图像尺寸相同的高频和低频重构图像各一幅，并将二者合成源图像的近似图像;再以源图像和近似图像像素值之差的平方和的均值为误差函数，进行反向传播训练形成基本神经单元;之后，将多个基本单元堆叠起来利用end-to-end的方式调

2、整整个网络得到深度堆叠神经网络.然后，利用该堆叠网络分别分解测试图像对，得到各自的高频和低频图像，再基于局部方差取大和区域匹配度合并的规则分别融合高频和低频图像，并将高频融合图像和低频融合图像放回最后一层网络，得到最终的融合图像.实验结果表明：与基f双树复小波变换(Dual-TreeComplexWaveletTransform,DTCWT)、非下采样轮廓波变换(Non-SubsampledContourletTransform,NSCT)和非卜采样剪切波变换(Non-SubsamplcdShcarlctTransform,NSST)的融合结果相比，用高斯拉普拉斯滤波器和高

3、斯滤波器初始化的深度堆叠卷积神经网络融合效果主观效果好，客观指标最优个数为NSCT的3.3倍，运行时间为NSCT的30.3%和NSST的11.6%.关键词：图像融合;深度学习；卷积神经网络;堆叠自动编码;滤波器;(1)获得方法如下:式中，表示卷积操作，f为激活函数，％为第i个卷积核，i={l,2,…，nJ,rn为Hl层特征映射图的个数，叫表示偏置.冋理可得L1层特征映射图Iu.(2)H2层特征映射图1„2获得方法如下：式中，1,12为1,12的第j(j={l,2,n2})个结果，〜为142层特征映射图的个数，e」表示第j个偏置.同理可得到L2层特征映射图⑶用T„2替代式(2

4、)中的TH1即可得到高频图像T„3.同理可得低频图像1.(4)高频图像Ill3和低频图像lua再经过卷积得到重构图像y.3.2.2DSCNN的训练DSCNN的训练包括基本单元训练和堆叠网络训练.(1)基本单元训练(1)X层到H1层的卷积核初始化为高斯拉普拉斯滤波器，X层到L1层的卷积核初始化为高斯滤波器.其余卷积核使用HeK方法［18］初始化.将网络所有的偏置初始化为0.(2)釆用无监督方式训练基木单元，输入训练数据{xs,ys}s=1,其中ys=xs,设网络的输出为zs,由于常用的平方差作为目标函数会导致损失计算结果过大，影响网络的稳定性，因此定义目标函数：式中，W表示卷

5、积核，0表示偏置，N表示训练集的大小，s表示当前训练样木，m和n为单幅图像的尺汴，^、.表示当前样本输出结果一个点的值，该式将总误差平均到每个像素点后值较小，便于训练.然后通过反向传播算法对网络进行训练.(2)堆叠网络训练将多个训练好的基木单元首尾相接组成堆叠网络.再用和基木单元相同的数据集和S标函数采用end-to-end的方式同时调整整个网络，最终得到堆叠卷积神经网络.DSCNN经过上述训练后可以将图像分解为高频和低频图像并在误差允许的范围内重构，图6为堆叠数为3时的DSCNN过程示意图.其中，实际卷积核大小为5X5，为便于观察，图6(a)和(b)分别给出高频子网和低频

6、子网首层网络4个卷积核放大10倍的可视化结果，5幅图像中第1幅为卷积核的初始状态(4个卷积核相同)，其余4幅为训练结束时4个卷积核的状态；图6(c)、(d)分别是输入Lena阁像时阁6(a)和(b)对应的操作结果.图6堆叠个数为3的DSCNN的分解图3.3基于DSCNN融合图像基于DSCNN融合图像的网络结构如图7所示，过程具体如下:(1)输入源图像A和B,经己训练好的DSCNN得到高频图像A„3、B„3和低频图像(1)融合高频图像图像的高频信息主耍与边缘轮廓等灰度突变之处相对应.为了选取更“亮”的像素点构成边缘，多数研究都采用对应系数取大的高频融合规则.由于人眼对局部信息

7、更为敏感，所以，依据局部参量确定融合规则更符合人的视觉特性.而衡量局部信息丰富程度的常见指标有局部方差、局部熵、局部粗糙度等，其值越大说明局部信息越丰富.其中，局部方差最为简单常用，其值越大说明该区域内目标的边缘、细节越丰富，因此选择局部方差取大作为融合准则：式中，o(x，y)表示点(x，y)的局部方差.(2)融合低频阁像常见的低频融合规则有基于灰度值或局部参量的加权平均、取大等.考虑到局部能量可以反应目标的局部显著程度，其值越大，目标越突出；而局部匹配度可衡量待融合图像的局部相似水平，所以，结合二者可自适应确定权