基于条件随机场图像语义分割

《基于条件随机场图像语义分割》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于条件随机场图像语义分割摘要：本文研究了一种基于CRF的判别模型来学习不同类别标签的后验条件概率分布，并通过最大化该后验概率来得到最佳标签。CRF能量函数纹理模块利用形状滤波器来描述图像的底层纹理特征以及基于周围像素纹理特征的上下文信息；采用Joint-boosting算法迭代构造一个强分类器对图像进行初步的标注。在MRSC21-objectclass数据集上进行实验来评估我们建立的模型的性能。实验结果表明，该模型基于像素点的分割精度能达到71.6%，在识别准确率以及分割效果方面，具有较强的竞争力。关

2、键词：语义分割；条件随机场；分段训练中图分类号：TP391.1文献标识码：A文章编号：1007-9599(2012)09-0000-03一、引言近些年，关于对象识别与分割的领域相当活跃。CRF模型是一种基于无向图的概率模型，用来对序列数据进行标记，具有很强的概率推理能力。与经典的马尔可夫随机场模型（MRF）相比，CRF模型主要有两个优点：第一，对观测序列没有独立性要求；第二，能对长间隔序列的复杂上下文关系进行描述。因此在本文中我们使用CRF模型来解决多类对象的识别与分割问题。我们的实验是在MSRC21-

3、object9class数据集上完成的。该数据集由分属于21类对象（包括：建筑物、草地、树、牛、羊、天空、花、标志、鸟、书、椅子、路、猫、狗等）的591张图像组成。我们在数据库随机地选取45%的图像作为训练集，10%的图像作为验证集，10%的图像作为测试集。二、基于条件随机场的多特征模型给定一幅图像，我们使用CRF模型来学习类别标签的条件分布。使用CRF我们能将形状、纹理、颜色、位置和边缘信息结合在整个的模型里。为了计算方便，我们对公式两边同时取对数：其中表示纹理模块，表示颜色模块，表示位置模块，表示边

4、缘模块，是对应于各部分的参数集。（一）模块描述与参数训练该模型综合考虑纹理、边缘、颜色、位置四个特征，采用分段训练[11]的方法对模型中各模块的参数进行单独的学习，我们通过为各个模块设置固定的权值来减轻各模块组合构成整个模型时出现的过拟合的问题。在本文中，我们为位置和颜色模块增加了权值参数，并且对它们分别进行优化。1.纹理模块9在本文中，纹理特征使用一种新颖的描述方法——形状滤波器来描述像素点的底层纹理特征以及周围像素点的基于纹理上下文信息，并对基于该特征的多个弱分类器通过Joint-boosting算

5、法得到一个强分类器。纹理模块作为单独的一元模块进行处理。纹理模块的特征函数描述如下：其中参数集的定义以及学习过程在第三节将会有详细描述。2.边缘模块在本文中，我们使用Potts模型来对边缘特征建模。边缘模块的函数表达为：其中，是边缘特征的特征函数，用来描述相邻像素间颜色值的差异。通过在整数集中人工将两个相关参数进行比对并选择的方法，以使在验证集上的错误率尽可能低来获得，在本实验中，取。3.颜色模块在本文中，使用混合高斯模型（HMM）对颜色特征进行建模，采用EM算法将图像中颜色特征近似的像素点聚类为个高斯

6、部分。像素点的颜色特征的条件概率由下式给出：其中，是用来表示像素点所属高斯部分的随机变量，与Σk分别是第个高斯部分的均值与方差。颜色模块的函数表达形式为：其中，参数表示第个高斯部分属于标记为类别的概率分布；表示像素点属于第个高斯部分的概率分布。9由于我们需要对每张图像的颜色模块的参数分别进行学习，每张图像对应得到的参数都是互不影响的，因此颜色模块参数的学习工作不需要在训练集上完成。在测试时，使用条件迭代模式（ICM）对每幅图像的颜色模块参数迭代地进行学习。首先给定出一个初始的类别标签，然后颜色参数使用下

7、式进行更新。参数被重新设定后，会推断出新的类别标签，并反复迭代这个过程。需要说明的是，为了避免过拟合的发生，我们对颜色模块参数和位置模块参数进行狄利克雷平滑。在实验中，经过2次迭代得到。其中，对颜色特征进行高斯混合建模时，通过比对，我们设置高斯部分的数目K=15；设置公式中狄利克雷平滑项=0.1，权值项=3。4.位置模块在本文中，我们使用位置特征来描述类别标签对像素绝对位置的弱依赖关系，不同类别的对象在图像中的绝对位置信息用位置特征来表示。位置模块的函数表达形式为：其中，是像素点在归一化图像中的位置，由

8、于我们采用相同尺寸大小的图像集来进行实验，因此，即图像中像素点的绝对位置。参数表示在归一化位置处的各类别标签的概率分布。对位置模块参数的学习，我们采用统计的方法来得到：9其中，为训练集里所有图像中在位置处且类别标签为的像素点的数目；为训练集里所有图像中在位置处的像素点的数目；同样的，通过手动比对，我们设置狄利克雷平滑项=1，权值项=0.1。（二）使用CRF模型进行推理使用CRF模型对参数集进行学习后，我们通过最大化条件概率来得到各像素的最佳