基于颜色与梯度布尔特征融合的图像显著性检测

本文根据 Gestalt 图像原则布尔图理论,提出融合颜色梯度二值特征的布尔图显著性检测模型。

论文:基于颜色与梯度布尔特征融合的图像显著性检测


布尔特征图将视觉场景分为两块互补的分区空间:被选中和不被选择的区域。
特征可以选择显示范围内所有的特征维度,如颜色值、方向值。

梯度指图像颜色变化的梯度。

BMCG

步骤:

  1. 对给定图 I , 通过随机阈值化颜色和梯度特征通道,得到颜色布尔图和梯度布尔图 B
  2. 基于 Gestalt 前背景分离原则,计算每幅布尔图的视觉注意图 A
  3. 将颜色和梯度特征视觉注意图融合,得到显著性图 S

生成颜色和梯度特征布尔图

用不同的阈值的横切面对其进行切割并阈值化,得到一系列映射到特定特征维度上的布尔图。

反推过来,通过某维度上多个特征布尔图的叠加,将不同布尔图层的显著性特征属性融合,检测处显著性目标。

根据特征通道的先验分布设置阈值,生成特征布尔图

Bcolori=Thresh(C(I),θ),CpC,θpθBgraphi=Thresh(G(I),φ),GpG,φpφ

C(I)G(I) 分别为颜色和梯度通道特征图;阈值 θφ[0,255] 上的均匀分布; pCpGpθpφ 分别是 C(I)G(I)θφ 的先验分布。

颜色布尔图:

使用 CIE Lab 颜色空间表示图像,且将颜色空间上的值归一化到 [0,255]

使用固定步长采样得到颜色布尔图 C(I)={Bcolor1,Bcolor2,..Bcolorn}

梯度布尔图:

弥补颜色对像素方向、大小变化不敏感造成的显著性下降

在 RGB 颜色空间使用 [1,0,1] 掩膜计算像素 x 和 y 方向上的梯度 gxgy ,合并各个颜色通道的梯度形成梯度特征图 G(x,y)=dxi+dyi=min 。通过 \varphi 阈值化形成一组梯度布尔值

接着对 C(I)G(I) 进行反二进制阈值化,形成反颜色和梯度特征布尔图 \widetilde{C}(I)\widetilde{G}(I) ,以防止阈值选取过高时漏检显著性目标。最后使用开运算除去特征布尔图中的噪声

先验分布是如何得到的?

阈值 \theta\varphi[0,255] 上的均匀分布;

生成视觉注意图

Gestalt 原则:显著性目标很大程度上具有完整闭合的轮廓,而背景往往是无序的。

布尔图中被包围区域是值为 0 或 1 的连通区域,且具有完整闭合的轮廓,只要图像边界是缺少完整轮廓的。

BMCG 将被包围区域置为 1 ,其余置为 0 ,利用 flood fill 算法快速掩膜出连通区域,得到视觉注意图 A_1(B_1), A_2(B_2), …A_l(B_l)

在将视觉注意图融合之前,使用 L2 范数范围进行归一化处理,以保留小的视觉注意区域。为了进一步具有惩罚小的、分散的显著性区域的视觉注意图,在归一化前进行膨胀操作

生成显著性图

常用方法:均值、相乘、平方、最大值、对数法等。

流行的方法:逻辑回归器和条件随机场等学习权系数进行融合的方式

总的来说应用最广泛的方法:线性融合,其融合结果受权系数选择影响

本文采用方法:线性平均融合

其中 p(B|I) 是图像布尔图的先验分布值

仿真结果与性能分析

数据集:MSRA10K

环境:Pentium(R) Dual-Core CPU E5800 3.20GHz; 4G memory; OpenCV

对比算法:FT、CA、SR、HC、RC、BMS 显著性检测算法

评价指数:PR 图、F-measure(F-measure中 \beta^2=0.3

实验结果:recall 达到 71.98% 时能取得 88.01% 精度。BMCG 算法比 BMS 算法的召回率提高 2.12%,准确度提高 4.56% 。时间效率上处理一张图平均 0.39 s 。

0%