基于颜色与梯度布尔特征融合的图像显著性检测

本文根据 Gestalt 图像原则布尔图理论,提出融合颜色梯度二值特征的布尔图显著性检测模型。

论文:基于颜色与梯度布尔特征融合的图像显著性检测


布尔特征图将视觉场景分为两块互补的分区空间:被选中和不被选择的区域。
特征可以选择显示范围内所有的特征维度,如颜色值、方向值。

梯度指图像颜色变化的梯度。

BMCG

步骤:

  1. 对给定图 I , 通过随机阈值化颜色和梯度特征通道,得到颜色布尔图和梯度布尔图 $B$
  2. 基于 Gestalt 前背景分离原则,计算每幅布尔图的视觉注意图 $A$
  3. 将颜色和梯度特征视觉注意图融合,得到显著性图 $S$

生成颜色和梯度特征布尔图

用不同的阈值的横切面对其进行切割并阈值化,得到一系列映射到特定特征维度上的布尔图。

反推过来,通过某维度上多个特征布尔图的叠加,将不同布尔图层的显著性特征属性融合,检测处显著性目标。

根据特征通道的先验分布设置阈值,生成特征布尔图

$C(I)$ 和 $G(I)$ 分别为颜色和梯度通道特征图;阈值 $\theta$ 和 $\varphi$ 是 $[0,255]$ 上的均匀分布; $p_{C}$、$p_G$、$p_{\theta}$ 和 $p_{\varphi}$ 分别是 $C(I)$ 、$G(I)$ 、$\theta$ 和 $\varphi$ 的先验分布。

颜色布尔图:

使用 CIE Lab 颜色空间表示图像,且将颜色空间上的值归一化到 $[0,255]$ 。

使用固定步长采样得到颜色布尔图 $C(I)=\{B_{color1},B_{color2},..B_{colorn}\}$

梯度布尔图:

弥补颜色对像素方向、大小变化不敏感造成的显著性下降

在 RGB 颜色空间使用 $[-1,0,1]$ 掩膜计算像素 x 和 y 方向上的梯度 $g_x$ 和 $g_y$ ,合并各个颜色通道的梯度形成梯度特征图 $G(x,y) =\rm d x_i + \rm d y_i = \min (|g_x|+|g_y|,255)$ 。通过 $\varphi$ 阈值化形成一组梯度布尔值

接着对 $C(I)$ 和 $G(I)$ 进行反二进制阈值化,形成反颜色和梯度特征布尔图 $\widetilde{C}(I)$ 和 $\widetilde{G}(I)$ ,以防止阈值选取过高时漏检显著性目标。最后使用开运算除去特征布尔图中的噪声

先验分布是如何得到的?

阈值 $\theta$ 和 $\varphi$ 是 $[0,255]$ 上的均匀分布;

生成视觉注意图

Gestalt 原则:显著性目标很大程度上具有完整闭合的轮廓,而背景往往是无序的。

布尔图中被包围区域是值为 0 或 1 的连通区域,且具有完整闭合的轮廓,只要图像边界是缺少完整轮廓的。

BMCG 将被包围区域置为 1 ,其余置为 0 ,利用 flood fill 算法快速掩膜出连通区域,得到视觉注意图 $A_1(B_1), A_2(B_2), …A_l(B_l)$ 。

在将视觉注意图融合之前,使用 $L2$ 范数范围进行归一化处理,以保留小的视觉注意区域。为了进一步具有惩罚小的、分散的显著性区域的视觉注意图,在归一化前进行膨胀操作

生成显著性图

常用方法:均值、相乘、平方、最大值、对数法等。

流行的方法:逻辑回归器和条件随机场等学习权系数进行融合的方式

总的来说应用最广泛的方法:线性融合,其融合结果受权系数选择影响

本文采用方法:线性平均融合

其中 $p(B|I)$ 是图像布尔图的先验分布值

仿真结果与性能分析

数据集:MSRA10K

环境:Pentium(R) Dual-Core CPU E5800 3.20GHz; 4G memory; OpenCV

对比算法:FT、CA、SR、HC、RC、BMS 显著性检测算法

评价指数:PR 图、F-measure(F-measure中 $\beta^2=0.3$ )

实验结果:recall 达到 71.98% 时能取得 88.01% 精度。BMCG 算法比 BMS 算法的召回率提高 2.12%,准确度提高 4.56% 。时间效率上处理一张图平均 0.39 s 。

0%