本文根据 Gestalt 图像原则和布尔图理论,提出融合颜色和梯度二值特征的布尔图显著性检测模型。
布尔特征图将视觉场景分为两块互补的分区空间:被选中和不被选择的区域。
特征可以选择显示范围内所有的特征维度,如颜色值、方向值。
梯度指图像颜色变化的梯度。
BMCG
步骤:
- 对给定图 I , 通过随机阈值化颜色和梯度特征通道,得到颜色布尔图和梯度布尔图 $B$
- 基于 Gestalt 前背景分离原则,计算每幅布尔图的视觉注意图 $A$
- 将颜色和梯度特征视觉注意图融合,得到显著性图 $S$
生成颜色和梯度特征布尔图
用不同的阈值的横切面对其进行切割并阈值化,得到一系列映射到特定特征维度上的布尔图。
反推过来,通过某维度上多个特征布尔图的叠加,将不同布尔图层的显著性特征属性融合,检测处显著性目标。
根据特征通道的先验分布设置阈值,生成特征布尔图
$C(I)$ 和 $G(I)$ 分别为颜色和梯度通道特征图;阈值 $\theta$ 和 $\varphi$ 是 $[0,255]$ 上的均匀分布; $p_{C}$、$p_G$、$p_{\theta}$ 和 $p_{\varphi}$ 分别是 $C(I)$ 、$G(I)$ 、$\theta$ 和 $\varphi$ 的先验分布。
颜色布尔图:
使用 CIE Lab 颜色空间表示图像,且将颜色空间上的值归一化到 $[0,255]$ 。
使用固定步长采样得到颜色布尔图 $C(I)=\{B_{color1},B_{color2},..B_{colorn}\}$
梯度布尔图:
弥补颜色对像素方向、大小变化不敏感造成的显著性下降
在 RGB 颜色空间使用 $[-1,0,1]$ 掩膜计算像素 x 和 y 方向上的梯度 $g_x$ 和 $g_y$ ,合并各个颜色通道的梯度形成梯度特征图 $G(x,y) =\rm d x_i + \rm d y_i = \min (|g_x|+|g_y|,255)$ 。通过 $\varphi$ 阈值化形成一组梯度布尔值
接着对 $C(I)$ 和 $G(I)$ 进行反二进制阈值化,形成反颜色和梯度特征布尔图 $\widetilde{C}(I)$ 和 $\widetilde{G}(I)$ ,以防止阈值选取过高时漏检显著性目标。最后使用开运算除去特征布尔图中的噪声。
先验分布是如何得到的?
阈值 $\theta$ 和 $\varphi$ 是 $[0,255]$ 上的均匀分布;
生成视觉注意图
Gestalt 原则:显著性目标很大程度上具有完整闭合的轮廓,而背景往往是无序的。
布尔图中被包围区域是值为 0 或 1 的连通区域,且具有完整闭合的轮廓,只要图像边界是缺少完整轮廓的。
BMCG 将被包围区域置为 1 ,其余置为 0 ,利用 flood fill 算法快速掩膜出连通区域,得到视觉注意图 $A_1(B_1), A_2(B_2), …A_l(B_l)$ 。
在将视觉注意图融合之前,使用 $L2$ 范数范围进行归一化处理,以保留小的视觉注意区域。为了进一步具有惩罚小的、分散的显著性区域的视觉注意图,在归一化前进行膨胀操作。
生成显著性图
常用方法:均值、相乘、平方、最大值、对数法等。
流行的方法:逻辑回归器和条件随机场等学习权系数进行融合的方式
总的来说应用最广泛的方法:线性融合,其融合结果受权系数选择影响
本文采用方法:线性平均融合
其中 $p(B|I)$ 是图像布尔图的先验分布值
仿真结果与性能分析
数据集:MSRA10K
环境:Pentium(R) Dual-Core CPU E5800 3.20GHz; 4G memory; OpenCV
对比算法:FT、CA、SR、HC、RC、BMS 显著性检测算法
评价指数:PR 图、F-measure(F-measure中 $\beta^2=0.3$ )
实验结果:recall 达到 71.98% 时能取得 88.01% 精度。BMCG 算法比 BMS 算法的召回率提高 2.12%,准确度提高 4.56% 。时间效率上处理一张图平均 0.39 s 。