基于对象的三维图像颜色传递与视差优化

1 引言

颜色传递是将指定的目标图像的颜色传递给源图像，具有较为广泛的应用前景，可用于图像的颜色校正、再渲染和艺术化处理等。近年来对颜色传递的研究，是基于统计学的方法进行处理。最早的颜色传递方法^[1]是无参考的直方图匹配，之后的工作则是通过匹配累积密度函数进行颜色传递，然而基于直方图的整体方法容易产生视觉错误，为解决该问题，Pouli等^[2]提出局部直方图匹配的方法。进一步，基于参数的颜色传递方法被提出，Reinhard等^[3]最先提出图像的颜色服从高斯分布的假设，并通过两个单变量高斯分布的概率密度函数进行了颜色传递，但是这种方法仍然会产生错误的颜色。Pitie等^[4]提出三维高斯分布模型，并通过计算M-K优化问题的闭式解^[5]得到目标图像。Hristova等^[6]则提出多区域的混合高斯模型，同时利用图像的亮度和色度信息进行颜色传递。Abadpour等^[7]提出一种基于模糊主成分的颜色传递方法，由用户选定区域并设置相关参数，这种方法可以提高运行效率。Tai等^[8]提出一种利用最大期望进行局部图像颜色传递的方法，通过概率分割得到局部区域，并且对分割区域用混合高斯建立模型，提高图像传递后的颜色一致性。Hristina等^[9]提出用贝塔(beta)分布来描述图像颜色特征进行颜色传递。

双目立体视觉由于左右视图视差的存在，人类视觉系统会将场景汇聚在屏幕前或屏幕后。汇聚于屏幕前称为负视差，汇聚于屏幕后称为正视差，屏幕称为零视差平面。在零视差平面前后一个适当的范围内，称为视差舒适区域，超出这个范围称为不舒适区域，会产生视觉疲劳等不舒适观看效果。基于此，考虑对原始视差进行调整，使调整后的立体图像观看更舒适。视差调整模型有线性模型、非线性模型、梯度域模型等^[10]。

以上工作是对平面图像进行处理，本文提出双目立体图像的处理方法。立体图像处理的目的是要保持处理后的立体图像颜色传递效果一致并且有更好的观看体验。在观看立体图像时，由于左右视图视差的存在使得人们可以感知到深度信息。一般而言，越大的视差会带来越强烈的立体感，但是在人类视觉系统中对立体的感知有一个适当的范围，称之为舒适感知区域^[11]。超出舒适区域的过大视差会给人带来头晕，视觉疲劳等不舒适现象，出现这样现象的原因在于立体图像本身的制作原理导致观看者双眼焦点调节和辐辏的严重冲突。鉴于此，考虑在进行颜色传递的同时进行非线性视差调整，使调整后的立体图像观看效果更舒适。

本文首先根据左右视图估计出视差图，并对视差图进行直方图统计，由统计结果计算出重要区域的视差范围，对该区域视差设定适当的目标值，对视差的平均显著计算积分得到适当的视差映射曲线，通过新的映射关系调整原视差到目标视差。其次，通过多维概率密度函数传递的方法对单视图进行颜色传递，这里可以根据需要由用户选定颜色传递的目标对象。最后，仅对选定的对象传递目标颜色，并结合调整后的视差图，绘制出目标图像，将处理后的左右视图复合成红蓝立体图。总的来说，本文的创新点有：1)不同于现有的平面图像颜色传递方法，针对立体图像的特点，设计出适合双目立体图像的颜色传递方案; 2)不同于整幅图像的颜色传递，本文根据用户需求有针对性地选择图像对象进行颜色传递; 3)本文将非线性视差优化与立体图像的颜色传递有机结合，实验结果表明，本文方法可以很好地提升观看体验。

2 基于对象的立体颜色传递与非线性视差优化方法

本文提出一种基于对象的立体颜色传递方法并创新性结合视差优化，产生具有更好观看体验的目标立体图像。方法流程如图 1所示，根据输入的左视图和右视图估计出立体图像的视差图，用户参考视差图像可选择出需要颜色传递的对象并做简单标记，对选择出的图像对象用图割(graph cut)方法完成分割，进而对所选对象进行颜色传递。为进一步提高观看体验，基于视差直方图统计优化视差，结合颜色传递后的左、右视图和优化后的目标视差，绘制出新的左、右视图，并复合成红蓝立体图。

[Image omitted: See PDF]

2.1 基于用户选择对象的颜色传递

在实际应用中，用户可能不需要对整幅图像进行颜色传递，而是对于图像中某个对象感兴趣，需要对图像对象进行颜色传递，用户可以参考视差直方图交互地选取原图像区域，根据人眼视觉的特性，视差变化明显的区域更容易引起人们的注意，这样选取出来的对象与下文中视差优化的对象相一致，得到更好的视觉效果，然后用图割的方法分割出选择的对象，从而实现对所选区域的颜色传递。这里先介绍由用户选定对象的分割方法，再说明基于概率密度变换的颜色传递方法。

2.1.1 用户选取对象的分割

本文通过交互的方式由用户参考视差直方图选定需要进行颜色传递的对象，采用图割法进行图像分割。该方法通过交互定位一个或多个代表对象的点以及一个或多个代表背景的点来进行初始化，这些点称为种子并被用于分割的硬约束(hard constraints)，另外软约束(soft constraints)则是反映边界和区域信息。分割结果则是通过对一个目标函数进行全局优化得到。令O和B分别表示图像中对象和背景的像素点集合，I是所有像素集合，N表示所有的有向像素对 \((p, q)\) 的集合，p和q表示邻接像素关系，令每个图像像素 \({i_k}\) 从 \({L_k} \in \{ o, b\} \) 中得到一个二值标签，这里o和b分别表示物体和背景标签，标签向量 \({\mathit{\boldsymbol{L}}} = ({L_1}, {L_2}, \cdots , {L_I})\) 定义了二值分割结果。则目标函数可被定义为区域特性项 \(R({\mathit{\boldsymbol{L}}})\) 和边界特性项 \(B({\mathit{\boldsymbol{L}}})\) 的加权组合：

\(C({\mathit{\boldsymbol{L}}}) = \lambda R({\mathit{\boldsymbol{L}}}) + B({\mathit{\boldsymbol{L}}}), \)(1)

其中：

\(R({\mathit{\boldsymbol{L}}}) = \sum\limits_{p \in I} {{R_p}({{\mathit{\boldsymbol{L}}}_p})} , \)(2) \(B({\mathit{\boldsymbol{L}}}) = \sum\limits_{(p, q) \in N} {{B_{(p, q)}}\delta ({{\mathit{\boldsymbol{L}}}_p}{\mathit{\boldsymbol{, }}}{{\mathit{\boldsymbol{L}}}_q})}, \)(3) \(\delta ({{\mathit{\boldsymbol{L}}}_p}, {{\mathit{\boldsymbol{L}}}_q}) = \left\{ \begin{gathered} 1~~~~{\rm{ }} {{\mathit{\boldsymbol{L}}}_p} \ne {{\mathit{\boldsymbol{L}}}_q} \\ 0~~~~{\rm{ }}{{\mathit{\boldsymbol{L}}}_p} = {\rm{ }}{{\mathit{\boldsymbol{L}}}_q} \\ \end{gathered} \right., \)(4)

这里 \({R_p}(o)\) 可以理解为将像素p标记为物体的损失(cost)， \({R_p}(b)\) 是将同一像素标记为背景的损失， \({B_{(p, q)}}\) 是关联到相邻像素p和q的局部标签不一致的损失。分割结果如图 2所示，图中第一行表示源图像，第二行表示用图割方法得到相应对象的分割结果。

[Image omitted: See PDF]

2.1.2 用多元概率密度函数变换进行颜色传递

多元高斯概率密度函数是一种多元指数分布，概率密度函数如下：

\(f({\mathit{\boldsymbol{x}}}) = \frac{{{\rm{\Gamma }}(p/2)}}{{{{\rm{ \mathit{ π} }}^{p/2}}}}{h_{\mathit{\boldsymbol{\Sigma}} , \beta }}({\mathit{\boldsymbol{x}}} - \mu ), \)(5) \({h_{\mathit{\boldsymbol{\Sigma}} , \beta }}({\mathit{\boldsymbol{y}}}) = \frac{\beta }{{{2^{p/2\beta }}{{\left| \mathit{\boldsymbol{\Sigma}} \right|}^{\frac{1}{2}}}{\rm{\Gamma }}(p/2\beta )}}\exp \left[ { - \frac{{{{({{\mathit{\boldsymbol{y}}}^{\rm{T}}}{\mathit{\boldsymbol{\Sigma}} ^{ - 1}}{\mathit{\boldsymbol{y}}})}^\beta }}}{2}} \right], \)(6)

其中： \({\mathit{\boldsymbol{x}}}, {\mathit{\boldsymbol{y}}} \in {R^p}, p \in N\) ， \(\mathit{\boldsymbol{\Sigma}} \) 是正定的散布矩阵，而 \(\mu \) 和 \(\beta \) 分别代表均值向量和形状参数， \(\left| \mathit{\boldsymbol{\Sigma}} \right|\) 表示行列式的值， \(\Gamma ( \cdot )\) 表示伽马函数。这里形状参数 \(\beta \) 影响分布的松散情况，值越小，分布越松散。Pascal等^[12]提出散布矩阵的表达方式为 \(\mathit{\boldsymbol{\Sigma}} = m{\mathit{\boldsymbol{M}}}\) ，其中m是多元高斯分布模型的尺度参数， \({\mathit{\boldsymbol{M}}}\) 是满足矩阵的迹 \({\rm{tr}}({\mathit{\boldsymbol{M}}}) = p\) 的正定散布矩阵。

多元高斯概率密度函数的参数估计可以由下面的方法迭代得到：

\(m = {(\frac{\beta }{{pN}}\sum\limits_{i = 1}^N {{{({\mathit{\boldsymbol{x}}}_i^{\rm{T}}{{\mathit{\boldsymbol{M}}}^{ - 1}}{{\mathit{\boldsymbol{x}}}_i})}^\beta }} )^{\frac{1}{\beta }}}, \)(7) \({\mathit{\boldsymbol{M}}} = \sum\limits_{i = 1}^N {\frac{p}{{{{\mathit{\boldsymbol{y}}}_i} + {\mathit{\boldsymbol{y}}}_i^{1 - \beta }{\Sigma _{j \ne i}}{\mathit{\boldsymbol{y}}}_j^\beta }}} {{\mathit{\boldsymbol{x}}}_i}{\mathit{\boldsymbol{x}}}_i^{\rm{T}}, \)(8) \(\alpha (\beta ) = \frac{{pN}}{{2\sum\limits_{i = 1}^N {{\mathit{\boldsymbol{y}}}_i^\beta } }}\sum\limits_{i{\rm{ = 1}}}^N {({\mathit{\boldsymbol{y}}}_i^\beta \ln ({{\mathit{\boldsymbol{y}}}_i}))} - \frac{{pN}}{{2\beta }}\ln (\frac{\beta }{{pN}}\sum\limits_{i{\rm{ = 1}}}^N {{\mathit{\boldsymbol{y}}}_i^\beta } )\\ - N - \frac{{pN}}{{2\beta }}(\psi (\frac{p}{{2\beta }}) + \ln 2) = 0, \)(9)

其中： \({{\mathit{\boldsymbol{y}}}_i} = {\mathit{\boldsymbol{x}}}_i^{\rm{T}}{{\mathit{\boldsymbol{M}}}^{ - 1}}{{\mathit{\boldsymbol{x}}}_i}\) ， \(\psi ( \cdot )\) 是Digamma函数，可以用递归算法^[13]计算出 \({\mathit{\boldsymbol{M}}}\) 和 \(\beta \) 的最大似然估计值，由Newton-Raphson迭代直到算法收敛，最后由 \({\mathit{\boldsymbol{M}}}\) 和 \(\beta \) 的估计值代入计算m。令 \({\mathit{\boldsymbol{U}}} = ({u_1}, ..., {u_N}), {u_i} \in {R^p}, i \in \{ 1, ..., N\} \) 表示输入图像颜色特征， \({\mathit{\boldsymbol{V}}} = ({v_1}, ..., {v_L}), {v_j} \in {R^p}, j \in \{ 1, ..., L\} \) 表示输出图像的颜色特征，且都服从零均值多元高斯分布(multivariate generalized Gaussian distribution，MGGD)， \({\mathit{\boldsymbol{U}}}\sim MGGD({{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{U}}}}, {m_{\mathit{\boldsymbol{U}}}}, {\beta _{\mathit{\boldsymbol{U}}}})\) ， \({\mathit{\boldsymbol{V}}}\sim MGGD({{\mathit{\boldsymbol{M}}}_{\mathit{\boldsymbol{V}}}},...