Content area
Full text
1 引言
多数传统相机设备仅复现场景的二维信息,常规的成像技术在拍摄多目标物体时无法做到多点聚焦,会造成部分物体模糊等现象。与传统成像技术不同,光场成像技术在采集数据时会记录空间中光辐射强度、位置与方向等信息,其原始数据中增加的维度用于后续图像重构与数字重聚焦等处理,可获取更好的成像质量与复现效果[1-2]。1936年Gershun提出光场的概念并用光场描述光在三维空间中的辐射传输特性,他认为光辐射是一种连续且不断变化的能量,为之后对光场的研究打下了基础[3]。1948年,Gabor利用两束相干光干涉,记录下物体衍射未聚焦的波前,获得第一张全息图[4],可称为光场图像的前身。1996年Levoy提出了用双平面参数法来表示光场,并给出光场成像计算公式,为第一台光场相机奠定基础[5]。随着可见光光场成像技术的完善和光场相机技术的成熟,其在军事、航天、医疗等领域应用越来越多,正不断向多元化、实用化发展。
太赫兹波通常指波长在30 μm~3000 μm的电磁波,它对很多介电材料和非极性物质有良好的穿透性,而金属表面对太赫兹波有强反射特性。太赫兹波光谱能量很低,不会电离损伤生物组织。太赫兹成像技术利用太赫兹探测器采集太赫兹波进行成像,由于具有穿透性、安全性等优势,在国防军事、公共安全、航天遥感、无损检测等领域都有着很好的发展前景[6-9]。近年来,太赫兹成像技术与光场成像技术不断发展,太赫兹辐射的光场采集与数字重聚焦作为太赫兹光场成像的关键技术,已引起国内外研究者的关注。2016年,德国大学的Jain等研发了一种太赫兹光场成像系统[10],该系统采用硅超半球透镜集成32×32个相机作为太赫兹光场采集器,通过图像平面扫描记录完整的太赫兹静态光场,经过后续数据处理与重构获得了太赫兹光场成像结果,目前太赫兹光场成像中的一些关键技术还有待进一步研究。本文首先阐述光场成像的基本原理,分析光场表征方法及数字重聚焦算法;基于太赫兹焦平面阵列相机进行太赫兹光场数据采集实验,并用数字重聚焦技术得到不同深度上的重构图像;最后对图像做锐化和轮廓增强处理,以获取可辨识性强的结果图像。
2 光场成像基本原理
如图 1(a)所示,常规成像技术从几何光学看是将从目标物发出的光线透过主透镜汇聚到传感器上,将记录的光学信号转化为电学信号再转换为数字图像,而图 1(b)中的阵列型相机每一个相机都记录了不同角度的信息,再通过光场计算成像[11]。光场成像在采集数据过程中获取了更多的信息,在重聚焦过程中能够选择聚焦面,当多个目标物不在同一平面时,可做到不同深度的重聚焦。
[Image omitted: See PDF]
2.1 光场的表征与光场数据采集
在光场表征方面,目前最常用的方法是双平面参数化法,该方法依据Levoy提出的光场渲染理论,分别在主透镜与传感器处建立两个二维平面,设一条同时穿过两个平面的光线,分别交两个平面于(u, v)和(x, y)两点,由(u, v)和(x, y)描述这条光线的二维位置信息与二维方向信息,光线与主透镜平面和传感器平面相交的两坐标点共同构成了光场的四维函数L(u, v, x, y),函数值L是光线的辐射通量,图 2是双平面参数化法表征光场的示意图[2]。本文采用这种方法表征太赫兹光场。
[Image omitted: See PDF]
在光场数据采集方面,目前有三种主流方法,它们采用的装置分别是相机阵列、微透镜阵列和非折射掩膜。1)相机阵列法以斯坦福大学提出的128台相机阵列为代表,相机采用不同的排列方式,获得多种不同角度的子图像阵列,同时利用相机阵列景深较小的特点,通过数字重聚焦技术与合成孔径技术可实现类似“透视”的效果[12]。2)微透镜阵列法在常规成像的像面处增加由M×M个微透镜组成的阵列,而且在每个微透镜后面用N×N个传感器采集信息。光线从场景目标物发出,通过主透镜后形成聚焦的像点,再由微透镜阵列散焦到每一个传感器上,形成一个模糊的图像作为采集到的原始光场数据[13-14]。3)非折射掩膜法在结构上主要是在常规相机光路中增加一个掩膜,这种方法的优点是易于搭建硬件和进行实验操作[15]。在三种主流方法之外还有诸如环形孔径相机等方法[16],但因其结构复杂等缺点应用不多。
2.2 光场图像数字重聚焦
光场图像的数字重聚焦实现不同场景不同位置对焦,可做到先拍摄后对焦,有利于降低成像的运动模糊、减少由光源强度等问题带来的失焦,在多目标物快速标定、对不同目标物进行深度估计等方面有较为明显的效果[17]。光场的数字重聚焦在光电测量、遥感、航天等领域有着重要的应用价值。如2.1节所述,这里将光场成像系统中的光线用四维光场函数L(u, v, x, y)表征,其中u-v面是光学系统主平面,x-y面是探测器所在平面,LF(u, v, x, y)代表给定光线的光辐射量,下标F代表上述两平面间的距离,像面上接受到的辐射量可表示为
\( {E_F}(x, y) = \frac{1}{{F_{}^2}}\iint{L_F}(u, v, x, y)A(u, v){\cos ^4}\theta {\rm{d}}u{\rm{d}}v, \)(1)
其中:θ为光线L(u, v, x, y)与u-v面法线的夹角,A(u, v)为光瞳函数。在此假设u-v和x-y是无穷大的平面,光瞳之外的光线L(u, v, x, y)=0,引入近轴近似后可将公式简化为
\( {E_F}(x, y) = \frac{1}{{F_{}^2}}\iint{L_F}(u, v, x, y){\rm{d}}u{\rm{d}}v。\)(2)
在此基础上通过积分求解得到一幅数字图像。
如图 3所示,光瞳距离传感器的距离为F,光瞳距离实际像面的距离为F',假设二者成比例α=F'/F,光辐射量函数可以表示为
\( \begin{array}{c} {L_{\alpha F}}(u, v, x, y) = {L_F}(u(1 - \frac{1}{\alpha }) + \frac{x}{\alpha }, v(1 - \frac{1}{\alpha }) + \frac{y}{\alpha }, u, v)\\ {\rm{ = }}{L_F}\left\{ {{{\boldsymbol{B}}_{\rm{a}}} \cdot {{\left[ {u, v, x, y} \right]}^{\rm{T}}}} \right\}, \end{array} \)(3) [Image omitted: See PDF]
其中:Ba为过渡矩阵,用于光辐射量函数在传感器平面和重聚焦平面之间的转化。将式(3)代入式(2)中,定义切片算子β[f](x)=f(βx),重聚焦后图像的表达式为
\( {E_{F'}}(x, y) = \frac{1}{{{\alpha ^2}{F^2}}}\iint{{\boldsymbol{B}}_{\rm{a}}}\left[ {{L_{F'}}} \right]{\rm{d}}u{\rm{d}}v。\)(4) 3 太赫兹光场采集与数字重聚焦实验研究 3.1 太赫兹光场成像系统及数据采集
本文基于第2节所述的基本原理,用INO公司的MICROXCAM-384I-THz型太赫兹焦平面阵列相机,通过二维扫描采集一系列特定视角的子图像阵列,这些子图像拥有不同方向、角度上的太赫兹辐射通量信息。在子图像阵列所含原始太赫兹光场数据的基础上进行光场表征、数字重聚焦和后续图像处理。实验中我们将成像目标物分别前后放置,在深度方向上成一定距离间隔。
图 4(a)为太赫兹光场相机采集的单张子图像,图 4(b)为利用太赫兹相机分别采集不同位置不同角度的10×10子图像进行排列形成子图像阵列。图 5(a)为任意取光场子图像阵列中的某一行或某一列的图像叠加在一起,使用不同颜色的直线竖直穿过各图像中深度不同但位置相同的点,而其它深度的图像一一对应的直线应保持倾斜状态[18]。若直线倾斜程度越大,其对应物体的失焦现象则越严重。如图 5(b)所示,当子图像经过联合位移后,各条直线的状态会有所不同,导致不同深度的聚焦图像发生变化。针对图像因为混叠而出现的模糊、马赛克等,可借助石梦迪等[19]提出的基于双引导滤波的光场去马赛克算法进行图像增强。
[Image omitted: See PDF]
[Image omitted: See PDF]
3.2 太赫兹图像数字重聚焦
F光瞳与传感器间的距离为F,光瞳与实际像面的距离为F',根据式(3)调整α的大小可以实现不同深度的数字重聚焦。如图 6(a)~6(c)所示,分别从前到后进行不同深度的重聚焦,根据重聚焦后的图像可以分辨出目标物排列的前后顺序以及目标物之间的间隔大小。对比图 6(a)与图 6(c),通过不同深度的重聚焦,可以有效消除干扰点带来的影响。
[Image omitted: See PDF]
为了降低重构图像的的噪声,锐化图中目标物的轮廓,本文采用八邻域拉普拉斯算子进行图像增强。拉普拉斯算子是n维欧式空间的一个二阶微分算子。它定义为两个梯度向量算子的内积:
\( \begin{array}{c} \Delta \buildrel \Delta \over = {\nabla...