基于彩色图像引导的红外图像超分辨率算法的研究外文翻译资料

英语原文共 4 页，剩余内容已隐藏，支付完成后下载完整资料

基于彩色图像引导的红外图像超分辨率算法的研究

Xiaohui Chen1 , Guangtao Zhai1 , Jia Wang2 ,Chunjia Hu1 and Yuanchun Chen2

Institute of Image Communication and Information Processing, Shanghai Jiao Tong University, Shanghai, China

fxhuichen.cn,zhaiguangtao,huchunjia.sjtug@gmail.com fjiawang,chenyuanchung@sjtu.edu.cn

摘要：目前，红外照相机在工业中扮演着越来越重要的角色。但是，由于技术原因，红外照相机只能拍出较低分辨率的图像。在本篇文章中，我们提出了通过彩色照相机作为引导，从而生成高分辨率的红外图像的技术。我们构建了一个红外-彩色多传感器成像系统的模型，然后，为了更加深入的研究，我们建立了一个从不同场景拍摄的大量录像的数据集。最后，我们也提出了基于彩色图像引导的红外图像超分辨率算法。我们利用之前建立的数据集对该算法进行了测试，测试结果非常好，而且结果也没有出现传统算法所具有的过度纹理问题。更进一步的工作，我们会将我们的多传感器系统投入更多的计算机视觉领域的应用。

关键词 红外图像 多传感器 超分辨率 引导滤波器 红外-彩色图像数据集

1.简介

红外照相机使用的是无源传感器，这个传感器对7um-14um的波长段非常敏感。所以，能很好的感应到环境中的物体散发，传播和反射的红外辐射。

由于红外照相机的以上特性给了我们新的思路去解决那些对于传统彩色照相机非常困难和复杂的问题。所以红外照相机已经被广泛地应用到了许多领域：运输，自动化，执法，消防，科研，建筑，安全等等。例如，在工业中，工人们使用红外照相机去检查机器的应力故障。红外传感器也被嵌入到手机中，使得红外图像在人们的生活中也得到扩散。该传感器可以让人们在现实中使用红外图普去找寻家中那些不寻常的东西，也可以作为夜视仪在夜间使用。

然后，红外照相机的成像的分辨率特别低，大多数的分辨率都是160X120和320X240。而这是由于受到了红外传感器、光学器件和冷却传感器的尺寸的限制。虽然我们可以提高成像器件的性能去获得高分辨率的红外图像。但是，这无疑会极大地增大硬件的生产成本。目前，在提高红外图像分辨率的技术上，无论是从硬件方面还是软件方面都没有更深入的研究。这也给我们在高水平图像处理任务方面的工作带来了极大的限制，因为这些任务都需要极高分辨率的图像。也正是由于红外图像的低分辨率，这也极大地约束了红外图像的应用，然而，彩色照相机却得到了极大的发展。一个高质量的视觉照相机在很多组件上已经成了共同的配置，因为可接受的价格和较高的分辨率。所以，我们提出了基于彩色照相机引导的红外图像重建。超分辨率是通过结合其他相关图像的信息从而对原图像进行重建而获得高分辨率图像的技术。该技术和和许多其他的图像处理技术相关联，例如编码技术，重建技术、错误隐藏技术和图像分割技术。

在本文中，我们从高质量的富有丰富纹理信息的图像能够给红外图像的增强提供重要的信息是由于他们具有很强的相关性中获得启发。我们技术的核心就是在红外图像和彩色图像相关的区域运用一个引导滤波器进行引导。我们根据输入的红外图像建立了一个红外图像的概率值的估计向量，然后在相关区域对估计向量使用引导滤波器，在这之后，两个步骤包含了一个最好的估计选择，然后亚像素的估计将会被使用去重建一个红外图像。最后，通过离群点检测得到输出图像。我们的程序运行的非常快，结果证明本程序非常适合红外图像的超分辨率重建。

接下来的文章组织如下：第二部分，我们首先建立了一个多传感器系统模型，这个模型实现了两个不同传感器之间的校准。第三部分，我们提出了高分辨率图像重建的算法，主要是联合高分辨率彩色图像利用引导滤波器对红外图像进行加强。第四部分，我们对系统在不同场景下进行了测试，并列出了实验结果。第五部分是对本文章的总结。

2.系统的搭建和预处理

在这个部分，我们将介绍获得相关的红外图像和彩色图像数据集的装置和方法。首先，我们对我们的系统构成进行描述，然后介绍我们是如何对红外照相机和彩色照相机进行校准的。最后，我们使用具有不错表现的程序从包含有红外传感器和彩色传感器的装置中获取图片。使用这个系统，我们收集了一些视频序列用于更长远的研究。我们的数据集包含了高分辨率的彩色图像和与之对应的红外图像，这个数据集也包含了室内和室外的场景。随着本文的发表，这些数据集在我们的主页上也是可用的。

A.系统组成

图1（a）向我们展示了硬件组成。我们使用一个用3D打印制造的具有特殊结构的器件用来获取图像，这个器件包含了一个红外照相机(Magnity MAG62)和一个工业级别的彩色照相机(Kedacom IPC120)。红外照相机的分辨率只有640X480，而彩色照相机的分辨率是1280X960。红外照相机能捕获的非制冷型红外波波长在7.5um到14um之间。为了让两个传感器获得相同的图片，我们在两个传感器之间放置了一个金二向色分束器。这个分束器可以使可见光入射到彩色照相机的同时反射红外辐射到红外照相机。

图1 从左到右：（a）系统结构图；（b）与红外图像传感器最相关的通道直方图

B相机校准和彩色-红外图像获取

我们建立的多传感器系统使得两个照相机拍摄同样的场景。然而，两个照相机使用不同的镜片，这就意味着他们的参数是不相同的。在给红外图像和彩色图像配对之前，需要对两个相机进行校准。

我们可以借助Zhang[9]提出的较成熟的算法进行校正。这个算法可以轻易地对彩色照相机进行校准但是对红外照相机却依然很难，因为彩色照相机对普通的象棋（国际象棋）棋盘（用来校准的场景）无法识别。

为了解决这个问题，我们通过3D打印制作了一个特殊的“棋盘”，如图2（a）。我们在棋盘上每隔一个格子里面填满热水。这样，你就能看到如图2（b）所示的具有高对比度的棋盘红外图像。这种情况下，Zhang的程序表现的非常好。

图2 从左到右：（a）通过3D打印的棋盘 （b）在填满热水之后的棋盘红外图

由两个不同传感器获得的图像对在每个像素上不是对齐的，这个对我们超分辨率程序是有直接影响的。由Han[10]提出的具有不错表现的程序正好可以用来解决这个问题。图3展示了我们数据集中的几幅彩色图像和与之对应的红外图像。

图3 一些来自我们数据集的例子

3.超分辨率图像重建算法

图4展示了算法的大体框架。首先，我们对低分辨率的红外图像（160X120）使用双三次插值进行上采样获得与高分辨彩色图像H（640X480）相同尺寸的图像。然后，我们在彩色图像合适的通道和红外图像之间计算得到相关区域CR。接着是个迭代模块。根据目前的红外图像建立一个开销向量，在每一次开销向量的迭代过程中，在相关区域利用引导滤波器获得新的开销向量。对和sub-pixel估计利用胜者为王算法来获得重建的红外图像。

图4 超分辨率算法流程图

A．开销向量

开销向量是用来储存输入的红外图像的sub-pixel的精确值的。它是根据当前的红外图像的估计值建立的。

随着开销向量中的数据的差异越来越大，为了保证候补的红外图像的数值也要要变化很大，则开销函数应该是不变的。因为当前的数值不一定是完全正确的。截断二次模型就是一个适应于此问题的函数，因此开销函数定义如下：

其中L是搜索范围，eta;是常量，d表示候补的红外图像。

这里的开销向量是离散的，搜索范围是有限的，所以我们获得的红外图像的数值是不连续的。这个意味着我们获得的候补的高分辨率红外图像可能不是正确的。为了减小这个的影响， sub-pixel的估计是必要的。

B．引导选择

本文的基本思想是对于用相关联的照相机拍摄到的同一场景的图像，无论是红外图像还是彩色图像，由于颜色和亮度而造成的图像的不连续性两者都是存在的。彩色照相机是红、绿、蓝三个传感器的结合。不同的通道和红外图像有不同的关联。为了对这个问题进行校验，我们利用获取的数据集，我们在不同通道之间计算了峰值信噪比（PSNR）和结构相似性（SSIM）并找到他们和红外图像之间的关联。图1（b）展示了不同通道的直方图，反映了红外图像和超过200个图像对是非常相关的。从直方图我们可以看出63%的红外图像与红色通道有最强的相关性，而12%的图像与绿色通道有高相关性，25%的图形和蓝色通道有高相关性。因此，为了更好的引导效果，我们选择具有最高相关性的通道进行引导。

C．相关区域

虽然对于同一场景来说，大多数在红外图像中的不连续区域都会在彩色图像中找到对应的区域，但是，在很多情况下，他们也有很大的不同。例如，对于书本的封面，彩色照相机可以拍出封面的纹理情况，但是红外照相机却无法拍出。为了避免错误的纹理转换，我们仅仅在他们的相关区域使用引导滤波器。相关区域可以通过在一小部分计算他们的互相关程度得到。如果得到的数值大于预先设定的阈值T，目标区域就是其中的一个相关区域，否则就是不相关区域。

D．在相关区域的引导滤波器

图片引导滤波器是一个新式的显示图像滤波器。它不仅具有像插值滤波器一样可以使保留出平滑的边缘的特点，而且与其他边缘保留滤波器相比，输出的图像更加具有结构性和保留了更多的图像细节。较之传统的边缘保留算法，图像引导滤波器处理的更加迅速。所以，在本文中，我们采用了引导滤波器而不是插值滤波器。

这里我们使用彩色图像合适的通道进行引导，而且仅仅在相关区域CR对开销向量进行滤波。滤波的输出可以用以下公式计算：

这里，和是中I的均值和方差。是窗口中像素的数量，然后是中p的均值。

在这之后，我们可以在保持平滑区域的真实值的同时获得锋利和较好的边缘。

E．Sub-pixel 估计

正如我们在A部分提到过的，开销函数的不连续性和有限的搜索范围导致了红外图像的不连续性。为了消除这个的影响，二次多项式可以在三个离散的候补红外图像（d,和）间去近似开销函数。其中d是具有最小开销的离散深度，＝d-1，＝d 1。

f（）是函数f（x）的最小值。函数f（x）的参数可以通过给定的d，f（d），f（），f（）计算。所以可以通过以下公式计算：

F．离群点检测

离群点检测是为了解决在细小的边缘可能出现黑点的问题，这一问题在红外图像处理中经常出现。

随着迭代次数的增加，离群点将会消失。但是这样，程序运行的时间会大大增加，而且会出现我们不愿看到的情况，就是一些边缘将会变得平滑。事实上，我们只需处理输出图像上那些不合适的点而没必要处理整幅图片。所以，我们可以使用离群点检测技术去找到那些不合适的点然后使用中值滤波器去消除这些离群点就可以了。

4.实验结果

我们在收集的数据集上测试了我们的算法，数据集包含了现实生活中室内和室外的实例图片。和其他的超分辨率算法一样，因为真实的地面，我们使用了数据集中最原始的红外图像。我们准备将测试按如下方式进行：首先我们对输入序列使用3X3均匀掩模进行模糊处理，在每个轴上按1：4的比例进行抽取，然后利用std＝2的加性噪声进行加噪处理。对于本程序中的主要参数，分别设置如下: ε＝，eta;＝0.5，L＝2000，T＝0.35，k＝6。这一组参数在我们的实验中具有很好的表现。用于实验的硬件系统的组成是Quad-Core 3.4GHZ，4GB RAM。我们通过matlab运行我们的程序。我们使用三次插值算法和联合三次上采样算法进行结果的对比。图5是三个实验在三个不同场景下的结果。

图5 实验结果。从左到右分别是合适通道的图像，真实的红外图像，三次插值结果，联合三次上采样结果，边缘引导结果。所得图像都是在每个轴按1:4上采样之后的结果。

您可能感兴趣的文章

• 基于图像的分类调查外文翻译资料
• 用于单样本的视频人脸识别特定领域的人脸合成外文翻译资料
• 具有Si0,薄膜覆盖层的温度补偿声表面波器件外文翻译资料
• SAW/LSAWCOM参数从数值计算实验中提取周期性电极的谐波导纳外文翻译资料
• 三轴加速度计用于体力活动的评估:现状与未来外文翻译资料
• 传感器新技术的发展外文翻译资料
• 基于nRF24L01的无线通信系统设计外文翻译资料
• 扩展交通信号灯识别：相位和导向符号的有效分类外文翻译资料
• 微型电解加工脉冲电源的设计外文翻译资料
• 8tsram单元作为超越vonneumann计算的多位点积引擎外文翻译资料