英语原文共 12 页，剩余内容已隐藏，支付完成后下载完整资料
户外动态3-D场景重建
摘要 - 现有的三维重建系统，从多视图视频使用受控的室内环境，具有均匀的照明和背景，以允许动态前景物体的精确分割。在本文中，我们提出了一种用于3-D重建动态户外场景的便携式系统，其具有复杂背景和不均匀照明的相对较大的捕获体积。这是由于需要三维重建自然户外场景来支持电影和广播制作。确定了用于室外场景的现有多视图三维重构技术的局限性。室外3-D场景重建分三个阶段进行：1）使用球面立体图像捕获的三维背景场景建模; 2）通过多个视图同时进行视频消隐，动态前景对象的多视图分割;和3）在存在分割和校准误差的情况下，强大的3-D前景重建和多视图分割细化。对包括人和动物在内的复杂动态场景的多个户外作品进行评估。结果表明，所提出的方法克服了先前的室内多视图重建方法的局限性，从而实现了高质量的自由观点渲染和3-D参考模型的生产。
索引术语 - 3-D重建，计算机视觉，自由观点视频，基于图像的重建，基于图像的渲染。
一，介绍
使用51视频穹顶的虚拟现实系统，利用多视角视频采集进行3-D建模和渲染，由Kanade et人。 [1]。随后，已经提出了许多方法用于在受控室内工作室环境中的多视角采集的表面重建和自由观察渲染[2] - [6]。在受控工作室条件下，从图像中进行多重视图表面重建的最先进的方法已经实现了与使用有源传感器的表面测量相当的精度水平[7]。使用多个摄像头进行三维制作的概念为3-D虚拟演播室开辟了潜力，其中可以通过三维计算机图形（CG）模型捕获演员表演的动态形状和外观。作为电影，广播和游戏的生产工具[8] - [10]，它吸引了相当大的兴趣，因为它可以将3-D中的真实和计算机生成的元素相结合。目前，许多电影的元素是通过在具有受控的均匀照明和均匀的色度蓝色或绿色背景的多影像室中捕获实时动作来产生的，以便于前景分割。然后使用计算机生成或捕获的背景场景渲染实时动作元素。受控的室内工作室条件使得前景演员表演能够进行先进的多视角分割，从而允许随后的三维重建。
基于位置的户外拍摄仍然是电影制作的重要组成部分，以捕获不能在工作室拍摄的场景或与环境一起实时动作的场景。背景和前景操作的同步是户外捕获的显着优点。在本文中，我们提出了一个在复杂环境和照明中使用多个摄像机系统进行3-D实时动作捕获的系统。这是一个具有挑战性的问题，因为背景通常是复杂的自然场景，与前景场景在颜色分布中重叠。
所提出的系统建立在最先进的多摄像机工作室系统的基础上，引入了强大的技术来实现自然场景中演员表演的三维重建。从多个球形图像对重构3-D背景场景。前景动作通过引入多视图视频消隐技术与背景场景分离。这基于以前在电影制作中广泛使用的自然场景的单视图视频消隐中的工作，在允许前景的视图之间引入几何和外观约束跨多个视图进行分割，具有与单视图视频消隐相同的交互级别。然后采用三维前景模型的多重重建技术来克服自然场景中可能出现的相机校准和分割中的小错误。 3-D背景建模，动态前景分割和3-D前景重建的管道允许在不受控制的室外环境中捕获实时动作。
在多个人和动物的几个不受控制的户外场景中进行三维重建实时动作评估。 3-D前景重建与室内场景的最先进的多视图重建技术的比较显示出重建质量的显着改善。
（图1）
A.室外场景拍摄要求
在本节中，我们从多视图视频分析动态户外场景的3维重建的具体要求。这些要求与用于室内场景重建的技术形成对比，以识别现有方法的局限性。以前在[11]中提出了室内工作室捕获的多个摄像机系统的设计分析，为数码相机及其配置提供了建议。相比之下，电影和广播制作的室外场景拍摄需要考虑以下因素。
1）捕获量大：
形式通常具有小于的捕获面积
5平方米，高2米。户外捕捉现场动作
通常需要相当大的面积gt; 10平方米，或者体育场运动如足球高达100米times;50米的场合。
2）自然场景背景：一般来说，
将会有自然的图像背景
动态，不提供高对比度
前景动作。这需要同时进行三维背景场景建模和引入不依赖于受控色度背景的多视图分割的方法。
3）不受控制的照明：室外场景照明根据时间和天气而变化，导致动态照明，也可能强烈导致强烈的阴影，阴影和镜面反射。只有辅助照明开始才能提供有限的控制。
4）便携式捕获设备：需要快速设置和重新配置多台摄像机设备以满足主要拍摄的生产要求。相机电缆对电源，同步和数据传输的要求显着增加了设置时间，降低了灵活性。
5）相机校准错误：通过大量拍摄体积，非相机相机安装以及相机的附带移动可以减少校准精度。实际上，执行相机校准的开始可能受到限制。
- 快速场景动作：包括动物在内的实时动作可能包括比通常在演播室环境中遇到的更快的动作，导致运动模糊，以及连续的视频帧之间的形状和外观的大的变化。
在本文中，我们介绍并评估了一个旨在解决上述问题的户外场景捕获系统。
B.户外三维场景捕获概述
引入便携式系统，用于在室外场景中进行三维捕获和实时动作建模，如图所示。该系统包括用于三维背景拍摄的管线和来自多对球面立体图像的自然场景的建模，以及用于从多视角视频进行三维前景实时动作捕获，分割和重建的管道。 3-D前景和背景建模被合成以允许完整的3-D场景的自由观察渲染。这个系统对于以前的多视角工作室重建的户外场景拍摄的贡献如下。
1）便携式捕获系统：使用无线多摄像机系统实现实时动作捕获，捕获高质量同步高清（HD）视频，可在数分钟内进行设置和重新配置。
2）自然场景的3-D背景建模：捕获多个高分辨率球形立体图像对，以重构具有高分辨率外观的自然场景的完整3-D背景模型，以及足以渲染背景外观的形状任意观点。这克服了以前的光检测和基于测距的3-D场景扫描的限制，这些场景扫描不能捕获外观信息进行渲染。
3）自然场景中的多视角前景分割：引入自然场景中同时多视角分割的新方法。这样解释了视图之间的前景外观的一致性以及多视角几何约束，以允许单视图视频所需的手动交互级别的多视图视频分割。
4）稳健的3-D前景重建：为了克服相机校准，自然场景分割和运动模糊中的错误问题，我们采用了视图相关的多视图重构框架[12]。这需要从多视图视频分割导出的初始粗略重构。最初的多视角分割和重建是将来自多个视图的信息进行联合优化，以恢复高质量渲染的精细场景重构。多个视图相关的重构也可以组合以获得单个封闭表面模型。
评估是在具有复杂的自然背景，不受控制的反射照明，人和动物的高度动态运动以及大量捕获量的几个具有挑战性的户外场景下进行的。与其他最先进的多视图重建方法进行比较。该评估表明，该系统在户外场景中实现了全面的三维重建，从而实现了高质量的自由观点渲染，克服了以前为室内工作室环境开发的重建方法的局限性。
II 相关工作
对基于图像的三维重建的研究大量集中在两个重要问题上：交互式应用的实时重建[2]，[8]和自由观察渲染，而不损失视觉质量[3] [4]，[13]。 [11]提出了多视图工作室设计的综述。将多视角工作室制作技术应用于户外场景需要考虑第一节所述的其他因素。
工作室技术的初步转移侧重于体育场运动应用，其呈现出具有相对均匀背景的半导体环境和固定节距标记，为移动摄像机的校准提供基准。虚拟现实技术[1]在EyeVision系统中被用于生产虚拟照相机扫描，作为2001年超级碗XXXV的动作重播。该系统在机动头上使用了超过30台摄像机，从而被单独的手动摄像机捕获利益。然后通过在真实摄像机视图之间切换而不插入中间视图而产生虚拟飞越效果，导致可见的跳跃。 “矩阵”电影专营权通过子弹时间效应推广了电影制作中的这种效果，这些效果使用数百个具有窄基线间距（lt;3°）的相机的密集钻机，通过切换视图实现平滑的飞越效果。
对于完整的3-D重建，以使运动中的视图插值，Ohta等人[14]提出了使用平面广告牌进行实时传输和视图合成的足球运动员的简化几何表示。 Guillemaut等人[12]提出了对校准和分割误差的分割和重构技术，以及从多个移动摄像机的足球和橄榄球比赛中重构的自由视点视频。 Germann等人提出了完全三维重建的另一种方法。 [15]他们近似于玩家身体的三维形状，铰接在骨架结构上的纹理广告牌。这需要手动交互来构建自由视点视频呈现的骨架。该技术由LiberoVision商业化，允许在足球广播摄像机之间合成虚拟转换。
由于可变的照明和不均匀的背景，一般户外场景具有挑战性。 他们也可能对相机设置施加更多的限制。 Halser等 [16]和Shaheen等 [17]通过跟踪基于骨架的人体模型，通过使用多个便携式摄像机重建室外动作而无环境或照明约束。 Ballan等人 [18]提出了一种使用粗糙的前景和背景建模与广告牌和使用运动结构（SfM）技术的相机跟踪的复杂场景的多视点视频的非照片写实视图转换方法。
在本文中，我们提出了一种系统来重建自然场景中的一般现场动作，而无需事先了解场景结构
BI.Portable Capture系统
环境捕捉系统
使用带有鱼眼镜头的现成的线阵扫描相机“Spheron”2进行静态背景拍摄和重建。通过在旋转透镜的中心处的垂直狭缝镶嵌光线产生完整的球面视图。相机绕穿过其光学中心的轴旋转。线扫描捕获的成像几何可以被建模为常规透视投影，因为球形图像中的所有光线在单个3-D点处相交。我们将Nikon 16 mm f /2.8 AF鱼眼镜头附加到系统中，并以最大分辨率为12 574times;5658拍摄图像。相机在两个不同的高度捕获场景，通过立体几何重新覆盖场景的深度信息。图。图2示出了立体图像对，其捕获的垂直基线为60厘米，导致240个像素的最大差异。
使用线扫描相机获取环境建模的球面图像有几个优点。首先，我们可以获得具有高动态范围的背景场景的高分辨率细节。第二，如果两个捕获点垂直对齐，则立体匹配可以简化为图像中扫描线的1-D搜索。 Banno和Ikeuchi [19]提出的纠正可以纠正错误。最后，相对简单的校准
是深度重建和注册所必需的。
如果垂直线上的像素均匀地映射到[0，pi;]范围，投影点之间的差异d，将3-D点P的pt（xt，yt）和pb（xb，yb）定义为（1）中的投影点theta;t和theta;b的垂直角度的差。顶部相机与之间的距离rt，3-D点P可以用（2）中的角度计算差距和基线距离B通过三角测量如下：
d(pt ) = theta;t minus; theta;b = (yt minus; yb) times; pi;/imageminus; height （2-1）
使用重建的几何结构进行注册和合并视图之间的特征匹配，使得只有基线由预校准的固定内部参数建模。
使用便携式多高清摄像机系统捕获动态前景场景。相机系统包括高清晰度视频（HDV）摄像机，具有f = 4.5-90mm，F / 1.6-3.5镜头的Canon XH G1s 3，以及提供未压缩HD串行的三个1/3英寸电荷耦合器件数字接口（SDI），分辨率为1920times;1080，具有4：2：2色度子采样。根据捕获的环境，我们有两个相机同步和视频录制的选项。如果可用电源并且可以进行布线，则所有摄像机都将通过外部同步参考同步信号进行同步，未压缩的图像将使用嵌入式时间代码的HD-SDI传输到外部磁盘录像机DVS Xway系统。在户外设置，其中电源不可用并且相机之间布线是不合需要的，所有的相机时间代码都与a同步，提前掌握相机。相机然后以自由 - 运行模式使用其内部时钟进行同步并将视频以压缩的MPEG2格式捕获到磁带。这样可以在没有电缆的情况下使用多台摄像机同时保持同步使快速设置和重新配置，影响最小。同步多媒体可以从磁带中提取tiview图像序列存储的时间码用于离线处理。帧漂移引起使用内部时间码大约是一帧。在我们的实验中，当相机是自由运行的时候，哪个在大多数应用中是可以接受的。自从摄像机和
可以驱动同步锁相同步信号发生器，通过电池，这个系统是完全便携的，可以生产同步多视图图像序列的任何动作。
户外环境图。图3示出了捕获的示例
图3
户外环境中的多视图。
相机校准是三维重建的重要过程，从多视角视频播放。内在参数的相机估计使用棋盘。外在pa-通过使用束的基于标准的校准估计参数
彩色标记的观察位置之间的调整。
相机阵列的魔杖校准开始1-2分钟。
IV。环境建模
A.从球形立体图像对的3-D重建
如第III-A部分所述，如果我们知道摄像机参数和视图之间的点对应关系，则可以从2-D图像中提取3-D信息。过去三十年来，一些关于立体声通信问题的研究已经报道[22]。大多数当前的视差估计算法解决了离散主干的对应问题，如整数，半像素或四分之一像素级。这导致量化误差，并且不足以恢复用于环境建模的光滑表面，因为：1）鱼眼镜头具有较宽的视场（FOV），其视差范围相对较小; 2）由于距离摄像机到背景场景的距离，小的视差变化可能产生较大的深度误差;和3）捕获的图像具有大的径向失真。变量方法可以解决这个量化问题，因为它解决了连续域中的对应问题。离散与差异环境重建中的持续差距领域是如图1所示。量化误差导致阶梯状整数差异的结果中的伪像，而变分方法产生光滑的表面，细节细节。依靠纯粹的基于图像的方法可以是真实的室外场景重建中的风险。 立体声匹配不保证完美的对应，因为真实场景包括非朗伯表面（玻璃，水），导致立体图像对中表面上的不同镜面反射。Windows的反射或透明度
全文共6557字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[142750]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
