附录Y 外文原文
Visual surveying platform for the automated detection of road surface distresses
Thegaran Naidoo*a, Deon Jouberta, Tapiwa Chiwewea, Ayanda Tyatyantsia, Bruno Rancatia,
Asanda Mbizenia
aCouncil for Scientific and Industrial Research, 627 Meyring Naude Road, Pretoria, 0001, South Africa
ABSTRACT
Road distresses, such as potholes and edge cracks, are not only a source of frustration to drivers but also negatively impact the economy due to damage to motor vehicles and costly ro6ad repairs. Regular and rapid pavement inspection and maintenance is vital to preventing pothole formation and growth. To improve the efficiency of maintenance and reduce the cost thereof, the Visual Surveying Platform (VSP) is being developed that will automatically detect and analyse road distresses. The VSP consists of a vehicle mounted sensor system, consisting of a high speed camera and a Global Positioning System (GPS) receiver, and an analysis and visualization software suite. The system extracts both a visual image and the coordinates of a detected road defect from recorded video and presents it in an interactive interface for use by technical experts and maintenance schedulers.
The VSP automatically detects and classifies road distresses using a two- stage artificial neural network framework. Video frames first undergo hue, saturation and value (HSV) colour space conversion as well as a spatial frequency transformation before being used as inputs to the neural networks. A road detector neural network first classifies which section of the image contains the road, after which a distress detector neural network identifies those road regions containing defects. Although the VSP can be adapted to detect any type of road distress it has been trained to specifically detect potholes. An initial prototype of the VSP was designed and constructed. The prototype was also trained and tested on real-world data collected from provincial roads.
Keywords: Image processing, road maintenance, sensor systems, neural networks, operations support
1 INTRODUCTION
The deterioration of road infrastructure has a severe negative impact on the economy, motorists and the environment. Deteriorated roads can lead to increased costs in logistics in the form of higher vehicle maintenance intervals, expensive repairs, increased fuel consumption, damaged cargo and delays. The increased operating costs are often transferred to the consumer. Individual motorists also experience damage to vehicles, delays and more importantly the risk to safety from poor road conditions.
It has been found that delays in repairing roads greatly increase the cost of the repairs since road defects become more severe in the interim. In order to effectively make decisions regarding road maintenance schedules and budgets it is important to have current and accurate information about the state of the road infrastructure. Current methods of gathering information of the road infrastructure are time consuming or costly or both.
Inspections are often performed by workers walking along streets and making records of defects along with their locations1. The information gathered manually is then put into a database. An alternative method is to use specialized vehicles that measure the road surface. These vehicles are often costly and municipalities are usually not able to buy many of these vehicles thus limiting the coverage.
The aim of developing the Visual Surveying Platform (VSP) was to develop an automated, cost effective solution to the problem of detecting defects in the road infrastructure. The system consists of an integration of video and Global Positioning System (GPS) data along with an automated analysis module that uses image processing and machine
* tnaido@csir.co.za; phone 27 12 841 4176
learning algorithms. The detections produced by the automated analysis module can also be validated by an operator. In a typical use case the VSP system is attached to a vehicle which drives the inspection route at speeds of up to 60km/h. The data gathered is analysed offline and results are stored in a database for visualization and decision support. The information gathering process is thus simplified and relatively quick. The relatively low cost of the system allows more systems to be deployed which in turn allows an increase in the coverage.
The geo-tagged video data is general enough to allow for the detection of a wide range of road defects such as potholes, cracks, poor road markings and damaged road signs. As a first module the research focused specifically on the detection and analysis of potholes.
Section 2 gives an overview of the system and its components. Section 3 discusses the implementation of the analysis module and details the algorithms used. Section 4 presents the results obtained from field testing and current and future developments are described in Section 5. Conclusions are given in Section 6.
1 Literature Study
Effective road inspection programs reduce the expense of road maintenance by providing timely and accurate information on the state of roads, highlighting regions that require preventative repairs before major and c
剩余内容已隐藏，支付完成后下载完整资料
附录X 译文
路面的问题自动检测的视觉测量平台
摘要
路面缺陷，比如凹坑和边缘裂缝，不仅对司机来说是麻烦而且因为机动车车轮和道路的维修费用对经济造成负面影响。定期的迅速的路面检查和维护对预防坑洼的形成和增长至关重要。为了提高维护的效率和减少其中的费用支出，开发了虚拟勘测平台Visual Surveying Platform(VSP)来自动探测和分析路面的缺陷。VSP包括一个车辆传感系统，一个高速摄像头和一个全球定位系统GPS接收器，还有一个分析和可视化软件程序。该系统从记录的视频中摘取可视化图像和路面缺陷的坐标并且在一个可交互的界面中显示给技术专家和维护人员。
VSP使用两级的人工神经网络架构自动化探测并分类路面缺陷。视频帧在被作为神经网络的输入前首先经过色彩，饱和度和数值(HSV)色彩空间转换还有空间频率变换。一个路面探测器神经网络首先区分图像的哪个部分包含了路面，在这之后缺陷探测器神经网络确定包含缺陷的路面区域。尽管VSP可以被改造成任何种类的路面缺陷，它尤其擅长探测路面的坑洼。VSP的初始原型被设计和建造出来了。原型也被训练和测试由省道收集而来的真实事件的数据。
关键字：图像处理，路面维护，传感器系统，神经网络，操作支持
介绍
路面基础设置的退化已经对经济、驾驶员和环境造成了负面影响。不断恶化的道路导致不断增长的后勤开销主要体现在更短的机动车维护周期，昂贵的维修费，更大的燃料消耗和货物受损或是未及时送达造成的损失。更有甚者，恶劣的路面情况对安全造成了严重的威胁。
我们已经得知路面维修的延迟很大程度上增加了维修的费用是因为缺陷在这段过渡期中不断恶化。为了有效地制定路面维护计划和预算，及时准确的路面基础设施的状态信息很重要。现有的从路面收集信息的方法费事费力。
经常是由工作人员沿着道路行走并检查和记录路面缺陷的方位。然后把手动收集到的信息输入到数据库中。另外一个可选择方法是使用特殊的交通工具来测量路面。这些交通工具往往很昂贵而且以市政府因为财政压力没有能力买很多这样的设备。
开发VSP的目的就是为了开拓一个全自动化的，更经济的解决方案来探测路面基础设施的缺陷。该系统包括了集成式的录像和GPS数据库还有基于图像处理和机器学习算法的自动化分析模块。自动化分析模块生成的探测也可以由操作员来确认。VSP系统的一个经典的使用方案就是固定在一个时速60km的沿着检查路线行驶的交通工具上。采集到的数据被离线分析然后结果将被保存在数据库里为了今后的确认和决策支持。信息采集步骤因此被简化了而且相对很快捷。相对低成本的系统允许更多的系统被部署来提高覆盖率。
以地理位置标签的视频数据足够通用，允许探测宽范围的路面缺陷，比如坑洼、裂缝、损坏的路面标志。作为第一模块，调查尤其集中在探测和分析坑洼。
第二部分对系统和它的组成部分作了概述。第三部分讨论了分析模块的实现和使用的算法的细节。第四部分展示了从场地测试获取的结果并且现在和将来的发展将在第五部分描述。第六部分会给出结论。
1.文献学习
有效的路面检查程序减少路面维护的费用支出，通过提供及时又准确的路面状态信息，在主要的损坏发生前高亮化需要预防性维修的区域。目前的检查程序经常依赖人工评估路面，这个是既费事又费力的任务。自动化的检测系统被用作检测程序的一部分，可以通过更深入和精确的路面质量和缺陷来改进路面维护，而且比人工的方法更快。自动测量的路面质量指标包括凹槽的深度和路面的粗糙程度。对路表缺陷（裂缝和坑洼）的探测，不只是提供了道路结构稳定性的迹象，而且预防对机动车的潜在危险。
自动的路面检测系统由绑定了GPS的交通工具（扫描并记录探测到的缺陷的位置）和一些附加的传感器（从路表收集数据）组成。激光扫描仪经常在这里被使用因为这样的设备产生的高分辨率的数据。2D的激光扫描仪普遍被使用，3D扫描图可以使用两个关联的自动同步的激光扫描仪来获取，或者使用一些基于激光的光学传感器。结构化的光传感器也可以被使用，这种情况下成功地使用摄像机扫描和一个线性的激光源组合起来生成路表的3D图像。可选择地，渗透性地面雷达（GPR），也可以获取路表结构的数据，也被使用在道路检测系统中。通常来说，激光扫描器和GPR是非常昂贵的设备，这就限制了小的或者资金不够的维护机构来使用基于这些设备的道路检测系统。
取代了使用复杂的检测交通工具，正在使用道路的机动车和用户的数据能够被收集和处理来指示道路的状态。一个概念上这样的系统的架构可以被开发出来，不同的车辆上的传感器数据自动地被处理用来探测坑洼并且给附近的驾驶员发送警告。我们认为结构化的光传感器可以很容易地被固定在公共交通工具上，比如巴士和的士，经常在主干道上行驶。道路维护项目能从这样的附加信息中得益但是还是需要要求复杂的检测车辆来获取定时的，可靠的并且可控制的路表信息。
为了减少自动化检测系统的成本，摄像机可以被用作表面检测传感器。摄像机被用来探测并且分类多种裂缝和坑洼。可视化的传感器不仅仅相对便宜而且高速率地产生大量数据。但是，生成的数据必须被集中使用进一步的算法处理来得到有用的信息。局部的有差异的等式被用来形象化地分割并且孤立贫困地区当纹理过滤分析被用来验证坑洼探测。
机器学习算法，比如向量机和自然网络已经被用来创建为了探测路表缺陷的分级系统。尽管使用自然网络的系统有一些相似，但是经常在网络配置上有些显著的不同，输出如何被利用还有尤其是网络的输入如何被处理。预先探测缺陷像素化分组的统计功能已经作为输入被使用，图像也已经首先缩减到二进制裂缝砖块代表之前被使用作为输入的。
2.VSP概述
图1所示表示在日常使用VSP平台来探测和维修坑洼的案例中的关键部分和步骤顺序
传感器系统被装在车辆上并且沿着要被检测的路线开。传感器捕捉视频数据和GPS数据一起被同步。在路线被行走过后捕捉到的数据被上传到运行着VSP分析和可视化套件（AVS）的电脑上并且被存储在数据库中。AVS允许用户测试坑洼，验证还有为维修人员创建工作卡。给维修人员的工作卡指导维修人员。下面的部分进一步描述主要模块。
2.1传感器系统
传感器系统被固定在一辆车上，捕捉被检路线的和GPS数据同步的视频。车辆可以以60km的时速行驶。
系统中的关键传感器是一个有GPS单元的高分辨率的高帧率（720p）摄像机。高帧率对避免动态模糊的影响是有必要的。动态模糊转换为在每一帧中有损的空间频率，空间频率在探测坑洼和裂缝中是关键的性能，所以迫切需要最小化动态模糊的影响。
摄像机有一个广角镜头来获得更大的视野。这允许缺陷探测能够覆盖两条路线。
图2(a)展示了第一个已建成的原型的图像，图像2(b)展示了第二个最近完工的原型的图像。两个原型之间主要的不同在于原型二使用单镜头而原型一使用了立体摄像头系统，前者有一个车载电脑并且周边通讯设备是移动传感系统的一部分。
原型一使用了宽基准线的双摄像机系统使用立体视野来估算被探测的坑洼的尺寸。这被证明了不怎么精确，因为在两个镜头的图像之间缺少唯一的联系的事物。同时，调查了关于使用单个校准过的摄像头带来的单应性还是继续存在，而且被发现要对最新的被探测到的坑洼的三维空间做更多的估计。但是，这种方法不允许精确的推断坑洼的深度而这在很多使用案例中被证明是足够的。
两个原型使用车辆的电池作为主要的电源而且都包括后背电池来确保操作中最小的数据损失。
递增的系统包括机械阻尼来最小化行程中震动带来的负面影响。尽管系统没有为雨天环境专门设计，两个原型都被设计成轻微的放水性来以防雨中检测带来的损害。
2.2分析模块
尽管分析和可视化套件（VSP）不是逐帧分析的，一个版本被开发用来演示分析包括了在图3中可见的坑洼的视频帧的截屏。
分析模块的截屏显示了有一个被探测到的坑洼在右手边的探测狂内。
AVS允许用户下载传感器系统捕捉到的数据来分析。分析模块由一个串联的两个自然神经网络的分类器组成。第一个分类器从视频帧中摘取道路。道路的数据被传送到第二个分类器，试着在道路数据中探测坑洼。神经网络分类器将在第三部分中详细解释。
图4显示了数据处理的流程图
图4. 数据处理使用串联的自然神经网络分类器
在用户特定的关于神经网络文件的位置的参数初始化后，数据文件被加载并且程序同步视频中的每一帧带着GPS数据的视频帧。
下面一个号道路分类器运行，使用一个基于填充算法的凸包连接道路的相关的补丁。结果被连接到只包含了路面也就是没有天空、路边等的部分。
第二个分类器然后运行来探测坑洼。坑洼被使用轮廓探测分割开并且连接部分的分割线决定边界。填充单应性的算法然后在每个探测到的坑洼上运行来决定坑洼的最新的空间。每个坑洼的探测和GPS位置还有空间信息一同被封装起来添加进数据库。
探测是通过一系列后置国旅算法来运行的。第一个后置过滤器通过探测并且删除重复的部分。这个通过使用度量标准来决定一些从连续的到不连续的序列的探测来实现的。接下来的过滤器接着探测并且删除被错误分类到坑洼的碎片引发的错误。一个基于直方图的算法被使用来删除这些错误。
2.3可视化和操作支持模块
被添加进数据库的探测可能会通过AVS被浏览。图5显示了主要的可视化屏幕的截屏。数据库中的探测可能会被时间国旅掉。
探测在地图上以标签的形式显示。标签的颜色快速给出了探测性质的可视化提示。用户可能选择一个标签来浏览图像和被探测到的坑洼。
通过相同的用户使用界面，用户可能会通过选择是否它是坑洼来验证探测。低辨识度的坑洼探测由用户证实的方式来标记。如果用户手动标志一个探测为错误，然后它将被从数据库中的有效探测集合中被删除。
每个探测可能会由一个工作卡被选择。系统然后绘制一个相同的工作卡中可合并的所有的坑洼的路线。软件也做一些在工作卡上选择的路线的计算。估算距离、驾驶的时长和在维修中需要的材料的数量。
路线的摘要和沿着从第一个坑洼的道路方向的维修信息可能会被打印在一个PDF文档中并且把它们给维修人员。
图5 可视化屏幕
3.神经网络的含义
路表和坑洼是通过VSP软件经过神经网络训练过的图像块分级中的视频帧来识别的。开放源代码的计算机视觉类库机器学习库被用来同时训练和填充神经网络，它提供了解释，神经网络可以定制成VSP道路自动检测系统的一部分。
3.1 神经网络填充
分析模块作为AVS的一部分，探测视频流中的坑洼。它通过提供两个神经网络分类器来实现这个。第一个分类器探测并摘取道路信息，第二个分类器探测道路数据中的坑洼。每个分类器都是二进制分类器。
坑洼是没有规律的，很难直接定义。因此为了坑洼开发功能性萃取器是一个挑战。一个方法是坑洼被定义成在相同的道路结构中不连续的。这表示在这种问题的背景下第一级探测器是很有用的。但是许多实际的道路也是不连续的。为了解决这个问题，当所有图像都很常见时使用关键的图像性质，也是坑洼图像的重性质。
在测试一些示例图像后，使用来自HSV色域连同空间频率的信息。据推测，这些能够允许分离出坑洼的图像质量信息直接有联系。以图像和过滤每一张来摘取色彩饱和度和空间频率等信息的形式来建立数据集。转化过的图像被输入到二进制的神经网络中来允许自动化引出合适的功能和关系。二进制的神经网络被用在这个方法中然后一起连起来创建一个探测道路的分类器和另一个探测坑洼的分类器。
综合的数据在这个方法中鉴别基本的图像性质，它们包含了区别各种事物的信息并且允许神经网络通过给它挑选出的示例来派生出合适的功能。
每个分类器的二进制的神经网络可以在不共享提供转换图像的数据的情况下操作。说到这种独立化的优点，如图6所示，神经网络被实施用来多线程并行实时运行，提高分类器的处理速度。
图6 神经网络实施的流程图，多线程神经网络操作
3.2 训练步骤
训练步骤是一个被监管的学习过程并且大部分过程包括了手动的数据准备和数据集的标注。大概的训练过程如图7所示
图7 诊断神经网络训练步骤的流程
传感器系统捕捉到的视频信息被分离并且排序成包含了事物信息的帧。一些为道路分类器准备的帧由道路的干净部分还有包含了细节信息的部分（维修碎片和阴影）组成。分类器可以来处理它们。为坑洼分类器准备的帧由很多可以获取的坑洼的示例组成。道路分类器和坑洼分类器的数据集被收集来并且独立做准备。块被手动从图形中根据它们是否为道路数据还有是否为坑洼选择出来。
这些有用的无用的块被摘取并且过滤来摘取基本的图像性质，比如色彩饱和度和空间频率。这些东西然后被用来训练神经网络。
一个设计好的VSP系统的原型被建成了并且用于初始化测试来决定车辆可视化检测系统的可行性。神经网络的探测精度和软件分析系统的完成度将被
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[505771]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
