英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料
通过深度学习的基于计算机视觉的番茄缺陷检测
|
, , FEEC, University of Campinas, Campinas, SP, Brazil（FEEC，巴西坎皮纳斯市坎皮纳斯大学） FEAGRI, University of Campinas, Campinas, SP, Brazil（FEAGRI，巴西SP坎皮纳斯市坎皮纳斯大学） |
文 章 信 息
|
文章历史： 2019年1月28日收稿 从2019年11月30日收到修订后的文章 2019年12月6日获批 2020年1月3日出版 |
分拣机使用计算机视觉（CV）根据各种属性来分离食品。例如，基于尺寸和颜色的分类通常用于商业机器。但是，使用CV检测外部缺陷仍然是一个悬而未决的问题。该论文提出了使用深度学习对外部缺陷检测的实验性贡献。在这项研究中，建立了一个未经审查的数据集，内有43843张包括外部缺陷的图像。数据集严重失衡于健康类，并且数据集可以在线使用。被调试过的深度残差神经网（ResNet）分类器能够使用特征提取和微调来检测外部缺陷。结果表明，微调的性能优于特征提取，这表明在有足够的数据样本可用时训练附加图层的好处。最好的模型是ResNet50，其所有层都经过微调。 该模型在测试装置上的平均精度达到94.6％。最佳分类器的召回率为86.6％，同时保持91.7％的精度。 分类器分数的后验类条件分布表明，分类器成功的关键在于其几乎理想的健康类分布。结果还解释了为什么该模型不会将茎/花萼与外部缺陷混淆。最佳模型成为了使用CV检测外部缺陷的里程碑。 copy;2019 IAgrE。 由Elsevier Ltd.出版。保留所有权利。 |
|
关键字： 缺陷分类 深度学习 分拣机 计算机视觉 |
1、介绍
工业分选和分级机使用计算机视觉根据颜色，大小和质地等多个标准分离食物；但是，当前使用传统计算机视觉系统（TCVS）的商业解决方案仍然缺乏能够检测大多数类型的外部缺陷（例如瘀伤，雨水损害或擦伤）的算法（Cubero，Lee，Aleixos，Albert和Blasco，2016年; Li，Huang，，＆Zhao，2015）。外部缺陷的存在降低了食品价格，原因有两个。首先，外部缺陷使食物看起来更糟;其次，它们表明食物营养不足甚至被感染。更好的检测算法将能够对水果进行分类，从而将最好的水果发送给消费者市场，将最差的水果发送给食品工业。最终结果将是增加机器所有者的利润，并增加食品安全性和消费者满意度。
命名法
lambda; L2正则化系数
Acc 准确度，%
Ai 人工智能
Ap 平均精度
Auc 接收器工作区域特性曲线，％
convy_x 卷积块y
Cv 计算机视觉
DCNN 深度卷积神经网络
DNN 深度神经网络
GPU 图形处理单元
ILSVRC ImageNet大规模视觉识别
JPEG 联合图像专家组
L2 正则化
MLP 多层感知器
OT 最佳阈值，％
P 精度，％
Per 百分比
P 规范
PR 曲线精密召回曲线
R 召回率，％
ResNet 残留网络
ResNetx 具有x层的残留网络络
TCVS 传统计算机视觉系统
为了改善缺陷检测，必须解决两个主要挑战：检测具有不同视觉特征的多种缺陷，以及区分茎/花萼和真正的缺陷。
为了改善缺陷检测，一些作者建议使用多光谱或高光谱成像(Cuberoet al., 2016; Zhang et al., 2014; Li et al.,2016; Wang et al. ,2011; Folch-Fortuny ,Prats-Montalban, Cubero, Blasco, amp; Ferrer, 2016)尽管取得了一些可喜的结果，但这两种方法仍然与TCVS相比有缺点。高光谱系统价格昂贵，从数十美元到数十万美元不等；此外，他们无法获得像TCVS一样快的图像。多光谱系统不像高光谱解决方案那样昂贵，但是它们仍然比TCVS更昂贵。此外，在特定频段工作的多光谱系统通常在一项任务上表现出色而在其他任务上表现较差，这是常见的。由于缺陷的类型不同及其独
特的视觉特征，因此在缺陷检测任务中，这一限制特别严重。最后，TCVS在市场上更容易获得，并且更易于设置和维护。2014年对水果和蔬菜的外部检查方法的审查显示，大多数缺陷检测算法是基于多光谱或高光谱成像的。少数基于TCVS的方法报告分数较低，并且仅限于几种类型的缺陷，这些缺陷会显着改变颜色或纹理，并且不像花萼或花梗。 (Hu, Dong, Liu, amp; Malakar, 2014; Blasco,Aleixos, amp; Molto, 2007; Xiao-bo, Jie-wen, Yanxiao, amp; Holmes,2010)审查还显示，TCVS和非TCVS都使用相同的标准机器学习技术，例如主成分分析，K均值，线性判别分析和经典的人工神经网络。因此，看来提高TCVS的性能需要超越标准的机器学习算法并测试最新模型。 最近，由于引入了新的范例：深度学习，神经网络社区见证了迄今为止人工智能（AI）方面的最大革命。 深度学习的提议非常简单：训练具有多个中间层的神经网络。 最终结果是一个深度神经网络（DNN），该网络能够从数据中逐层分层提取模式和抽象，直到到达最终层并执行所需的任务。尽管是简单的想法，但从深度卷积神经网络的引入到DNN在ImageNet大规模视觉识别（ILSVRC）中的首个杰出成果，已经过去了三十多年。(Krizhevsky, Sutskever, amp; Hinton, 2012;Fukushima amp; Miyake, 1982; ImageNet Large Scale Visual Recognition Competition (ILSVRC), 2017; Deng et al., 2009)由于可用数据的大量增加，更好的并行计算机硬件和神经网络的理论进步，深度学习解决方案目前在对象分类，对象检测，对象局部状态，图像翻译，语音到文本，自然语言处理以及其他一些与AI相关的任务中占据着主导地位。(Chiu et al., 2017;Huang, Yu, amp; Wang, 2018; LeCun, Bengio, amp; Hinton, 2015;Young, Hazarika, Poria, amp; Cambria, 2017).在其其他成就中，深度学习已经在各种农业应用中显示了非凡的成果。例如，深度神经网络在涉及食品和植物疾病检测的几种类型的研究中均取得了最新成果。 (Arnal Barbedo, 2019;Brahimi, Boukh alfa, amp; Moussaoui, 2017; Cruz et al., 2017, 2019;Lu, Yi, Z eng, Liu, amp; Zhang, 2017) 其他研究领域，例如杂草种类分类(Dyrmann, Karstoft, amp; Midtiby,2016; dos Santos Fer reira, Matte Freitas, Gonҫalves da Silva,Pistori, amp; Theo philo Folhes, 2017),绘制植被质量覆盖图 (Minh et al., 2017)和作物类型估计(Rubwurm amp; Korner, 2017 )通过采用深度学习，也已经取得了重大进步。然而，存在一些农业问题，这些问题可能会对深度学习产生重大影响，但尚未进行研究(Kamilaris and Prenafeta-Bolduacute; , 2018).特别是，没有发现以前的研究可以使用深度学习通过大型数据集（包含至少数万张图像）检测食品的外部缺陷。 因此，这项工作的一个目标是使用海量数据集来开发可检测食品外部缺陷的深度学习检测模型。 在本研究中，采用了深度二元分类器，因为这样模型不仅简单而且易于理解 (Goodfellow,Bengio, amp; Courville, 2016; Murphy, 2012）也能够提供最先进的结果。 本文不着重于识别特定类型的缺陷，例如区分腐烂或瘀伤。 唯一的目标是检测缺陷。 由于建立适当的数据集所需的时间问题，该研究仅分析了一种水果：番茄。
|
图1-番茄分选流程图 |
- 材料和方法
2.1 数据采集
由于深度神经网络是易于过度拟合的大容量模型，因此它们
需要大型数据集才能实现足够的通用性。 但是，农业领域（尤
其是那些具有数千个样本或更多样本的领域）中开放源数据
集的可用性有限，这在学术界已广为人知 (Kamilaris and
Prenafeta-Bolduacute; , 2018)因为缺少足够的样本使基准测试
和训练DNN变得困难。 此外，由于实例类型缺乏多样性，小型数据集可能会高估某些算法的性能( Dyrmann et
al .,2016)因此，大型高质量番茄数据集的编译是这项工作的
主要贡献之一。所有图像都是从Fomesa番茄分选和分级机
采集的，该机在营业时间在巴西坎皮纳斯的一家商业机构正
常工作。 机器无法自动检测外部缺陷。 图1显示了完整排
序过程的流程图。 附录A为流程图中的每个步骤提供了完
整的图，但图4除外，图4同时显示了滚轮轨迹和相机室。
作者在两个月的随机工作日中获得了机器图像。 巴西的三个西红柿品种通过了这台机器：Italiano，杂种Carmen和Debora。 摄像机位于摄像机室的顶部，并捕获位于其下方的黑色滚子轨道的图像。 六个滚轴轨道穿过相机室，每个轨道由两个灯照亮。 灯是欧司朗L36 W / 827-1荧光灯管。图2显示了相机室的内部。西红柿在轨道上滚动，因此摄像机可以拍摄整个表面，因为TCVS需要查看整个水果表面才能对每个西红柿做出准确的预测。机器的速度由R4K7电位器控制。在最大速度下，摄像头仓的估计吞吐量为每秒每轨道8个西红柿（即考虑到所有6条轨道，每秒总共48个西红柿）。 Fomesa机器的硬件包括带有三台计算机的机架：一台用于控制的主计算机和两台用于并行处理来自不同轨道的图像的视觉计算机。机器摄像机在正常调色期间获取的帧将被保存。在任何机器配置或照明方面都没有进行任何更改以方便分类任务。更重要的是，对于通过机器的缺陷类型或包含在数据集中的缺陷类型没有施加任何限制。因此，所获取的图像是真实分类和分级场景中预期结果的可靠表示。在图像获取阶段结束时，将捕获100,000个大小为100 x100x 3的帧并将其另存为JPEG图像。 接下来，通过目视检查对图像进行过滤，以去除不含番茄的框架或高度相似的框架。 在滤波处理43,843之后，获得了合适的图像。
重要的是要注意，没有执行过滤来简化分类任务：分拣机会
忽略没有番茄的帧，而重复的类似帧对TCVS则没有用。后
一步是贴标签。当番茄既健康又适合消费者市场时，图像被
标记为健康且编码为0。如果番茄适合食品行业（例如番茄
酱工厂），则图像被标记为有缺陷。并编码为1。重要的是
要观察到，当健康的西红柿外观不宜人时，应将其归类为1。
曾在工厂分选机上工作超过10年的专业番茄分级员帮助标
记图像。最终数据集包含38884个健康样本和4959个有缺
陷样本。因此，由于番茄供应商的质量控制，该数据集与健
康实例高度不平衡。图3和图4分别显示了健康样本和有缺
陷样本的示例。在图4中，带有大而深色花萼的番茄被标记
为有缺陷，因为其外观对于消费市场而言并不理想。然而，
如图3中的一些样本所示，具有正常花梗的健康番茄并不
被认为是有缺陷的。图4简要介绍了数据集中的各种缺陷及
其不同的视觉特征。附录B包含有缺陷的西红柿的其他图像。
数据
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239239]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
