(12)发明专利申请
(10)申请公布号 CN 110378222 A(43)申请公布日 2019.10.25
(21)申请号 201910513440.X(22)申请日 2019.06.14
(71)申请人 安徽南瑞继远电网技术有限公司
地址 230088 安徽省合肥市高新区科学大
道90号
申请人 国网山东省电力公司电力科学研究
院
国家电网有限公司(72)发明人 杨建旭 黄前华 李程启 郑文杰
黄文礼 童旸 (51)Int.Cl.
G06K 9/00(2006.01)G06K 9/62(2006.01)G06T 7/00(2017.01)
权利要求书2页 说明书10页 附图3页
(54)发明名称
一种输电线路防震锤目标检测与缺陷识别方法及装置(57)摘要
本发明公开了一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：通过图像采集装置获取防震锤图片；对防震锤图片进行预处理得到预处理图片；构建特征提取模块、特征增强模块和像素级预测模块；对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。本发明还提出一种输电线路防震锤目标检测与缺陷识别装置。本发明极大的提高高分辨率图片的检测速度；一定程度减少计算，实现快速且精准的防震锤目标检测与缺陷识别，提高电力巡检工作的效率。
CN 110378222 ACN 110378222 A
权 利 要 求 书
1/2页
1.一种输电线路防震锤目标检测与缺陷识别方法，其特征在于，包括以下步骤：通过图像采集装置获取防震锤图片；
对防震锤图片进行预处理得到预处理图片；构建特征提取模块、特征增强模块和像素级预测模块；对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
2.根据权利要求1所述的方法，其特征在于，所述通过图像采集装置获取防震锤图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的防震锤进行拍摄得到防震锤图片。
3.根据权利要求1所述的方法，其特征在于，所述对防震锤图片进行预处理得到预处理图片；具体包括：对防震锤图片进行裁剪、旋转和缩放得到预处理图片。
4.根据权利要求1所述的方法，其特征在于，还包括，建立图片数据库，所述图片数据库为根据防震锤的缺陷规则建立图片数据库；其中防震锤的缺陷规则分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损；并且通过labelimg标注工具进行目标的标注；并将图片数据库中的数据集，分为训练集、测试集和验证集。
5.根据权利要求1所述的方法，其特征在于，所述构建特征提取模块；具体包括：结合深度可分离卷积，分组卷积和深度可分离通道卷积的概念，提出分组模块和分组通道模块，将两个分组通道模块和一个分组模块进行组合，得到轻量型特征提取网络；输入图像经过特征提取网络，构建多尺度的特征融合结构；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块。
6.根据权利要求1所述的方法，其特征在于，所述构建特征增强模块，包括通道增强模块和空间增强模块，将通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。
7.根据权利要求1所述的方法，其特征在于，所述构建像素级预测模块；将特征增强模块的增强特征经过两个并行的卷积分支，分别形成分类函数和回归函数，其中分类函数用于预测图片的每个像素点的分类结果，回归函数用于预测每个像素点到边界框的参数。
8.根据权利要求1所述的方法，其特征在于，所述对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；具体包括：
把特征提取模块、特征增强模块和预测模块进行连接；将预处理图片的数据信息输入至训练模型中，得到对应图片的防震锤边界框及分类信息；
为预测值设置目标函数；
利用训练数据输进网络通过对目标函数进行优化；实现端对端的训练。9.根据权利要求1所述的方法，其特征在于，所述对训练模型进行测试，实现对预处理图片中防震锤的目标检测和识别，具体包括：
利用Tensorflow训练模型，并将训练模型固化，去除多余的参数，通过固化后的模型对预处理图片进行目标检测和缺陷识别。
10.根据权利要求1-9中任一所述的方法提出一种输电线路防震锤目标检测与缺陷识
2
CN 110378222 A
权 利 要 求 书
2/2页
别装置，其特征在于，包括：
图像采集单元，用于获取防震锤图片；图像预处理单元，用于对防震锤图片进行预处理得到预处理图片；模块构建单元，用于构建特征提取模块、特征增强模块和像素级预测模块；训练模型单元，用于对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
检测识别单元，用于将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
3
CN 110378222 A
说 明 书
1/10页
一种输电线路防震锤目标检测与缺陷识别方法及装置
技术领域
[0001]本发明涉及架空输电线路安全技术领域，尤其涉及一种输电线路防震锤目标检测与缺陷识别方法及装置。
背景技术
[0002]在架空输电线路中，输电线随风振动，长时间周期性的振动容易导致线路断股，严重威胁到架空输电线路的安全可靠运行。防震锤是架空输电线路中的重要器件，可以起到减少架空输电线路震动损伤的作用。但是架空输电线路实施远距离电力传输，期间必然会跨越不同的自然环境。在经历长时间风吹日晒后，防震锤会产生各种缺陷，导致防震锤不能发挥原本的作用。所以在架空输电线路的巡检过程中，防震锤的缺陷检测是巡检的重要工作。
[0003]目前的架空输电线路的巡检过程中，人工巡检非常耗时，且巡检人员的工作存在一定的安全性。近年来，随着无人机技术的快速发展，以及高效稳定的无人机在其他领域的应用。国内许多电力公司开始陆续采用无人机来辅助巡检工作。但是无人机所拍摄的图片，具有数据量大、背景复杂、相对于防震锤角度多变、电力设备相互遮挡、且分辨率高等特点。而如果仅仅靠巡检人员来分析图片中电力设备的缺陷，则很容易导致误检和误判，从而会加大检修的成本，这反而没有从引入无人机技术来获利。随着目前深度学习技术的发展，如何快速地、精确地检测出无人机拍摄的架空输电线路图像中防震锤缺陷已成为一个热门问题。
[0004]在当前的目标检测领域，卷积神经网络的应用使得目标检测的性能有了一个极大的飞跃。目标检测模型分为两类：一类是两阶段检测器，将预测分为两个步骤，分别完成，这一类的典型代表是R-CNN, Fast R-CNN, Faster-RCNN家族，他们识别错误率低，漏识别率也较低，但速度较慢，不能满足实时检测场景；另一类方式称为单阶段检测器, 典型代表是YOLO, SSD, YoloV2、v3等，虽然速度很快但是检测精度还有待提升。就无人拍摄的输电线路图片来说，图片的分辨率很高，基本都在8000×6000的水平，而防震锤大小平均都在255×125水平，利用SSD和YOLO在实验中发现漏检率非常高，而在实际工程应用中待检测目标占图像比例较小的情况更为普遍。且测试高分辨率的图片时速度并没有比Faster-RCNN有更突出的优势。
[0005]目前所有主流的检测器，如Faster R-CNN、SSD、YOLOv2、v3都依赖于一组预定义的锚盒，长期以来人们认为锚盒的使用是检测器成功的关键。尽管它们取得了巨大的成功，但值得注意的是，基于锚的检测器存在一些缺陷：
1.需要在基于锚的检测器中仔细调整这些锚的尺寸、纵横比和数量这些超参数。
[0006]2.预定义的锚需要在具有不同物体尺寸或纵横比的新检测器任务上进行重新设计。
[0007]3.为了实现高查全率，需要基于锚点的检测器在输入图像上密集地放置锚盒。大多数这些锚在训练期间被标记为阴性样本。过多的阴性样本加剧了训练中阳性和阴性样本
4
CN 110378222 A
说 明 书
2/10页
之间的不平衡。
[0008]4.在训练期间计算所有锚和真值框之间的交并比（IOU）时，过多的锚也会显着增加计算量和内存占用量。
[0009]但网络结构较复杂参数相对较多，因此计算速度会稍慢、对内存空间的占用也较多，无法满足一些计算资源有限或者对实时性要求较高的场合。在防震锤以及其缺陷的检测精度与效率上均还存在一定的差距，投入到实际应用中，存在的问题就更加明显。发明内容
[0010]针对上述现有技术存在不足，本发明提供一种输电线路防震锤目标检测与缺陷识别方法及装置，通过经过模型约简的特征提取模块和为了提高特征表达的特征增强模块以及最后的预测模块，可以在资源有限的情况下，实现快速高效的防震锤目标检测。[0011]本发明采用的技术方案为：
一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：通过图像采集装置获取防震锤图片；
对防震锤图片进行预处理得到预处理图片；构建特征提取模块、特征增强模块和像素级预测模块；对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
[0012]作为本发明的进一步技术方案为：所述通过图像采集装置获取防震锤图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的防震锤进行拍摄得到防震锤图片。
[0013]作为本发明的进一步技术方案为：所述对防震锤图片进行预处理得到预处理图片；具体包括：对防震锤图片进行裁剪、旋转和缩放得到预处理图片。[0014]作为本发明的进一步技术方案为：还包括，建立图片数据库，所述图片数据库为根据防震锤的缺陷规则建立图片数据库；其中防震锤的缺陷规则分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损；并且通过labelimg标注工具进行目标的标注；并将图片数据库中的数据集，分为训练集、测试集和验证集。[0015]作为本发明的进一步技术方案为：所述构建特征提取模块；具体包括：
结合深度可分离卷积，分组卷积和深度可分离通道卷积的概念，提出分组模块和分组通道模块，将两个分组通道模块和一个分组模块进行组合，得到轻量型特征提取网络；输入图像经过特征提取网络，构建多尺度的特征融合结构；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块。
[0016]作为本发明的进一步技术方案为：所述构建特征增强模块，包括通道增强模块和空间增强模块，将通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。
[0017]作为本发明的进一步技术方案为：所述构建像素级预测模块；将特征增强模块的增强特征经过两个并行的卷积分支，分别形成分类函数和回归函数，其中分类函数用于预测图片的每个像素点的分类结果，回归函数用于预测每个像素点到边界框的参数。
5
CN 110378222 A[0018]
说 明 书
3/10页
作为本发明的进一步技术方案为：所述对特征提取模块、特征增强模块和像素级
预测模块进行连接优化，建立训练模型；具体包括：
把特征提取模块、特征增强模块和预测模块进行连接；将预处理图片的数据信息输入至训练模型中，得到对应图片的防震锤边界框及分类信息；
为预测值设置目标函数；
利用训练数据输进网络通过对目标函数进行优化；实现端对端的训练。[0019]作为本发明的进一步技术方案为：所述对训练模型进行测试，实现对预处理图片中防震锤的目标检测和识别，具体包括：
利用Tensorflow训练模型，并将训练模型固化，去除多余的参数，通过固化后的模型对预处理图片进行目标检测和缺陷识别。
[0020]本发明还提出一种输电线路防震锤目标检测与缺陷识别装置，包括：
图像采集单元，用于获取防震锤图片；图像预处理单元，用于对防震锤图片进行预处理得到预处理图片；模块构建单元，用于构建特征提取模块、特征增强模块和像素级预测模块；训练模型单元，用于对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
检测识别单元，用于将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
[0021]本发明的有益效果为：
本发明提供一种基于参数约简和特征增强的输电线路防震锤目标检测与缺陷识别方法，采用的模型压缩手段，通过使用一种分组通道卷积实现防震锤的目标检测与缺陷识别；本发明可以在不损失精度的同时，极大的提高高分辨率图片的检测速度；通过提供一种特征增强模块，可以极大的提高特征的表达能力；通过像素级预测模块，不使用预先设定的锚，可以一定程度减少计算，且精度没有丝毫影响；通过三者的结合，实现快速且精准的防震锤目标检测与缺陷识别，提高电力巡检工作的效率，使得电力巡检工作向智能化迈进。附图说明
[0022]图1为本发明提出的一种输电线路防震锤目标检测与缺陷识别方法流程图；
图2a为本发明提出的所述轻量型网络中分组模块流程图；图2b为本发明提出的所述分组通道模块流程图；图3为本发明提出的所述特征增强模块示意图；图4为本发明提出的所述像素级预测模块示意图；
图5为本发明提出的一种输电线路防震锤目标检测与缺陷识别装置结构图。具体实施方式
[0023]本发明提供一种输电线路防震锤目标检测与缺陷识别方法，采用全卷积的单级目标检测器，以每像素预测的方式解决目标检测问题，类似于语义分割。其中单极检测器是不需要人为预先定义锚的。通过消除预定义的锚，本发明完全避免了与锚相关的复杂计算，大
6
CN 110378222 A
说 明 书
4/10页
大减少了训练内存占用、同时避免了与锚相关的所有超参数，这些超参数通常对最终检测性能非常敏感。
[0024]本发明中引入了两个简单而有效的网络单元，空间关系模块和通道关系模块，用于学习和推理任意两个空间位置或特征图之间的全局关系，生成关系增强的特征表示。最终送入后续网络做预测。可以避免使用卷积运算与局部感受导致的无法构建上下文空间关系。
[0025]本发明通过模型约简的方式来提高防震锤缺陷检测的速度，同时很好的保证其精度，实现速度和精度的均衡。本发明采用的模型压缩手段是通过使用一种分组通道卷积的方式来实现防震锤的目标检测与缺陷识别，可以在不损失精度的同时，极大的提高高分辨率图片的检测速度。
[0026]本发明提供的技术方案总体思路如下：
本发明提供一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：通过图像采集装置获取防震锤图片；对防震锤图片进行预处理得到预处理图片；构建特征提取模块、特征增强模块和像素级预测模块；对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
[0027]以上是本申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。[0028]实施例一
如图1所示，为本发明提出的一种输电线路防震锤目标检测与缺陷识别方法流程图。[0029]参照图1，一种输电线路防震锤目标检测与缺陷识别方法，包括以下步骤：
步骤100，通过图像采集装置获取防震锤图片；步骤200，对防震锤图片进行预处理得到预处理图片；步骤300，构建特征提取模块、特征增强模块和像素级预测模块；步骤400，对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
步骤500，将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
[0030]本发明提供一种基于参数约简和特征增强的输电线路防震锤目标检测与缺陷识别方法，采用的模型压缩手段，通过使用一种分组通道卷积实现防震锤的目标检测与缺陷识别；本发明可以在不损失精度的同时，极大的提高高分辨率图片的检测速度；通过提供一种特征增强模块，可以极大的提高特征的表达能力；通过像素级预测模块，不使用预先设定的锚，可以一定程度减少计算，且精度没有丝毫影响；通过三者的结合，实现快速且精准的防震锤目标检测与缺陷识别，提高电力巡检工作的效率，使得电力巡检工作向智能化迈进。[0031]在步骤100中，所述通过图像采集装置获取防震锤图片，具体包括：采用无人机和摄像装置相结合的拍摄方式，对输电线路上的防震锤进行拍摄得到防震锤图片。[0032]具体为，通过无人机拍摄不同背景下、不同角度下的输电线路图片，增加样本的多
7
CN 110378222 A
说 明 书
5/10页
样性，从而更好的提高模型的泛化能力。对于拍摄的图片进行筛选，删除不含有防震锤的图片。
[0033]在步骤200中，所述对防震锤图片进行预处理得到预处理图片；具体包括：对防震锤图片进行裁剪、旋转和缩放得到预处理图片。
[0034]由于通过图像采集装置采集的防震锤图片的分辨率很高，有的能达到8000×6000，如果直接送进网络不仅检测速度很慢而且对于防震锤这种小目标来说检测的精度会很低，所以需要对于图片进行裁剪；同时为了增强模型的泛化能力，需要对数据进行数据增强，包含对于图片的裁剪、翻转/旋转、尺度变化、mixup等一些数据增强手段。[0035]具体为，对图像采集装置获得高分辨率的图片进行裁剪，裁剪策略采用分块有重叠的裁剪；裁剪之后图片的大小在1300×1000左右；然后进行图片数据的增强，主要是对于图片进行旋转，旋转角度为60度，最后把图片进行缩小或者放大，完成数据集的前期的扩充以及增强的工作。
[0036]本发明实施例中，还包括，建立图片数据库，所述图片数据库为根据防震锤的缺陷规则建立图片数据库；其中防震锤的缺陷规则分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损；并且通过labelimg标注工具进行目标的标注；并将图片数据库中的数据集，分为训练集、测试集和验证集。
[0037]根据防震锤的缺陷规则，防震锤的检测主要分为防震锤正常、防震锤锈蚀、防震锤锈蚀且破损。上述对防震锤图片进行预处理后形成预处理图片，通过labelimg标注工具进行目标的标注。一张图片标注完成后会生成一个xml文件，里面包含标注目标的标签目标的左上角和右下角坐标，保存所有图片的xml文件；
然后分别放在两个文件夹下；xml文件的名字和图片的名字除了后缀名字是一一对应的；把建立好的数据集，分为训练集33%和测试集33%还有验证集33%三个数据集不能有重复数据。
[0038]参见图2a和图2b，其中图2a为本发明提出的所述轻量型网络中分组模块流程图；图2b为本发明提出的所述分组通道模块流程图；
如图2a和图2b所示，所述构建特征提取模块；具体包括：结合深度可分离卷积，分组卷积和深度可分离通道卷积的概念，提出分组模块和分组通道模块，将两个分组通道模块和一个分组模块进行组合，得到轻量型特征提取网络；输入图像经过特征提取网络，构建多尺度的特征融合结构；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块。
[0039]输入图像经过特征提取网络后，保留网络第三层、第四层和第五层输出的具有不同语义和分辨率的特征；构建多尺度的特征融合结构，第五层的特征经过上采样到与第四层特征相同尺寸之后与之合并，同样再上采样到与第三层特征尺寸相同之后与之合并，假设第三层、第四层和第五层分别表示为F3，F4，F5，则经过融合后的对应特征则为M3，M4，M5；多尺度特征融合结构和轻量型特征提取网络共同构建特征提取模块；此模块在大型分类数据集ImageNet上进行预训练。
[0040]由于深度可分离卷积的提出，深度可分离卷积可以将标准的卷积分解为一个深度卷积加上一个 1×1的卷积；假设输入特征图大小为 M_F×M_F×I，输出特征图大小为 M_F×M_F×J，卷积核大小为 D_K×D_K，则标准卷积的计算量为：D_K×D_K×I×J×M_F×M_F；
8
CN 110378222 A
说 明 书
6/10页
深度可分离卷积的计算量：D_K×D_K×I×M_F×M_F+I×J×M_F×M_F；带入具体数据可以发现在保证准确率的条件下,计算时间减少为原来的1/9，计算参数减少为原来的1/7。在结合分组卷积的思想；提出一种深度可分离通道卷积的概念。[0041]通过上述的深度可分离通道卷积的概念，提出分组模块和分组通道模块，其中分组模块的结构是：首先最初的特征映射这里我们假设为F0，F0经过一个3×3深度卷积接着一个1×1分组卷积然后通过批归一化和激活函数，再接一相同结构最后得到一个特征图我们假设为F1，然后把F1与F0进行相加；最后输出特征图设为F2。这就构造一个分组模块。我们把3×3深度卷积表示DW，分组卷积表示为GC，批归一化表示BN，激活函数表示ReLu，所以分组模块的结构具体描述是：F0—>DW—>GC—>BN、ReLu6—>DW—>GC—>BN、ReLu6—>F1—>F2（F1+F0）；接着构建分组通道模块，只需在提到的分组模块中添加一个分组通道卷积并且把第二个1×1分组卷积换成1×1卷积即可；这里可以把分组通道卷积表示成GCWC；所以分组通道模块的具体结构是：F0—>DW—>GC—>BN、ReLu6—>DW—>1×1卷积—BN、ReLu6—>F1—>GCWC—>F2（F1+F0）。
[0042]通过如上步骤的两个模块，利用两个分组通道模块和一个分组模块进行方式进行堆叠，提出一种新的轻量型特征提取网络。
[0043]特征提取模块中多尺度的结构具体为通过特征提取网络实时保存下来的三层特征图设为第三层（F3）、第四层（F4）、第五层（F5）；第五层的特征映射做2倍上采样到与第四层特征相同尺寸之后按元素相加，同样再做2倍上采样到与第三层特征尺寸相同之后按元素相加，则经过融合后的对应特征则为M3、M4、M5，与F3、F4、F5一一对应且对应具有相同尺寸；为了开始迭代，只需在F5上附加一个1×1卷积层来生成低分辨率图M5；最后，在每个合并的图上附加一个3×3卷积来生成最终的特征映射，这是为了减少上采样的混叠效应；这个最终的特征映射集称为{F3，F4，F5}，分别对应于{M3，M4，M5}。此处特征映射的通道数是256。
[0044]参见图3为本发明提出的所述特征增强模块示意图；
如图3所示，构建特征增强模块，包括通道增强模块和空间增强模块，将通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。
[0045]通过考虑特征中通道的潜在关系以及特征的上下文空间关系，发明一种通道增强模块和空间增强模块，让通道增强模块和空间增强模块通过串联的方式来组合成一个特征增强模块。通过此模块把步骤S4中输出的M3，M4，M5三个尺寸的特征分别进行增强。[0046]假设增强后的特征图分别为AM3，AM4，AM5；增强后的特征AM3，AM4，AM5会经过两个并行的卷积分支，单个卷积分支由4个卷积层组成。其中一个分支用来分类，另一个用来回归。其中分类分支又包含两个分支一个是分类，另一个是中心度预测分支，分类分支最后输出一个W×H×C维的向量，来预测该特征图的每个像素点的分类结果。而中心度预测分支输出一个H×W×1的向量，以预测一个位置的“中心”(即为该位置到所属对象中心的距离)。中心度预测分支主要用来抑制检测到的低质量边界框，而不引入任何超参数。同样，回归分支最后会输出W×H×4的向量，以预测每个像素点预测到的边界框相关参数。其中W代表图片的宽，H代表图片的高，C为分类的类别数。[0047]本实施例中，充分考虑到特征映射中通道以及空间上下文的关系，利用一个通道增强模块和空间增强模块串联的方式来强化特征映射的表达能力，对特征映射做进一步的
9
CN 110378222 A
说 明 书
7/10页
增强。
首先构建一个空间增强模块，为了能捕获特征图的全局空间关系我们采用一种空
间增强模块，空间增强模块的用公式定义如下：
；
这里假设整个特征图用
来表示，其中
和
表示特征映射中的单个向量；
[0048]
可以理解成特征图中每个通道相同位置的值组成的一个向量，单个向量的大小是C×1×1；
其中
；
这里
和
[0049]
；
是在网络训练阶段可以学习的权重矩阵。
的具体实施步骤是：首先特征映射X分别通过一个1×1的卷积生成
和两个矩
，接着和经过形状转换和转置操作分别生成和
阵；最后上面两个矩阵经过矩阵相乘操作生成尺寸为
形状的矩阵；
操作完成；
的矩阵；然后再转换成
操作完成后，生成一个
此完成空间特征增强模块定义的公式中
[0050]
形状的矩阵；然后经过一个ReLu激活函数；至
全部操作。
；这里只使用一个按通道方向的连接操作，即，
。
由于仅仅依靠空间关系会导致片面的判断，因此，进一步将空间关系特征映射与
原始特征映射X融合如下:留了高级语义特征；最后得到
[0051]
[·，·]，用空间关系增强原有特征；这样，输出特征不仅拥有丰富的全局空间关系，同时保
在构建通道增强模块中，是通过以下公式来定义通道增强的操作：
；
里面的特征映射。
[0052]
代表输入的特征图，和分别代表X中的第i个和第j个通道的
被定义如下：
；
其中的GAP（）操作是加在每个通道上的全局平均池化，主要为了捕捉特征映射的全局
关系；当有C个通道的特征映射经过全局平均池化后，尺寸变成C×1×1.相当于每个通道保存一个实数，我们可以把这个实数理解为这个通道的一个描述符；
的具体实施步骤是：
首先特征映射X经过一个全局平局池化GAP（），尺寸变成C×1×1；分别通过一个1×1的卷积
10
CN 110378222 A
说 明 书
，接着
和
经过向量叉乘生成一个
8/10页
生成成；
和矩阵；操作完
操作完成后，生成一个
成通道特征增强模块定义的公式中
[0053]
形状的矩阵；然后经过一个softmax激活函数；至此完
全部操作。
将通道特征增强后的特征映射与原始特征映射X融合策略：首先将X形状转换成，然后利用公式
进行融合得到最后的
。
会作为空间特征增强
[0054]
将构建的通道增强模块和构建的空间增强模块进行串联。串联规则是将空间特征
。然后对M3、M4、M5特征图分别进行增
增强模块串联在通道特征增强模块，所以在通道增强模块中输出的模块的输入；最后输出空间特征增强模块中所述的
强。得到AM3、AM4、AM。
[0055]图4为本发明提出的所述像素级预测模块示意图；
如图4所示，本发明实施例中，所述构建像素级预测模块；将特征增强模块的增强特征经过两个并行的卷积分支，分别形成分类函数和回归函数，其中分类函数用于预测图片的每个像素点的分类结果，回归函数用于预测每个像素点到边界框的参数。[0056]通过增强后的特征AM3，AM4，AM5会经过两个并行的卷积分支，单个卷积分支由4个卷积层组成。其中一个分支用来分类，另一个用来回归；其中分类分支又包含两个分支一个是分类，另一个是中心度预测分支，分类分支最后输出一个W×H×C维的矩阵（这里的C表示类别数），来预测该特征图的每个像素点的分类结果；而中心度预测分支输出一个H×W×1的矩阵，以预测一个位置的“中心”(即为该位置到所属对象中心的距离)。中心度预测分支主要用来抑制检测到的低质量边界框，而不引入任何超参数；同样，回归分支最后会输出W×H×4的矩阵，以预测每个像素点预测到的边界框相关参数；其中W代表图片的宽，H代表图片的高。[0057]利用像素级预测模块进行测试时，会直接得到每个输入进来的特征映射上的每一个点的分类得分，这里设为测一个
；测试时，将中心度预测分支输出的中心度与相应的分类分
数相乘，计算最终得分(用于对检测到的边界框进行排序)；同时回归分支会为每个像素预
=(l, t, r, b)参数，其中的四个参数分别表示像素点（x,y）四个边框的距离；通
过如下公式进行转换即可得到最后的矩形框：
；；
其中（x,y）表示像素点的坐标，
表示最后预测的矩形框的左上角坐标，同理
表示左下角坐标；通过这两个坐标得到最后的矩形预测结果。
[0058]
在步骤400中，所述对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；具体包括：
步骤401，把特征提取模块、特征增强模块和预测模块进行连接；步骤402，将预处理图片的数据信息输入至训练模型中，得到对应图片的防震锤边界框
11
CN 110378222 A
说 明 书
9/10页
及分类信息；
步骤403，为预测值设置目标函数；步骤404，利用训练数据输进网络通过对目标函数进行优化，实现端对端的训练。[0059]其中，将预处理图片的训练数据，输进经过构建的神经网络模型，最后得到关于该图像缺陷防震锤和防震锤的边界框及分类的信息；具体为：
为预测值设立目标函数，在反向传播的过程中，最小化损失函数；将训练分类和回归损失函数定义为：
代表分类损失，
个指标函数，当
代表回归损失，
,
表示正样本的数量，在这里取1；
是
>0，函数取1，否则取0；对于预测中心度的损失函数，采用公式：
；
这个损失函数被加到分类和回归的损失上一起做优化，实现整体端到端的训练。[0060]在步骤500中，所述对训练模型进行测试，实现对预处理图片中防震锤的目标检测和识别，具体包括：利用Tensorflow训练模型，并将训练模型固化，去除多余的参数，通过固化后的模型对预处理图片进行目标检测和缺陷识别。[0061]本实施例中，利用Tensorflow训练模型。训练好之后使用官方模型固化工具，把模型固化，去除多余的参数。之后封装在windows10下使用。高效准确的实现高分辨率输电线路防震锤目标检测以及缺陷识别。[0062]实施例二
基于与前述实施例中一种输电线路防震锤目标检测与缺陷识别方法同样的发明构思，本发明还提供一种输电线路防震锤目标检测与缺陷识别装置。[0063]参见图5，一种输电线路防震锤目标检测与缺陷识别装置，包括：
图像采集单元601，用于获取防震锤图片；图像预处理单元602，用于对防震锤图片进行预处理得到预处理图片；模块构建单元603，用于构建特征提取模块、特征增强模块和像素级预测模块；训练模型单元604，用于对特征提取模块、特征增强模块和像素级预测模块进行连接优化，建立训练模型；
检测识别单元605，用于将预处理图片输入训练模型中进行测试，实现对预处理图片中防震锤的目标检测和识别。
[0064]实施例一中的一种输电线路防震锤目标检测与缺陷识别方法的各种变化方式和具体实例同样适用于本实施例的一种输电线路防震锤目标检测与缺陷识别装置，通过前述对一种输电线路防震锤目标检测与缺陷识别方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种输电线路防震锤目标检测与缺陷识别装置，所以为了说明书的简洁，在此不再详述。
[0065]上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限
12
CN 110378222 A
说 明 书
10/10页
制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。[0066]本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。[0067]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0068]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。[0069]最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
13
CN 110378222 A
说 明 书 附 图
1/3页
图1
图2a
14
CN 110378222 A
说 明 书 附 图
2/3页
图2b
图3
15
CN 110378222 A
说 明 书 附 图
3/3页
图4
图5
16
因篇幅问题不能全部显示，请点此查看更多更全内容