提要 频年来，基于深度学习的弱势销子检测时代在电力杆塔巡检中得到平日应用。可是该时代只可在图像空间对弱势销子进行定位，无法准确给出弱势销子在实践电力杆塔中对应销子的唯独编号。针对该问题，该文建议一种会通深度学习与三维重投影的弱势销子唯独性识别步骤。领先通过构建巡检电力杆塔系统的三维模子，进行电力杆塔系统中部件模子的编号获取，以及部件模子三维空间包围盒顶点和中心点坐标的磋磨；其次，欺诈YOLOv5模子在图像空间对销子及高下文关系主见进行检测；再次，通过该文建议的会通结构敛迹的相机位姿估磋磨法对航拍图像的相机位姿进行揣摸；临了，将三维电力杆塔系统中的销子包围盒按相机位姿进行重投影与销子检测框进行匹配度磋磨，在图像空间中输出带有具体编号的销子检测框。在YOLOv5模子输出的销子检测框基础上进行销子唯独性识别，欺诈仿真数据进行实验得到的唯独性识别正确率为100%，欺诈实拍数据进行实验得到的唯独性识别正确率为93.3%，考据了该文建议的销子唯独性识别步骤的灵验性。通过对弱势销子进行唯独性识别，不错减少东谈主工对故障图像的二次审核职责量，并准确地统计弱势销子的数目及具体位置信息，为后续故障维修及故障关系性分析等精采化经管提供救济。
要害词：电力巡检 销子检测 相机位姿揣摸 唯独性识别
0 小序销子是输电走漏中的垂危紧固件，起到固定螺母的作用，一朝出现故障，可能酿成大面积停电等安全问题。跟着深度学习在主见检测畛域的发展[1-5]，在图像空间中自动并准细目位弱势销子成为可能。文献[6]针对销子体积小的脾气，对特征金字塔算法作念出了篡改，增强对底层语义信息和位置信息的索求材干。文献[7]对SSD网罗结构进行篡改，增强特征层信息索求材干。文献[8]建议一种两阶段网罗检测模子，通过先编著、再识别政策对非带销螺栓进行过滤。文献[9]斟酌螺栓周围的布景信息，建议一种基于高下文信息和多范例特征会通的深度神经网罗。文献[10]建议一种双提防力机制步骤，增强螺栓区域精采特征，增大螺栓与布景特征各异。
以上成例基于深度学习的弱势销子检测时代主要通过篡改特征索求网罗、会通多范例特征等时代技能来晋升弱势销子检测精度，其检测放胆只可在图像空间中对弱势销子进行定位，而无法自动细目弱势销子对应实践电力杆塔系统中的编号，关于弱势的具体位置仍需东谈主工判断。且无东谈主机在巡检过程中，为获取明显齐备的航拍图像，频繁会对团结部位进行多角度拍摄，就可能酿成弱势销子的相通标注，给东谈主工二次审查带来未便。图1给出了对团结巡检部位的多角度拍摄图像，接收成例主见检测步骤与本文步骤对弱势销子检测放胆的对比情况。成例步骤只在图像空间对弱势销子进行定位并给出置信度，本文步骤在成例主见检测步骤输出放胆的基础上，给出了检测主见的编号，并自动统计该巡检部位弱势销子数目及具体位置信息。
也有部分学者对基于航拍的故障定位进行商议，如文献[11-13]，商议步骤为在已知无东谈主机GPS、位姿信息的条目下，把柄故障位置的像素坐标，经坐标系退换求解故障点的地面坐标。关联词受无东谈主机数据汇集精度等因素影响导致求解放胆不精确。还有学者欺诈三维主见检测时代商议电力巡检中主见的空间定位问题，如文献[14-15]，其目的是为了晋升变电站场景中东谈主员安全管控水平。三维主见检测时代通过传感器获取非凡的深度信息以追念主见的3D包络框，其侧重于对主见空间位置、尺寸信息、主见角等三维形态信息的感知。现在航拍巡检图像主要成像样式为单目相机成像，图像自身不包含相机位姿信息及深度信息，以上商议均难以平直措置单目图像中主见的准确空间定位问题。
对此，本文建议一种会通深度学习和三维重投影的航拍图像销子唯独性识别步骤，其实质是对二维主见检测任务的蔓延。本文步骤在已知巡检部位称号的条目下，仅依据三维模子中小数的空间特征点，把柄二维图像空间主见检测任务放胆，磋磨图像拍摄时的相机位姿。通过将带编号的三维空间销子包围盒重投影至二维图像上与销子检测框进行匹配，得到图像空间中销子在三维电力杆塔系统中的编号。最终把柄编号与位置的对应关系对该部位的弱势销子数目及具体位置信息进行统计，在图像空间输出弱势销子的唯独性识别放胆。对航拍图像弱势销子的唯独性识别，故意于运维东谈主员对团结巡检部位多张弱势图像中屡次标注的团结弱势进行快速辩认，晋升运维东谈主员对弱势图像的二次核查服从，为后续故障维修及故障部件的关系性分析等精采化经管提供救济。
1 本文步骤基本历程与刺目框架本文建议的会通深度学习与三维重投影的销子唯独性识别步骤基本历程分为销子唯独性识别预处理、基于高下文关系主见的图像空间特征索求、会通结构敛迹的航拍图像相机位姿揣摸以及图像空间销子唯独性编号细目四个子历程。图2给出了本文步骤的刺目框架。
本文领先进行销子唯独性识别的预处理，通过构建巡检电力杆塔的三维模子，获取部件的三维空间包围盒信息及编号。
然后欺诈深度学习主见检测网罗对销子及高下文关系主见进行检测，销子及高下文关系主见暗示图如图3所示。由于本文只对图像空间中主见巡检部位内的销子进行唯独性识别，因此对主见巡检部位内销子所属的高下文环境进行界说。将多个金具互相贯穿以完了某种功能的举座结构界说为金具主见群。并将金具主见群四肢销子高下文关系主见，分为横担端及导线端，分别用于绝缘子串与杆塔以及绝缘子串与导线的贯穿。此外，销子高下文关系主见还包括特定金具如三角联板等。YOLOv5[16]模子磋磨速率快且预置多范例先验框，因此本文接收YOLOv5模子四肢图像特征索求网罗，对销子及高下文关系主见的多范例主见进行识别。
把柄三维空间包围盒信息获取放胆，以及图像空间主见检测放胆，欺诈本文建议的会通结构敛迹的相机位姿估磋磨法对图像的相机位姿进行磋磨。将带编号的销子三维空间包围盒按摄影机位姿重投影至二维图像空间，与销子检测框进行匹配度磋磨，最终在图像中输出销子检测放胆及编号。
2 会通结构敛迹的航拍图像相机位姿揣摸 2.1 相机位姿揣摸PnP算法先容理念念相机成像模子[17]是一种平面透视投影模子，该模子描述了三维空间中的点到相机图像中的点的关系。关于寰球坐标系
中任性一丝
，经旋转矩阵R、平移矩阵T变换到相机坐标系
得到
，再经相机坐标系、图像坐标系
以及像素坐标系
之间的退换关系，得到二维像素点
。坐标系之间退换关系为
本文接收基于视觉的相机位姿揣摸步骤[18]，即PnP（Perspective-n-Point）算法：在相机内参
已知的情况下，欺诈n个3D特征点和对应的2D特征点来揣摸相机位姿参数(R， T)。
PnP算法准确求解的要害条目是n对2D-3D特征点的对应匹配。n值越大，2D-3D特征点匹配磋磨量越大。因此，本文取n=3，即P3P算法。P3P算法欺诈三对2D-3D匹配特征点磋磨位姿，但可能有多解的情况，频繁还需欺诈第4对匹配特征点考据最优解。为完了2D-3D特征点的自动对应，本文以主见的二维像素中心点和三维空间中心点形成点对点敛迹，欺诈穷举法构建匹配解空间，把柄空间点的结构敛迹磋磨重投影偏离纰谬考据最优位姿。
2.2 会通结构敛迹的相机位姿估磋磨法2.2.1 基于高下文关系主见的2D-3D特征点匹配
为减小以主见图像空间和三维空间中心点四肢对应特征点对精度的影响，本文考中磋磨特征点的主见为体积小、占据像素少的销子及螺栓头部。为措置2D-3D特征点的对应问题，领先采纳4个主见检测框磋磨中心点四肢2D特征点，把柄类别将每个2D特征点与可能的3D特征点一一匹配，以全陈列组合样式得到扫数2D-3D特征点匹配放胆，组成解空间Z。为晋升算法运行服从，通过检测特定的高下文金具主见，优先考中与之存在相交的销子、螺栓头部主见，将3D特征点的选拔范围由全局缩减为特定金具的相近范围内。
2.2.2 基于P3P算法的相机位姿磋磨
遍历解空间Z，欺诈P3P算法对每组2D-3D特征点匹配解进行相机位姿磋磨。关于2D-3D特征点一起对应正确的匹配解磋磨出的位姿才是最优位姿。
2.2.3 基于位姿重投影的偏离纰谬磋磨
设解空间Z中第k个2D-3D匹配解位姿磋磨放胆为
，三维空间销子中心点齐集为
，二维图像空间销子检测框中心点齐集为
。为考据最优位姿，领先将P中扫数的3D特征点按
进行重投影，然后磋磨
中扫数的2D特征点与最驾驭的重投影点的像素距离，像素距离之和四肢的重投影偏离纰谬，磋磨公式为
式中，F(∙)为相机坐标系下3D特征点到2D像素点的投影变换；nearest(∙)线路考中与
像素距离最小的重投影点。最终考中重投影偏离纰谬最小的相机位姿(R，T)四肢最优位姿。
本文将电力杆塔及杆塔上的绝缘子串界说为电力杆塔系统。把柄三维电力杆塔系统模子，获取巡检部位内销子三维空间包围盒，由1～m进行编号。按最优位姿重投影至二维空间，磋磨重投影点最小外接矩形四肢包围盒重投影框，设重投影框齐集为
。
1）设航拍图像中，经金具主见群检测框筛选后的销子检测框齐集为
，数目为n。
2）在主见检测畛域中，频繁欺诈交并比（Intersection over Union， IoU）磋磨主见畛域框的定位精度。本文欺诈IoU磋磨重投影框与检测框的匹配度。设重投影框齐集为，第i个销子检测框与第j个重投影框IoU磋磨公式如式（3）所示，其中
。
3）设m个重投影框与n个销子检测框经IoU磋磨得到二维放胆数组L，由于中重投影框索引编号肇端位置为0，因此
线路编号为i+1的销子包围盒重投影框与第j个销子检测框的匹配度。关于第j个销子检测框，比拟L中第j列的最大值，其对应的行索引值i+1即为三维电力杆塔系统中对应销子的编号。若最大值为0，则销子检测框匹配失败。
经销子包围盒重投影框与检测框匹配度磋磨，得到销子检测框在三维电力杆塔系统中该巡检部位内对应销子的编号，与销子检测框一并在图像空间中进行可视化输出。
4 多位姿图像生成步骤及主见标注框自动生成算法由于在实践环境中，无东谈主机拍摄角度皆会受到一定放胆，难以获取多角度的杆塔巡检图像以及精确的相机位姿。为了获取相机位姿丰富的数据集，本文建议一种多角度相机位姿的图像生成步骤以及主见标注框自动生成算法。
4.1 基于电力杆塔巡检场景的三维杆塔系统模子构建把柄某110 kV干字型电力杆塔远距离航拍图片，蚁合关系表率贵府，在仿真环境中构建电力杆塔系统三维模子。以杆塔底部中心点为原点，杆塔小号侧主见为x轴正主见，竖直朝上为z轴正主见构建右手坐标系。通过对模子增多材质、光照、布景贴图等元素模拟真确电力杆塔场景，培育录像机对杆塔系统进行拍摄模拟无东谈主机巡检，如图4所示。
4.2 多角度拍摄仿真图像生成4.2.1 多角度相机位置生成
本文以拍摄主见位置为基准位置，通过修改相机位置获取多角度位姿。设拍摄主见三维空间点坐标为
，培育坐标偏移量Δx， Δy， Δz，叠加得到相机位置坐标
，偏移量磋磨公式为
式中，
、
为以等拒绝增多的角度值。假定无东谈主机拍摄时从杆塔外侧向里侧进行拍摄且存在一定角度放胆，则、存在高下界。扫数相机位置坐标点散布肖似为以拍摄主见坐标(xp， yp， zp)为轴线中点，r为半径的柱面区域。
4.2.2 基于相对位置的位姿退换
1）水平角、俯仰角磋磨
在本文商议中，忽略无东谈主机相机滚转角限度，欺诈式（5）磋磨水平角
、俯仰角
。并在生成仿真图像时以“巡检部位称号+水平角+俯仰角”进行图像文献定名。
2）相机位姿磋磨
（1）相机坐标系单元向量磋磨
设相机坐标系单元向量分别为Xe、Ye、Ze，由于相机坐标系z轴由光心指向主见，把柄式（6）磋磨Ze，再把柄正交原则磋磨Xe、Ye。
（2）旋转矩阵R磋磨
把柄R的几何意旨，R中的第i个行向量，线路相机坐标系中第i个坐标轴的单元向量谢寰球坐标系中的坐标，由此得到旋转矩阵
。
（3）平移矩阵T磋磨
把柄T的几何意旨，T线路寰球坐标系原点在录像机坐标系的坐标。易知-RTT为相机坐标系原点谢寰球坐标系坐标，由式（7）磋磨平移矩阵。
4.2.3 基于投影的仿真图像生成
由多角度相机位置退换得到相机位姿齐集
。把柄相机成像旨趣，通过投影得到多角度杆塔巡检仿真图像，如图5所示。仿真图像不仅具有多角度成像特征，布景贴图太空、草地等环境因素也随位姿而发生变化，合适实践成像脾气。
关于多角度投影生成的多量仿真图像，接收东谈主工标注的样式进行多范例主见标注费时吃力且容易出错。本文建议了基于粉饰判别的主见包围盒重投影的自动标注算法，门径如下。
4.3.1 检测主见空间包围盒磋磨
把柄三维电力杆塔系统模子，磋磨金具主见群内待检测主见三维空间包围盒。金具主见群包围盒通过其部件的三维空间包围盒进行磋磨。
4.3.2 基于包围盒重投影的主见标注框生成
关于每张仿真图像，设其投影位姿为
，图像中待检测主见齐集为S，第i个待检测主见Si三维空间包围盒顶点集为
。将包围盒顶点集
按位姿重投影至二维图像得到包围盒重投影点齐集
，磋磨最小外接矩形框，四肢待检测主见Si的重投影标注框。
4.3.3 基于包围盒可见性判别粉饰主见标注框去除
斟酌到小范例主见销子和螺栓头部，其因体积小可能在投影时被粉饰，欺诈包围盒重投影的标注框生成步骤会得到特别的标注放胆。因此，增多对小范例主见的包围盒可见性判别，进行主见标注框的保留与去除四色播播，算法门径如下。
1）三维电力杆塔系统模子处理
构建具有类别区分色的销子和螺栓头部三维空间包围盒模子，导入三维电力杆塔系统模子中。将三维电力杆塔系统模子中其余金具模子培育属性为投影不成见，但保留对销子及螺栓头部包围盒模子的粉饰服从。
2）着色包围盒重投影及心境识别
将销子和螺栓头部着色包围盒模子按仿真图像位姿投影生成图像。欺诈图像处理时代将图像RGB心境空间退换为HSV(hue， saturation， value)心境空间，对图像中彩色区域进行识别，每个心境区域代表一个主见，得到两种类别对应心境的区域空洞齐集。分别遍历两种类别心境对应的区域空洞齐集，磋磨空洞区域的最小外接矩形，得到区域空洞框。
3）不成见主见标注框去除
分别遍历销子和螺栓头部重投影标注框齐集，欺诈IoU磋磨每个标注框与对应类别的扫数区域空洞框相交进度，设最大值为IoUmax。若IoUmax小于给定阈值d，诠释可见性不彊，去除该重投影标注框，不然保留。
5 实验放胆及分析本文以典型带三角联板的耐张水平绝缘子串为实验对象。为充分考据本文建议的销子唯独性识别步骤的灵验性，斟酌到正常销子和弱势销子在检测放胆的雷同性，本文在正常仿真数据集上进行了多角度位姿揣摸以及编号细目的考据实验，并在正常实拍数据集上进行了编号细目的考据实验。
5.1 仿真确验放胆及分析5.1.1 实验历程
仿真确验按图2会通深度学习与三维重投影的销子唯独性识别刺目框架进行。在本文商议对象的金具组成中，三角联板是巡检部位内的共有金具，且邻域内销子及三角联板上的螺栓头部数目不错抖擞位姿磋磨条目。因此本文以三角联板四肢相机位姿揣摸中的特定主见金具，且仅需识别三角联板上的螺栓头部，并采取“螺栓头部优先，销子补充”四肢小范例主见检测框考中政策。本文使用的P3P算法见文献[19]。
5.1.2 实验培育
本文接收第4节所描述的三维电力杆塔系统模子进行实验，把柄本文建议的多角度仿真图像生成步骤及自动标注时代，
，拒绝10°取值；
，拒绝15°取值；拍摄左相和右相绝缘子时r设为3 m，拍摄中相时r设为5 m；自动标注粉饰判定阈值d=0.5。对三维电力杆塔系统模子12个巡检部位生要素辨率大小为5 472×3 648的觉得870张仿真巡检图像，将各个部位按8:1:1进行马上差别并组合，构建仿真图像数据集，其中测验集704张，考据集88张，测试集78张。
在硬件成立为NVIDA GeForce GTX 2080Ti， 43 GB内存，Ubuntu操作系统，Pytorch深度学习框架的云尔功绩器上进行YOLOv5模子的多范例主见检测测验和测试。测验时培育BatchSize大小为2，迭代次数为100Epoch，接收模拟余弦退火弧线调养学习率。培育阈值ε=0.6，对小于该阈值的检测框进行滤除。
将测验后的YOLOv5模子部署在CPU型号为AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz，GPU型号为NVIDIA GeForce RTX 3050 Laptop GPU的磋磨机上对测试集图像进行销子唯独性识别实验。
5.1.3 评价磋磨
1）精确率、调回率、AP、mAP
精确率、调回率、AP、mAP是主见检测算法常用评价磋磨，AP是指每个类别的平均精确度，mAP则为扫数类别AP的平均值。其中精确率、调回率、AP用来评价主见检测算法对每类主见的分类性能，mAP为种种AP的均值用于评价主见检测算法举座的分类性能。
2）水平角纰谬
、俯仰角纰谬
把柄相机最优位姿磋磨水平角
、俯仰角
，由式（8）磋磨、。
3）唯独性识别正确率
本文在YOLOv5模子输出的检测框基础上进行销子唯独性识别正确率磋磨。设金具主见群检测框内销子检测框总和为Nall，最终输出的销子检测框编号与实践对应销子编号一致的为唯独性识别正确销子，设其总和为
。销子唯独性识别正确率
磋磨公式为
5.1.4 正常销子数据集实验放胆及分析
1）YOLOv5模子检测放胆及分析
本文在测试集78张图像上进行销子唯独性实验，YOLOv5模子检测放胆见表1。mAP放胆为0.958，诠释多范例主见检测服从举座较好。
表1 基于YOLOv5模子仿真图像主见检测放胆
以小号侧右相导线端某仿真图像检测放胆为例，如图6所示。领先欺诈金具主见群检测框，筛选出在其里面的销子及高下文关系主见。欺诈三角联板检测框，得到相交的3个螺栓头部检测框以及1个销子检测框，磋磨2D特征点。蚁合三维空间中心点坐标，经陈列组合组成2D-3D特征点匹配解空间，大小为3×2×1×5=30，其中3×2×1为三角联板上螺栓头部的组合数，5为三角联板邻域内的销子数目。对解空间中每组2D-3D特征点欺诈P3P算法磋磨相机位姿得到位姿齐集。把柄2个2D特征点和6个3D特征点磋磨重投影偏离纰谬，进行最优位姿的筛选。
2）唯独性识别放胆
在测试集78张图片中，有4张图片因位姿较为极点不抖擞位姿磋磨条目，其余74张图片经本文所提的会通结构敛迹的相机位姿估磋磨法得到水平角平均纰谬为0.57°，俯仰角平均纰谬为0.74°，销子唯独性正确识别率为100%。诠释在基于YOLOv5模子得到的销子检测框基础上，对销子进行编号细目，其放胆与巡检部位内编号一起一致。
3）算法运行服从分析
表2展示了在5.1.2节的实验环境下，对测试集仿真图像进行唯独性识别磋磨的分步平均运行时候，门径之间是一语气并自动完成的。不错看出，本文商议步骤在成例主见检测步骤基础上增多的唯独性识别门径运行时候占总时长的2.54%，险些不错忽略不计。
表2 销子唯独性识别框架分步运行时候对比
擦玻璃 裸舞5.1.5 弱势销子数据集实验放胆
本文构造弱势销子仿真数据集按上述历程进行唯独性识别实验，图7分别为对小号侧右相导线端和大号侧左相横担端多角度弱势销子仿真图像唯独性识别放胆。其中小号侧右相导线端3张图像中均标注出团结脱销销子，大号侧左相横担端有2张图像对2个弱势销子进行相通标注。欺诈本文的销子唯独性识别步骤，不错将团结部位多张图像中团结弱势销子对应起来，并自动统计出该巡检部位弱势销子的数目以及具体的位置信息。
5.2 实拍图像实验放胆及分析5.2.1 实验培育
为考据本文所提步骤的实践可行性，本文欺诈110 kV干字型耐张杆塔无东谈主机航拍图像进行正常销子编号细目实验，图像分辨率大小为4 864×3 648。本文从实拍图像中筛选出由疏导类别金具组成的横担端和导线端拍摄图像觉得50张四肢测试集，并把柄金具主见群结构组成和绝缘子串蔓延主见的一致性将其分为四类：横担端1、横担端2、导线端1、导线端2，每类看作对团结巡检部位从不同位姿角度进行拍摄得到的图像集。其余图像马上差别红测验集145张，考据集40张，接收手工标注样式对待检测主见进行打标。
本文鉴戒迁徙学习[20]的步骤对实拍图像进行测验，以仿真确验的测验放胆四肢YOLOv5模子运转参数，然后在实拍图像数据集不绝测验。
由于未获取齐备的杆塔信息，不同于仿真确验商议培育以杆塔底部中心点为原点的寰球坐标系，在实拍图像上进行实验时，把柄图样等表率贵府构建金具串三维模子获取各部件包围盒顶点、中心点坐标及编号信息。
5.2.2 YOLOv5模子检测放胆及分析
基于YOLOv5模子的实拍图像主见检测放胆见表3。把柄表3放胆，在实拍图像上接收YOLOv5模子进行多范例主见检测放胆仍是较好，mAP值为0.987。
表3 基于YOLOv5模子的实拍图像主见检测放胆
5.2.3 实拍图像销子唯独性识别放胆
唯独性识别放胆见表4。由表4放胆可知，本文所提的会通深度学习与三维重投影的销子唯独性识别框架灵验地措置了实拍图像中销子编号的细目问题，mAP值为93.3%。
表4 实拍图像销子唯独性识别放胆
在电力杆塔系统具体施工时，实践主见三维空间点与三维模子建模参数存在一定偏差，本文建议的算法在绝大多数情况仍是具有一定鲁棒性，能得到正确的销子编号识别放胆。部分实践航拍图像的销子唯独性识别放胆如图8所示。
6 论断成例基于深度学习的图像空间弱势销子检测算法无法自动细目检测主见的唯独性编号，关于巡检部位内多张图像屡次标注团结弱势的需经东谈主工二次辩认后才能统计出准确的弱势数目及位置。针对该问题，本文建议一种销子唯独性识别步骤。通过对实拍图像进行考据，其唯独性识别正确率为93.3%。本文孝敬总结如下：
1）本文建议一种会通深度学习与三维重投影的销子唯独性识别步骤。领先构建三维电力杆塔系统模子获取部件包围盒顶点、中心点坐标以及编号；然后欺诈成例主见检测网罗对图像空间销子及高下文关系主见进行检测，再把柄本文建议的会通结构敛迹的位姿估磋磨法对相机位姿进行揣摸；临了将带编号的销子包围盒按位姿进行重投影，与销子检测框进行匹配，在图像空间输出销子检测放胆以及编号。
2）本文商议步骤不仅故意于运维东谈主员对巡检部位内多张图像屡次标注的团结弱势进行快速辩认，晋升运维东谈主员对弱势图像二次审查服从，还能把柄编号与位置的对应关系自动统计出该巡检部位中准确的弱势销子数目与具体位置信息，为后续故障维修及故障关系性分析等精采化经管操作提供指挥。
3）本文建议的相机位姿估磋磨法在一定进度上依赖多主见检测精度和三维空间点磋磨的准确性，当年将进一步优化算法，使得在磋磨相机位姿时算法鲁棒性更强。此外本文主要针对销子作念唯独性识别商议，当年将斟酌对其他金具的唯独性识别进行商议。
参考文献
[1] 郑含博， 李金恒， 刘洋， 等. 基于篡改YOLOv3的电力斥地红外主见检测模子[J]. 电工时代学报， 2021， 36(7): 1389-1398.
Zheng Hanbo， Li Jinheng， Liu Yang， et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society， 2021， 36(7): 1389-1398.
[2] 王卓， 王玉静， 王庆岩， 等. 基于协同深度学习的二阶段绝缘子故障检测步骤[J]. 电工时代学报， 2021， 36(17): 3594-3604.
Wang Zhuo， Wang Yujing， Wang Qingyan， et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society， 2021， 36(17): 3594-3604.
[3] 徐建军， 黄立达， 闫丽梅， 等. 基于档次多任务深度学习的绝缘子自爆弱势检测[J]. 电工时代学报， 2021， 36(7): 1407-1415.
Xu Jianjun， Huang Lida， Yan Limei， et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society， 2021， 36(7): 1407-1415.
[4] 宋立业， 刘帅， 王凯， 等. 基于篡改EfficientDet的电网元件及弱势识别步骤[J]. 电工时代学报， 2022， 37(9): 2241-2251.
Song Liye， Liu Shuai， Wang Kai， et al. Identification method of power grid components and defects based on improved EfficientDet[J]. Transactions of China Electrotechnical Society， 2022， 37(9): 2241-2251.
[5] 王建， 吴昊， 张博， 等. 顽抗衡样本下基于迁徙学习-AlexNet的输电走漏故障辨识步骤[J]. 电力系统自动化， 2022， 46(22): 182-191.
Wang Jian， Wu Hao， Zhang Bo， et al. Fault identificationmethod for transmission line based on transfer learning-AlexNet with imbalanced samples[J]. Automation of Electric Power Systems， 2022， 46(22): 182-191.
[6] 李雪峰， 刘海莹， 刘高华， 等. 基于深度学习的输电走漏销子弱势检测[J]. 电网时代， 2021， 45(8): 2988-2995.
Li Xuefeng， Liu Haiying， Liu Gaohua， et al. Transmission line pin defect detection based on deep learning[J]. Power System Technology， 2021， 45(8): 2988-2995.
[7] 李瑞生， 张彦龙， 翟登辉， 等. 基于篡改SSD的输电走漏销子弱势检测[J]. 高电压时代， 2021， 47(11): 3795-3802.
Li Ruisheng， Zhang Yanlong， Zhai Denghui， et al. Pin defect detection of transmission line based on improved SSD[J]. High Voltage Engineering， 2021， 47(11): 3795-3802.
[8] 王红星， 翟学锋， 陈玉权， 等. 基于篡改Cascade R-CNN的两阶段销子弱势检测模子[J]. 科学时代与工程， 2021， 21(15): 6373-6379.
Wang Hongxing， Zhai Xuefeng， Chen Yuquan， et al. Two-stage pin defect detection model based on improved cascade R-CNN[J]. Science Technology and Engineering， 2021， 21(15): 6373-6379.
[9] Jiao Runhai， Liu Yanzhi， He Hui， et al. A deep learning model for small-size defective components detection in power transmission tower[J]. IEEE Transactions on Power Delivery， 2022， 37(4): 2551-2561.
[10] 戚银城， 武学良， 赵振兵， 等. 镶嵌双提防力机制的Faster R-CNN航拍输电走漏螺栓弱势检测[J]. 中国图象图形学报， 2021， 26(11): 2594-2604.
Qi Yincheng， Wu Xueliang， Zhao Zhenbing， et al. Bolt defect detection for aerial transmission lines using Faster R-CNN with an embedded dual attention mechanism[J]. Journal of Image and Graphics， 2021， 26(11): 2594-2604.
[11] 文师华. 输电走漏防振锤复位机器东谈主主想法别及定位步骤商议[D]. 沈阳: 沈阳航空航天大学， 2020.
[12] 胡国雄. 输电走漏航拍图像主见检测算法商议[D]. 南京: 南京航空航天大学， 2019.
[13] 陈鑫. 基于无东谈主机航拍的电力线故障定位算法商议[D]. 青岛: 山东科技大学， 2018.
[14] 高伟， 何搏洋， 张婷， 等. 基于提防力机制的变电站功课场景三维主见检测[J]. 激光与光电子学发扬， 2022， 59(22): 165-173.
Gao Wei， He Boyang， Zhang Ting， et al. Three-dimensional object detection in substation operation scene based on attention mechanism[J]. Laser & Optoelectronics Progress， 2022， 59(22): 165-173.
[15] 张婷， 张兴忠， 王慧民， 等. 基于图神经网罗的变电站场景三维主见检测[J]. 磋磨机工程与应用， 2023， 59(9): 329-336.
Zhang Ting， Zhang Xingzhong， Wang Huimin， et al. 3D object detection in substation scene based on graph neural network[J]. Computer Engineering and Applications， 2023， 59(9): 329-336.
[16] Glenn J， Alex S， Jirka B. YOLOv5[CP/OL]. (2022-02-22). [2023-03-25]. https://github.com/ultralytics/yolov5
[17] 周佳乐， 朱兵， 吴芝路. 会通二维图像和三维点云的相机位姿揣摸[J]. 光学精密工程， 2022， 30(22): 2901-2912.
Zhou Jiale， Zhu Bing， Wu Zhilu. Camera pose estimation based on 2D image and 3D point cloud fusion[J]. Optics and Precision Engineering， 2022， 30(22): 2901-2912.
[18] 王平， 付辉， 徐贵力. 基于旋转搜索的相机位姿揣摸和对应点匹配[J]. 航空学报， 2023， 44(2): 296-307.
Wang Ping， Fu Hui， Xu Guili. Camera pose estimation and corresponding points matching based on rotation search[J]. Acta Aeronautica et Astronautica Sinica， 2023， 44(2): 296-307.
[19] Ke Tong， Roumeliotis S I. An efficient algebraic solution to the perspective-three-point problem[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)， Honolulu， HI， USA， 2017: 4618-4626.
[20] 仲林林， 胡霞， 刘柯妤. 基于篡改生成对抗网罗的无东谈主机电力杆塔巡检图像尽头检测[J]. 电工时代学报， 2022， 37(9): 2230-2240， 2262.
Zhong Linlin， Hu Xia， Liu Keyu. Power tower anomaly detection from unmanned aerial vehicles inspection images based on improved generative adversarial network[J]. Transactions of China Electrotechnical Society， 2022， 37(9): 2230-2240， 2262.
Research on Pin Uniqueness Identification in Aerial Power Tower ImagesAbstract With the development of artificial intelligence technology， defect pin detection technology based on deep learning has been widely applied in the field of power tower inspection. However， this technology can only locate the defect pin in the image space， but cannot provide a unique number for the defect pin in the actual power tower， and cannot automatically determine the actual position of the defect pin. Moreover， for multi-angle images of the same part， the defect pin detection algorithm using depth learning may repeatedly label the same defect pin， which may cause repeated statistics of defect pins.
To address this issue， this paper proposes a pin uniqueness identification method that integrates deep learning and 3D reprojection， which is essentially an extension of the 2D object detection task. Firstly， a three-dimensional model of the inspection power tower system is constructed to obtain vertices and center points of the components 3D space bounding box， and unique number of the components in the power tower system. Then， the YOLOv5 model is used to detect pins and contextual sensitive targets in the image space. The contextual targets include a group of large-scale hardware， a mesoscale specific hardware， and a small-scale bolt head. Filter detection results that are not within the inspection area by using the hardware target group bounding box. Then use the camera pose estimation algorithm that integrates structural constraints proposed in this article to estimate the camera pose of the image. Use the center points of the pins and bolt heads 2D bounding boxes as 2D feature points， and the center point of the pins and bolt heads 3D space bounding boxes as 3D feature point to form point-to-point constraints. Use P3P algorithm for camera pose estimation. For the unknown 2D-3D correspondence， four 2D feature points are selected by using the specific hardware bounding box， and the matching solution space of 2D-3D feature points is constructed by enumeration method. Calculate the camera pose for each solution separately， and use the deviation error of reprojection to choose the optimal pose. Finally， the numbered pin 3D space bounding box will be reprojected according to the optimal pose， and the matching degree will be calculated with the pin bounding box. The number of the reprojection box with the highest matching degree will be selected as the number of the pin bounding box， and the pin bounding box with unique number will be output in the image space.
In addition， the article also proposes a method for generating multi-pose simulation images and an label automatic generation technology based on occlusion detection， which is used to achieve automatic construction of simulation image datasets. The pin uniqueness identification accuracy of the evaluation index in this article is calculated based on the YOLOv5 model detection results. Experiments on simulated images gets 100% pin uniqueness identification accuracy， while experiments on real images gets 93.3%. By defect pin uniqueness identification， the bounding box with unique number of pins are output in the image space， and automatically count the total and specific position of defect pins in the inspection area based on the corresponding relationship between the number and position information， it helps inspection personnel quickly identify defect pins in multiple inspection images of the same inspection area， and provides assistance for refined management such as fault maintenance and fault correlation analysis.
keywords：Power inspection， pin detection， camera pose estimation， uniqueness identification
中图分类号：TP181; TM75
DOI: 10.19595/j.cnki.1000-6753.tces.230760
国度当然科学基金资助神情（62073133）。
收稿日历 2023-05-25
改稿日历 2023-07-14
阎光伟 1971年生，男，副教师，硕士生导师，商议主见为磋磨机图形/图像时代在电力系统中的应用等。
E-mail：yan_guang_wei@126.com（通讯作家）
马颐琳 1999年生，女，硕士商议生，商议主见为磋磨机图形/图像时代在电力系统中的应用等。
E-mail：120212227125@ncepu.edu.cn
（编著 赫 蕾）四色播播