(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211254426.0 (22)申请日 2022.10.13 (71)申请人 哈尔滨市科佳通用机电股份有限公 司 地址 150060 黑龙江省哈尔滨市经开区哈 平路集中区潍 坊路2号 (72)发明人 刘丹丹　马凌宇　秦昌　 (74)专利代理 机构 哈尔滨市松花江专利商标事 务所 23109 专利代理师 刘强 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/34(2022.01)G06T 5/00(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/56(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于图像修复的铁路棚车车窗故障图 像识别方法 (57)摘要 一种基于图像修复的铁路棚车车窗故障图 像识别方法， 涉及图像处理技术领域， 针对现有 技术中将带红框的真实故障直接加入训练集， 会 导致识别精度低的问题。 本申请利用图像自动识 别的方式代替人工检测， 提高检测效率、 准确率。 本申请将图像处理与深度学习算法应用到棚车 车窗故障自动识别中， 提高整体算法的稳定性及 精度。 本申请 采用图像修复去除真实故障中的红 框、 人工ps故障、 故障图像增强等方式解决故障 图像与正常样本不均衡问题， 模 型的鲁棒性与稳 定性明显提高。 权利要求书2页 说明书8页 附图3页 CN 115439737 A 2022.12.06 CN 115439737 A 1.一种基于图像修复的铁路棚车 车窗故障图像识别方法， 其特 征在于包括以下步骤： 步骤一： 获取铁路棚车 车窗部件粗定位图像； 步骤二： 利用铁路棚 车车窗故障图像识别模型对铁路棚 车车窗部件粗定位图像进行多 目标检测； 步骤三： 根据多目标检测结果判定是否发生车窗脱落或丢失 故障； 所述铁路棚车车窗故障图像识别模型利用样本数据集训练得到， 所述样本数据集包括 灰度图像子集和标记图像子集， 所述灰度图像子集包括无故障车窗粗定位图像、 包含真实 故障的车窗粗定位图像、 去红框后的真实 故障图像、 人工ps故障后的车窗粗定位图像； 所述去红框后的真实 故障图像获取步骤为： 步骤1： 获取带红框的真实故障图像， 并将带红框的真实故障图中的所占区域进行提 取， 得到Mask图； 步骤2： 对Mask图进行膨胀处 理； 步骤3： 对膨胀处理后的Mask图中的白色区域进行修复， 得到去红框后的真实故障图 像。 2.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述带红框的真实 故障图中的红框区域 通过RGB通道提取或HSV颜色空间进行提取； 所述RGB通道提取的具体步骤为： 在带红框的真实故障图像的红色通道中设置灰度值阈值， 保留灰度值大于该阈值的像 素点， 保留下来的像素点所构成的图像即为Mask图； 所述HSV颜色空间提取的具体步骤为： 首先将带红框的真实故障图像RGB转换到HSV颜色空间， 然后在HSV空间按照红色阈值 范围内进行红色像素 的掩模构造， 即得到红框的位置， 在带红框的真实故障图像中提取出 红框的位置后， 得到的图像即为Mask图。 3.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述 步骤3中对Mask图中的白色区域进行修复的具体步骤为： 先将膨胀后的Mask图取反， 然后和带红框的真实故障图像点乘， 得到带有mask的彩色 图像， 之后将带有mask的彩色图像和膨胀后的Mask图基于通道进行叠加， 得到一个4通道的 图片， 最后将4 通道的图片输入lama模型中； 所述4通道的图片在lama模型中首先进行下采样操作， 然后经过快速傅立叶卷积处理， 最后再上采样， 输出修复后的去红框图像； 其中， 在快速傅立叶卷积处理的过程中， 将输入tensor基于通道分为2部分分别通过 local分支和global分支， 所述local分支用于提取局部信息， 所述global分支用于利用快 速傅立叶卷积提取全局信息； 最后将局部信息和全局信息进行交叉融合， 再基于通道进行拼接， 得到红框区域的新 灰度信息， 即修复后的区域。 4.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述 步骤一中获取铁路棚车 车窗部件粗定位图像的具体步骤为： 步骤一一： 获取铁路棚车线阵车体侧部 工位图像； 步骤一二： 将铁路棚车线阵车体侧部 工位图像 拆分成互相重合的N个子图；权　利　要　求　书 1/2 页 2 CN 115439737 A 2步骤一三： 将N个子图的长 宽各缩放 为原来的1/n n， 得到缩小后的子图； 步骤一四： 判断缩小后的子图的平均灰度 是否小于 阈值， 若小于阈值， 则对缩小后的子 图进行图像增强， 并执 行步骤一五， 否则直接执 行步骤一五； 步骤一五： 对子图进行自适应 阈值二值化处理， 并找到符合车门滑道长度、 宽度轮廓的 区域； 步骤一六： 根据符合车门滑道长度、 宽度轮廓的区域并结合先验知识得到铁路棚车车 窗部件粗定位图像； 所述nn取2、 4或8。 5.根据权利要求4所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述互相重合的N个子图的重合宽度为车门滑 道宽度的0.5倍。 6.根据权利要求5所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述车门滑 道宽度通过统计各探测站数据最大值获得。 7.根据权利要求6所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述 步骤一四中图像增强的具体步骤为： 将缩小后的子图的灰度均值统一校正； 校正具体表示 为： GrayNew＝gray*(grayB/graymean) 其中， gray为待处理小子图的原始灰度值； graymean为当待处理小子图的灰度均值， GrayNew为校正后的新灰度值， grayB为校正后的灰度均值。 8.根据权利要求7所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述 步骤一五的具体步骤为： 对子图进行自适应 阈值二值化处理， 阈值取自相邻区域的平均值减去C； 邻域大小设置 为车门滑 道的高度H *1/nn， C值通过分析 车门滑道与邻近 部件亮度差异大小2C获得。 9.根据权利要求1所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述样本数据集 通过数据扩增得到 。 10.根据权利要求9所述的一种基于图像修复的铁路棚车车窗故障图像识别方法， 其特 征在于所述数据扩增包括图像的旋转、 平 移、 缩放、 镜像。权　利　要　求　书 2/2 页 3 CN 115439737 A 3