遮挡图像数据的识别方法、装置、电子设备及车辆与流程

本申请涉及图像处理，尤其涉及到一种遮挡图像数据的识别方法、装置、电子设备及车辆。

背景技术：

1、随着汽车行业的智能化进程加速，车载无人售货柜可以无缝集成到车辆内部设施中，借助车辆本身的移动性优势，可为乘客提供更加便捷的即时消费体验。

2、现有车载无人售货柜主要利用计算机视觉技术对摄像头实时捕捉并记录下用户的动作以及商品状态变化的视频流进行实时分析，通过商品识别算法精确判断用户拿走的商品种类和数量，并在关闭柜门后，对柜内商品进行盘点，准确计算出购物清单，以实现对柜内商品的精确识别和追踪，即使在车辆行驶过程中也能准确识别并记录消费者的购买行为。

3、然而现有技术在用户拿取商品的过程中，柜内商品可能遮挡住其他部分柜内商品，使得视觉系统无法准确识别被遮挡商品信息，导致无人售货柜的后台管理系统误判商品库存数量，使得实际库存数量与系统记录库存数量不符，从而影响补货计划和销售分析。

4、此外，由于视觉系统无法准确识别被遮挡商品信息，因此在用户关上柜门触发结算时，系统可能会错误地认为用户拿走了被遮挡商品，导致在结算时多扣款；或者在用户拿取了被遮挡商品，但由于遮挡，视觉系统未能检测到该商品被拿走，因此，当用户关闭柜门时，系统可能不会将这部分商品计入购物清单，导致少扣款，从而造成用户或商家损失，降低用户体验，影响品牌形象。

技术实现思路

1、有鉴于此，本申请提供了一种遮挡图像数据的识别方法、装置、电子设备及车辆，主要目的在于解决目前针对柜内商品可能遮挡住其他部分柜内商品，导致视觉系统无法准确识别被遮挡商品信息，从而影响补货计划和销售分析，以及造成用户或商家损失，降低用户体验，影响品牌形象的问题。

2、根据本申请的第一个方面，提供了一种遮挡图像数据的识别方法，包括：

3、获取摄像头在不同拍摄角度和光照条件下拍摄的原始目标图像数据和待识别目标图像数据；

4、对所述原始目标图像数据进行数据增强处理，得到原始增强图像数据；

5、对所述原始增强图像数据进行数据标注处理，得到标注原始目标图像信息的原始增强图像数据，其中，所述原始目标图像信息包括原始目标真值框、原始目标图像遮挡状态以及原始目标图像遮挡物框，所述原始目标真值框包括原始目标图像类别、真值框的中心坐标、宽度、高度；

6、利用所述原始增强图像数据和所述原始目标图像信息对实时目标检测模型进行模型训练，并利用训练完成的所述实时目标检测模型对所述待识别目标图像数据进行目标图像识别处理，得到预测边界框，以利用所述预测边界框确定所述待识别目标图像数据是否被遮挡。

7、根据本申请的第二个方面，提供了一种遮挡图像数据的识别装置，包括：

8、获取模块，用于获取摄像头在不同拍摄角度和光照条件下拍摄的原始目标图像数据和待识别目标图像数据；

9、增强模块，用于对所述原始目标图像数据进行数据增强处理，得到原始增强图像数据；

10、标注模块，用于对所述原始增强图像数据进行数据标注处理，得到标注原始目标图像信息的原始增强图像数据，其中，所述原始目标图像信息包括原始目标真值框、原始目标图像遮挡状态以及原始目标图像遮挡物框，所述原始目标真值框包括原始目标图像类别、真值框的中心坐标、宽度、高度；

11、识别模块，用于利用所述原始增强图像数据和所述原始目标图像信息对实时目标检测模型进行模型训练，并利用训练完成的所述实时目标检测模型对所述待识别目标图像数据进行目标图像识别处理，得到预测边界框，以利用所述预测边界框确定所述待识别目标图像数据是否被遮挡。

12、根据本申请的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的遮挡图像数据的识别方法。

13、根据本申请的第四个方面，提供了一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的遮挡图像数据的识别方法。

14、第五方面，本公开提供了一种车辆，包括：如第二方面所述的装置，如第三方面所述的计算机可读存储介质，或如第四方面所述的电子设备。

15、借由上述技术方案，本申请提供的一种遮挡图像数据的识别方法、装置、电子设备及车辆，可获取摄像头在不同拍摄角度和光照条件下拍摄的原始目标图像数据和待识别目标图像数据；对所述原始目标图像数据进行数据增强处理，得到原始增强图像数据；对所述原始增强图像数据进行数据标注处理，得到标注原始目标图像信息的原始增强图像数据，其中，所述原始目标图像信息包括原始目标真值框、原始目标图像遮挡状态以及原始目标图像遮挡物框，所述原始目标真值框包括原始目标图像类别、真值框的中心坐标、宽度、高度；利用所述原始增强图像数据和所述原始目标图像信息对实时目标检测模型进行模型训练，并利用训练完成的所述实时目标检测模型对所述待识别目标图像数据进行目标图像识别处理，得到预测边界框，以利用所述预测边界框确定所述待识别目标图像数据是否被遮挡。对于本公开实施例，通过获取摄像头在不同拍摄角度和光照条件下拍摄的原始目标图像数据，并对原始目标图像数据进行数据增强处理，如随机裁剪、拼接、复制等，以增加被遮挡图像数据的多样性；对原始增强图像数据进行数据标注处理，得到原始目标图像信息，并利用原始增强图像数据和原始目标图像信息对实时目标检测模型进行模型训练，以使实时目标检测模型识别和定位被遮挡的目标图像数据，并输出预测边界框，以确定待识别目标图像数据是否被遮挡，从而确保补货计划和销售分析的准确性，避免给用户或商家带来损失，提高用户体验的同时保护品牌形象。

16、上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本身取得上述和其他目的、特折和优点能够更明显易懂，以下特举本申请的具体实施方式。

技术特征：

1.一种遮挡图像数据的识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述利用所述原始增强图像数据和所述原始目标图像信息对实时目标检测模型进行模型训练，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述原始增强图像数据作为所述实时目标检测模型的输入特征，将所述原始目标图像信息作为所述实时目标检测模型的训练标签，迭代优化所述实时目标检测模型的模型超参数，直到所述实时目标检测模型的总损失函数值小于预设损失函数阈值，判定所述实时目标检测模型训练完成，包括：

4.根据权利要求3所述的方法，其特征在于，所述计算所述预测边界框与所述原始目标真值框之间的第一损失函数值，包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

7.一种遮挡图像数据的识别装置，其特征在于，包括：

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

9.一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法。

10.一种车辆，其特征在于，包括：如权利要求7所述的装置，或如权利要求8所述的计算机可读存储介质，或如权利要求9所述的电子设备。

技术总结本申请公开一种遮挡图像数据的识别方法、装置、电子设备及车辆，涉及图像处理技术领域，包括：获取摄像头在不同拍摄角度和光照条件下拍摄的原始目标图像数据和待识别目标图像数据；对原始目标图像数据进行数据增强处理，得到原始增强图像数据；对原始增强图像数据进行数据标注处理，得到原始目标图像信息；利用原始增强图像数据和原始目标图像信息对实时目标检测模型进行模型训练，并利用训练完成的实时目标检测模型对待识别目标图像数据进行目标图像识别处理，得到预测边界框，以利用预测边界框确定待识别目标图像数据是否被遮挡。本公开可确保补货计划和销售分析的准确性，避免给用户或商家带来损失，提高用户体验的同时保护品牌形象。技术研发人员：张署光,何振峰,贾伟,祖文江,钱争豪受保护的技术使用者：智行盒子（河南）科技有限公司技术研发日：技术公布日：2024/9/2