基于视觉与毫米波的一体化安检成像方法和系统

本技术涉及但不限于毫米波成像，具体是一种基于视觉与毫米波的一体化安检成像方法和系统。

背景技术：

1、在机场、海关、火车站等公共场所的安全检查日益受到世界各国的广泛关注，对安检系统的准确性、实时性和智能化提出了更高的要求。然而对于人体隐匿物体的探测一直都是一项技术难题，传统的安全检测设备(如：金属探测器、x光成像设备等)均存在不同程度的缺陷。毫米波成像技术作为一种新型的安检手段，具有多方面的优点。首先由于毫米波具有穿透性，毫米波安检成像技术可以检测出隐藏在衣物下的金属物体、塑料手枪、液体炸药等危险品。特别是基于全息成像理论的主动毫米波成像技术通过对检测目标的三维成像能够获得更加详细、准确的信息，从而能够显著地降低虚警率。

2、毫米波成像系统可分为被动式和主动式两种。被动式毫米波安检成像系统通过接收人体和背景场景自身辐射的能量，并利用物体间的辐射强度差异实现成像，成像方式与红外成像仪类似。主动式毫米波安检成像系统是通过对被检人发射毫米波，探测被人体反射回来的毫米波，并通过全息三维成像技术，反演出被检人体图像。与被动成像方式相比，主动成像方式得到的信息量更丰富，不仅能够实现二维成像还能够实现三维成像。

3、然而，不管是被动式毫米波成像还是主动式毫米波成像，其成像的速度较慢，成像噪点较多，识别到的携带物和危险物特性相互影响和干扰难以用人眼快速识别。对于传统的使用灰度差异来对图像进行分割的算法而言，这些问题是致命的。除此之外，目前大部分毫米波成像技术在电脑端成像速度较低，难以支持安检成像对速度的要求，大部分安检成像算法检测到的图像没能对人体隐私部位进行保护。

技术实现思路

1、基于此，为了提高安检准确性和效率，同时保护公众的隐私和安全，本发明设计一种基于视觉与毫米波的一体化安检成像系统。毫米波技术可以提供高分辨率的人体成像，能够检测出潜在的威胁物品，如危险武器和爆炸物等。与此同时，视觉成像可以提供一个更直观的可见光人体图像，故可将光学图像与毫米波图像进行融合，将毫米波图像识别到的危险物与人体光学进行探测，实现一个人体隐匿危险物品的精确定位与显示效果，帮助安检人员更准确地识别和定位危险的物品。

2、本发明通过fpga进行成像，延时极低，其可以完美满足成像速度要求。而基于视觉与毫米波的一体化安检成像系统可以完美的保护人体隐私，并对危险物进行检测。本发明可以应用于机场安检、边境安全、公共安全等领域。

3、本发明采用的技术方案是：基于视觉与毫米波的一体化安检成像方法，包括以下步骤：

4、步骤1，毫米波探测与成像模块对ti雷达板采集到的回波数据采用rma成像算法获得毫米波图像；

5、步骤2，ai处理模块检测毫米波图像中的隐匿物位置，并将隐匿物位置信息发送给图像融合模块；

6、步骤3，图像处理模块分别对摄像头拍摄的可见光图像与采集到的毫米波图像进行人体区域目标定位与适配；

7、步骤4，图像融合模块对图像处理模块处理后的可见光图像和毫米波图像的人体轮廓进行定位以及匹配校准，之后结合隐匿物位置信息通过像素级拼接的方式对两者图像进行融合。

8、进一步，所述ai处理模块的步骤包括：

9、1)在gpu上训练模型得到预训练模型的权重和参数；

10、2)在vitis ai中量化和编译预训练模型，得到适配可部署到fpga的模型；

11、3)在vivado中调用dpu，生成比特流；

12、4)驱动dpu，调用生成的模型对输入的毫米波图像进行推理得到隐匿物位置信息。

13、进一步，所述图像处理模块包括高斯滤波处理、自适应阈值的sobel边缘检测、腐蚀与膨胀处理、水平投影与垂直投影；

14、所述自适应阈值的sobel边缘检测，将两个3*3的滑窗算子与原始3*3范围内的图像进行卷积后得到的9个梯度算子进行平均，得到该区域(3*3)内的局部阈值，并将这9个梯度算子与该阈值进行比较，形成3*3范围内的二值图像，之后sobel算子继续与该原始图像其余部位进行卷积，再自动将梯度矢量平均形成阈值并比较，最终形成一个能够检测到物体边缘的二值化图像。

15、进一步地，步骤4具体包括：

16、1)判断可见光图像与毫米波图像轮廓是否对应，如不对应，则调整图像使之对应；

17、2)人体轮廓外像素点全部选择可见光图像，人体轮廓内像素点判断位置是否位于隐匿物位置内，当位于隐匿物位置内时，判断该毫米波图像像素点的数值是否大于128，大于128则选择毫米波图像像素，否则选择可见光图像像素点，若不位于隐匿物位置内时，则选择可见光图像像素点。

18、本发明还提供了一种基于视觉与毫米波的一体化安检成像系统，包括

19、ti雷达板，用于采集回波数据并输入毫米波探测与成像模块；

20、毫米波探测与成像模块，用于对回波数据采用rma成像算法获得毫米波图像；

21、ai处理模块，用于检测毫米波图像中的隐匿物位置，并将隐匿物位置信息发送给图像融合模块；

22、摄像头，用于获取可见光图像；

23、图像处理模块，用于分别对所述可见光图像与所述毫米波图像进行人体区域目标定位与适配；

24、图像融合模块，用于对图像处理模块处理后的可见光图像和毫米波图像的人体轮廓进行定位以及匹配校准，之后结合隐匿物位置信息通过像素级拼接的方式对两者图像进行融合。

25、进一步，所述毫米波探测与成像模块中的数据采集核的回波数据采集协议采用ti-spi协议，所述ti-spi协议：对于数据的发送过程，在初始条件下sck为低电平，cs为高电平，当雷达芯片进行一次数据传输时，mosi上的数据在cs出现下降沿后的第一个sck时钟跳变时有效，其数据在sck时钟的下降沿置位，在sck时钟的上升沿有效，以大端形式依次输出16bits的数据。

26、进一步，所述rma成像采用fpga实现，回波数据通过前后补0后，进行2次正向傅里叶变换，4次矩阵转置处理，2次反向傅里叶变换，以及一次匹配滤波矩阵点乘运算，使用fpga进行点乘运算和正/反傅里叶变换，将数据的复数信号转为两个有符号数据，并对double类型的数据进行量化转换为int16类型。

27、本发明有益技术效果包括：

28、1.本发明充分利用了fpga的流水化和并行特点，将毫米波成像算法和传统的图像处理算法部署到fpga上，实现算法加速功能，为毫米波安检的速度带来极大的提升。

29、2.将毫米波形成的图像与可见光图像(摄像头采集)进行智能融合适应，实现一个目标定位以及人体所携带的危险物品的精准探测功能，极大的保护了受检人的隐私。

30、3.基于zynq的soc平台，能够灵活适配任何雷达传感器配置，使之成为应对高阶传感器不断变化和演进发展设计的理想选择，完美匹配了iwr6843雷达soc的定制化个性化需求。

31、4.采用小型化低功耗mimo毫米波雷达系统，天线采用贴片串馈，天线增益达到12dbi，具有高探测精度，此外该技术的采用极大的节省了空间，为制作便携式探测器的目标提供了保障。

32、5.高速数据采集系统采用spi协议，传输数据速率达到40mhz，误码率为0％，实现数据的高速传输，同时确保了数据的准确性。

33、6.使用传统图像处理算法对人体图像以及毫米波扫描图像进行适配校准，对两张图像的整个人体区域进行定位。

34、7.通过ai处理模块对毫米波中的隐匿物品进行检测，最终提取该隐匿物检测区域并与可见光图像进行融合，实现一个人体隐匿危险物品的精确定位与显示效果。