一种基于人工智能的双目视频信号采集和分析装置的制作方法

本发明涉及一种图像分析装置及方法，尤其一种基于人工智能的双目视频信号采集和分析装置、设备及方法。

背景技术：

1、目前主流的soc芯片可以用于个人移动互联网设备和其他数字多媒体应用。soc芯片内部一般具有多个mipid-phy/c-phy，单个phy端口可以配置为d-phy或者c-phy可用作视频信号的双向传输。但是，mipi接口并不是通用接口，使用mipi接口的相机通常需要定制，且其sensor芯片难以实现同步采集功能。

2、目前主流的soc芯片一般集成多个cortex-a内核，可以用于主要用于pc、边缘计算设备等应用，但是其算力只在整数条件和大模型下较好，对浮点数和部分模型的支持并不好。且其支持的算子并不多，无法运行较为复杂的模型。

3、目前主流的soc核心板和算力核心板的功耗都比较大，适用于电源稳定供电的场景，不适用于电池供电，尤其是太阳电池供电的场景。

技术实现思路

1、本发明所要解决的技术问题在于：在目前主流的soc的系统中，如何使用标准接口的相机采集图像，并实现同步采集。如何解决目前主流的soc芯片算力不足的问题。如何解决目前主流的soc核心板耗电量大的问题。

2、本发明通过以下技术手段实现解决上述技术问题的：

3、一种基于人工智能的双目视频信号采集和分析装置，其特征在于，包括主板、成像模块、4g模块、soc核心板以及算力核心板。

4、主板上设置有单片机、亮度传感器、供电控制模块、以太网phy芯片以及typec芯片。所述主板还提供两个rj45网口母座、typec接口母座、m.2接口母座、复位按钮以及板对板连接器。

5、优选的，所述主板上设有宽压适配装置，外接电压为12v到96v的直流电压。

6、优选的，所述主板上设有防雷装置，在野外工作时可以应对雷击。所述成像模块包括两个相机、两个镜头、网线、供电及io线。

7、本发明相机通过网线将采集到的图像传递给主板上的soc芯片，由soc芯片通过gpio发出信号触发，两个相机在收到触发信号后在同一时间采集图片。

8、优选的，使用的工业相机应当支持硬件触发功能，镜头通过c接口与相机相连。

9、所述4g模块通过m.2连接器接连到主板上，将图像处理的结果传输到服务器，并可以远程管理设备。

10、优选的，4g模块支持cat4协议，4g模块与soc芯片之间通过usb2.0接口通信。

11、所述单片机通过电源管理模块控制各个模块的电源。将电源分为单片机电源、相机电源、4g模块电源、soc核心板电源和算力核心板电源6个部分。其中单片机电源不断电，其他部分的电源都由单片机控制。

12、进一步，所述单片机通过uart接口与soc芯片相连，通过控制mos管通断的方式控制各个模块的电源，在不用时为各个模块断电。所述soc核心板通过板对板连接器连接到主板上，soc芯片为整个装置的cpu，用于驱动除单片机外的各个模块，将采集到的图像做初步处理后发送给算力核心板做进一步处理，并提供4g模块与服务器通信。

13、进一步，将soc芯片的rgmii、typec、uart、pcie、spi、usb以及gpio等接口引出到主板上。rgmii接口通过以太网phy芯片连接相机，typec接口连接电脑用于下载固件，usb接口连接4g模块，pcie和spi接口连接算力核心板，uart接口与单片机相连。

14、所述算力核心板相较于soc核心板有更高的算力，可以支持更多的算子和模型，且只有pcie和spi接口用于和soc核心板通信，不承担其他任务。

15、本发明一种采用上述所述一种基于人工智能的双目视频信号采集和分析装置的方法，包括以下步骤：

16、s1：检测电池电量和环境亮度来设置采集间隔时间。

17、s2：各个模块依次上电。

18、s3：由soc核心板通过gpio向两个相机发送采集信号。

19、s4：相机将采集到的图像通过网口传输到soc核心板。

20、s5：soc核心板将采集到的图像转换为三维深度图。

21、s6：soc核心板将三维深度图通过pcie接口传输到算力核心板。

22、s7：算力核心板通过语义分割算法计算出图片的结果。

23、s8：算力核心板将计算后的结果传输给soc核心板；

24、s9：soc核心板通过4g模块将计算出的结果传输给服务器。

25、其特征在于，步骤s1中设置采集间隔时间的具体步骤为：

26、s11：使用单片机的adc接口检测电池电量。

27、s12：若电量不足，间隔两个小时后重复步骤s11。

28、s13：若电量充足，使用单片机的adc接口读取亮度传感器的数据。

29、s14：由单片机计算出目前环境的亮度。

30、s15：若亮度不足，间隔两个小时后重复步骤s11。

31、s16：若亮度充足，进行步骤s1到s9。

32、s17：间隔十分钟后重复步骤s11。

33、其特征在于，步骤s2中各个模块上电的具体步骤为：：

34、s21：步骤s3开始之前，由单片机为所有模块上电。

35、s22：采集图像并将图像传输到rk3588之后，单片机断开相机的电源。

36、s23：分析图像并将计算结果传出后，单片机断开所有模块的电源。

37、进一步，单片机始终保持供电。本发明的有益效果：

38、(1)本发明提供一种使用rj45接口的工业相机代替mipi相机的方法，无需定制相机，且可以实现两个的同步采集。

39、(2)本发明提供一种使用算力核心板辅助soc核心板计算的方法，弥补了soc芯片本身算力的缺陷。

40、(3)本发明提供一种电源管理方案，节约电量消耗，使得设备可以应用于电池供电的场景中。

技术特征：

1.一种基于人工智能的双目视频信号采集和分析装置，其特征在于，包括主板、成像模块、4g模块、soc核心板以及算力核心板；

2.根据权利要求1所述的一种基于人工智能的双目视频信号采集和分析装置，其特征在于，所述4g模块通过m.2连接器接连到主板上，将图像处理的结果传输到服务器，并可以远程管理设备。

3.根据权利要求1所述的一种基于人工智能的双目视频信号采集和分析装置，其特征在于，所述soc核心板通过板对板连接器连接到主板上，soc芯片为整个装置的cpu，用于驱动除单片机外的各个模块，将采集到的图像做初步处理后发送给算力核心板做进一步处理，并提供4g模块与服务器通信。

4.一种采用上述权利要求任意一项所述人工智能双目视频信号采集和分析装置的方法，其特征在于，包含以下步骤：

5.根据权利要求4所述的方法，其特征在于，步骤s1中设置采集间隔时间的具体步骤为：

6.根据权利要求4所述的方法，其特征在于，步骤s2中各个模块上电的具体步骤为：

技术总结本发明基于人工智能的双目视频信号采集和分析装置，其特征在于，包括主板、成像模块、4G模块、SOC核心板以及算力核心板。主板上设置有单片机、亮度传感器、供电控制模块、以太网PHY芯片以及TYPEC芯片，提供两个RJ45网口母座、TYPEC接口母座、m.2接口母座、按钮以及板对板连接器。两个RJ45网口母座用于连接两个工业相机，板对板连接器用于连接SOC核心板及算力核心板，TYPEC接口用于连接电脑下载固件，m.2接口用于连接4G模块。两路相机采集图像后，由SOC核心板将两路图像通过双目深度估计算法处理为深度图像，再由算力核心板通过图像语义分割算法计算出结果，由4G模块将计算结果传输到服务器。技术研发人员：杨尚彬,陈志锋,黄耀升,周庆东,张超,梁祖鸿,甄志明,温带银,黎子源受保护的技术使用者：广东电网有限责任公司江门供电局技术研发日：技术公布日：2024/10/17