一种基于nat和虚拟网桥的推理服务器
技术领域：
：1.本发明属于服务器
技术领域：
：，具体涉及一种基于nat和虚拟网桥的推理服务器。
背景技术：
：：2.推理服务器指采用人工智能算法，具有强算力和高能效特点智能分析服务器，是计算机视觉领域的重要研究方向，广泛应用于安防监控、视频分析、医疗影像分析和文字识别等方向。ai芯片主要有训练和推理两个功能。其中，训练指的是从已有的数据集学习能力的过程，通过这些大量标记过的数据来训练系统，使其可以适应特定的功能，而推理则是使用经过训练的神经网络将学到的知识用于新的任务。训练和推理是神经网络的两个相对独立的应用。但由于推理模型通常需要巨大的计算与存储开销，现有技术中的推理服务器往往存储能力和分析能力有限，无法实现大规模并行推理计算实时分析，且与外部网络交互的安全性低，难以保证工作不间断运行，实现数据包的高效传输，且不便于管理和部署。因此，提出一种基于nat和虚拟网桥的推理服务器。技术实现要素：3.本发明的目的在于针对上述问题，提出一种基于nat和虚拟网桥的推理服务器，采用双控架构，通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、高安全性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，适用于多场景下的应用开发，满足用户对高性能计算、信息安全等应用任务的需求，并保证工作不间断运行，实现数据包的高效传输。4.为实现上述目的，本发明所采取的技术方案为：5.本发明提出的一种基于nat和虚拟网桥的推理服务器，用于与外网设备进行通信，包括分析单元和管理单元，分析单元包括第一主控模块和多个ai模块，第一主控模块配置有虚拟网桥、nat规则和路由转发功能，并设有用于与外网设备连接的外网网卡和用于与各ai模块连接的内网网卡，虚拟网桥用于实现各ai模块之间的通信，ai模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的ip地址和默认网关，默认网关为虚拟网桥的ip地址，第一主控模块通过nat规则自动获取外网网卡的ip地址且其路由转发功能为开启状态；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接，并执行如下操作：6.第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定ai模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过nat规则将外网网卡中的数据包的源ip地址转换为外网网卡的ip地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过nat规则将外网网卡中的数据回包的目的ip地址转换为指定ai模块的ip地址，并通过路由转发功能将转换后的数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定ai模块，ai模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘。7.优选地，第一主控模块还包括第一主板和第一背板，第一主板、内网网卡和第一背板依次连接，第一背板还与各ai模块连接；第二主控模块包括依次连接的第二主板、raid卡和第二背板，第二背板还与各硬盘连接，第二主板还与外网设备连接。8.优选地，第一主控模块还包括第一接口模块、第一连接板和第一控制面板，第一接口模块、第一主板、第一连接板、第一背板和第一控制面板依次连接，第二主控模块还包括第二接口模块、第二连接板和第二控制面板，第二接口模块、第二主板连接、第二连接板、第二背板和第二控制面板依次连接。9.优选地，第一接口模块和第二接口模块均包括usb接口、网络接口、电源接口、串口、vga接口和pci-e插槽，第一控制面板和第二控制面板均设有系统指示灯、usb接口、开关按钮和复位按钮。10.优选地，第一主控模块还包括第一风扇和第一电源模块，第一风扇和第一电源模块均与第一主板连接，第二主控模块还包括第二风扇和第二电源模块，第二风扇和第二电源模块均与第二主板连接。11.优选地，ai模块的数量为24个，硬盘的数量为12个。12.优选地，第一主控模块和第二主控模块通过交换机与外网设备进行通信。13.优选地，外网设备为摄像机或计算机。14.优选地，外网设备的配置信息包括ip地址、端口号、用户名和密码。15.与现有技术相比，本发明的有益效果为：16.1)该推理服务器通过分析单元和管理单元实现双控架构，管理单元搭载有多个大容量的存储硬盘，大大提高存储能力，分析单元搭载多个具有分析能力的ai模块，便于对ai模块中的算法进行优化，升级迭代方便，适用于多场景下的应用开发，且采用虚拟网桥实现ai模块的集群管理并通过nat技术和路由转发功能的配合，大大提升推理服务器的灵活性、可靠性和与外部网络交互的安全性，保证工作不间断运行，实现数据包的高效传输，nat技术还有利于解决了推理服务器ip占用过多的问题，通过内外网的分离实现数据包的单向访问，对产品的部署和生产带来了极大的便利；17.2)通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，满足用户对高性能计算、信息安全等应用任务的需求。附图说明18.图1为本发明的推理服务器工作状态图；19.图2为本发明的推理服务器工作流程图；20.图3为本发明的推理服务器电路图。具体实施方式21.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。22.需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的
技术领域：
：的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。23.如图1-3所示，一种基于nat和虚拟网桥的推理服务器，用于与外网设备进行通信，包括分析单元和管理单元，分析单元包括第一主控模块和多个ai模块，第一主控模块配置有虚拟网桥、nat规则和路由转发功能，并设有用于与外网设备连接的外网网卡和用于与各ai模块连接的内网网卡，虚拟网桥用于实现各ai模块之间的通信，ai模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的ip地址和默认网关，默认网关为虚拟网桥的ip地址，第一主控模块通过nat规则自动获取外网网卡的ip地址且其路由转发功能为开启状态；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接，并执行如下操作：24.第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定ai模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过nat规则将外网网卡中的数据包的源ip地址转换为外网网卡的ip地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过nat规则将外网网卡中的数据回包的目的ip地址转换为指定ai模块的ip地址，并通过路由转发功能将转换后的数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定ai模块，ai模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘。25.其中，推理服务器包括分析单元和管理单元，分析单元和管理单元内置于服务器机箱，如上层为推理模块(由多个ai模块阵列组成)和第一主控模块，下层为存储模块(由多个硬盘阵列组成)和第二主控模块，ai模块和硬盘均靠近服务器机箱的前面板设置。结构紧凑，便于操作，并有利于提高空间利用率。nat：networkaddresstranslation，网络地址转换。桥接：指依据osi网络模型的链路层地址，对网络数据包进行转发的过程。26.第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第二主控模块制定有不同的目标分析任务并对应标记任务名称和任务类型，需要下发目标分析任务时，输入对应的名称和类型即可进行下发，并选择所需外网设备进行取流任务，选择的外网设备数量不限。第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定ai模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过nat规则将外网网卡中的数据包的源ip地址转换为外网网卡的ip地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过nat规则将外网网卡中的数据回包的目的ip地址转换为指定ai模块的ip地址，并通过路由转发功能将转换后的数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定ai模块，ai模块通过预训练好的模型对接收的数据回包进行目标检测，获得检测结果，预训练好的模型可根据实际需求配置，如配置为现有技术中的用于进行人脸识别或行为识别的神经网络模型，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘，如第一主控模块将检测结果异步通过http协议传递第二主控模块，第二主控模块接收到检测结果后将其存储于对应的硬盘，以供后续查看。27.其中，基于虚拟网桥实现ai模块集群管理，使各ai模块之间相互通信，具体如下：28.由于推理服务器内部搭载了多个ai模块(如型号为atlas200，数量24个)，型号和数量还可根据实际需求进行选择，在此不再赘述。为实现动态灵活的使用，需要将24个ai模块进行资源管理。本实施例中，基于虚拟网桥搭建ai模块集群，将ai模块组成网络，工作时，24个ai模块整体作为一个分析集群，通过集群管理技术对ai模块进行资源管理。29.具体地，虚拟网桥的桥接工作在osi网络参考模型的第二层，即数据链路层，以mac地址来作为判断依据进行网络规划，判断数据包的发送。通过桥接可以把推理服务器内部的若干个网络接口连接起来，这样其中一个网络接口收到的信息可以复制给其他网络接口发送出去，实现网络接口之间的信息互相转发，使24个ai模块实现高效通信。30.虚拟网桥的创建如下：[0031][0032]推理服务器包括24个网络接口(如内网网卡选择82580网卡，82580网卡是采用intel82580db芯片和intel82580eb芯片的千兆光纤网卡)，各网络接口分别与ai模块一一对应连接。各ai模块配置了与虚拟网桥同网段的ip地址和默认网关。虚拟网桥搭建过程中，enp8s0f1、enp8s0f2、enp8s0f3等为内部的网卡标识号，共24个与ai模块一一对应，如可通过ifconfig命令查询。假设enp8s0f1网卡连接ai模块eth0网络接口，为该ai模块配置ip地址为192.168.0.1，默认网关为虚拟网桥的ip地址，配置如下：[0033][0034]依次为24个ai模块配置ip地址192.168.0.1～192.168.0.24和默认网关，这样24个ai模块和虚拟网桥便组成了局域网。查看ai模块上的路由表，即可获得如下数据：[0035][0036]从路由表可以看出，gateway表示分析单元上配置的虚拟网桥br0的ip地址，为eth0网络接口发送数据包的下一个通信对象，将数据包发给该ip地址，该ip地址对应的ai模块eth0网络接口就会将数据包转发到目的mac地址(即虚拟网桥的mac地址)，可通过默认网关的ip地址获取虚拟网桥的mac地址，由于虚拟网桥在数据链路层上实现局域网互联，当数据包到达虚拟网桥后，虚拟网桥会进行数据包目的mac地址的分析，将数据包转发到目的mac地址(外网网卡的mac地址)，基于以太网工作规范实现了24个ai模块互联互通，由于各ai模块均有ip地址和mac地址，且彼此相互独立，为ai模块作为分析资源进行灵活弹性的调用打下基础。[0037]nat规则配置如下：[0038]网桥技术可实现ai模块与虚拟网桥br0的相互通信，由于ai模块在实现上需要主动与外网设备(如摄像机)进行交互，即ai模块需要获取摄像机的rtsp视频流进行分析，因此需要将虚拟网桥br0的数据包转发给摄像机，同时为保证内部网络的安全性，摄像机要求是无法主动与ai模块发起通信的，为保证内部网络和外部网络的交互并实现有效隔离，该推理服务器采用nat技术实现，nat在linux系统中是由iptables服务实现的。iptables是与linux操作系统集成的控制ip信息包过滤和防火墙配置的系统，采用防火墙的四表五链技术，真正实现防火墙功能的是netfilter，它是linux内核中实现ip信息包过滤的内核模块。在linux操作系统中，netfilter组件是集成在linux内核中扩展各种网络服务的结构化层框架，在内核级提供防火墙功能。内核模块中放置了5个hook，包括input，output，forward，prerouting，postrouting，用户只要通过命令工具iptables向其写入规则。nat技术实现为本领域技术人员熟知技术，在此不再赘述。[0039]为实现推理服务器内部网络访问外网摄像机，推理服务器的第一主控模块需要开启内核自带的路由转发功能和配置nat规则。如通过在linux操作系统中修改对应参数使之永久生效，开启路由转发功能。通过nat规则配置，可以自动获取外网网卡的ip地址，从而实现自动化的网络地址转换，如源nat(snat)，即改变转发数据包的源地址，或还可采用目的nat(dnat)，即改变转发数据包的目的地址。[0040]推理服务器的ai模块要访问外网摄像机取流时，ai模块会主动发起请求，以下以ai模块1和摄像机1的交互为例，如图1所示，具体交互对象和数量不作限制，如一个ai模块还可同时向多个摄像机取流，完整的数据包流转过程中数据包信息变化如下表：[0041][0042]数据包遵循rtsp流协议，如包括ip地址、端口号、用户名和密码，通过rtsp交互协议用于进行请求视频流信息，当摄像机1收到取流请求对应的数据包后，会向外网网卡发送数据回包，数据回包可含所需视频流信息以及基于交互协议的控制报文，由于系统保存了连接信息，数据回包到达外网网卡后，其目的ip地址会被snat反向修改为内网ai模块1的ip地址，然后通过路由转发功能转发至虚拟网桥br0，再由虚拟网桥br0重新转发给ai模块1，至此，ai模块主动与外部设备的完整通信过程建立完成。[0043]推理服务器工作时，管理单元和分析单元协同工作，为保证灵活性和分析能力最大化，分析单元上不存在硬盘设备，主要作用是根据管理单元下发的目标分析任务和所需外网设备的配置信息，通过调度ai模块进行视频流的分析以提取视频画面中感兴趣的目标特征信息并传送给管理单元，管理单元负责目标特征信息的存储。由于推理服务器采用了snat的架构，因此当数据包从外网网卡流出时会修改为源地址，当大量数据从分析单元流向管理单元时，根据msl扩展，一般2分钟内同一个ip的请求时间戳要求递增，否则，管理单元会不予响应，为防止该问题，可以在管理单元上对tcp时间戳进行如下配置：[0044][0045]完成推理服务器网络架构的搭建。[0046]该推理服务器通过分析单元和管理单元实现双控架构，管理单元搭载有多个大容量的存储硬盘，大大提高存储能力，分析单元搭载多个具有分析能力的ai模块，便于对ai模块中的算法进行优化，升级迭代方便，适用于多场景下的应用开发，且采用虚拟网桥实现ai模块的集群管理并通过nat技术和路由转发功能的配合，大大提升推理服务器的灵活性、可靠性和与外部网络交互的安全性，保证工作不间断运行，实现数据包的高效传输，虚拟网桥技术还有利于解决了推理服务器ip占用过多的问题，通过内外网的分离实现数据包的单向访问，对产品的部署和生产带来了极大的便利；且通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，满足用户对高性能计算、信息安全等应用任务的需求。[0047]在一实施例中，第一主控模块还包括第一主板和第一背板，第一主板、内网网卡和第一背板依次连接，第一背板还与各ai模块连接；第二主控模块包括依次连接的第二主板、raid卡和第二背板，第二背板还与各硬盘连接，第二主板还与外网设备连接。[0048]其中，虚拟网桥、nat规则和路由转发功能均配置于第一主板上，第一主板和内网网卡通过pcie接口连接，内网网卡引出的24个网络接口连接至第一背板，第一背板上可以通过高速连接器将网络接口信号分配到12个ai加速卡，每个ai加速卡包括2个ai模块(型号为atlas200)。第二主板和raid卡通过pcie接口连接，通过riad卡引出1路sas接口至第二背板(如设有sas扩展模块，型号为pm8054b-f3ei)，第二背板上将1路sas(x4信号)转为12路sas至12个3.5寸硬盘位，或还可根据实际需求转换为硬盘适用的协议，如asa/sata协议。raid是一种把多块独立的物理硬盘按不同方式组合起来形成一个逻辑硬盘，从而提供比单个硬盘有着更高的性能和提供数据冗余的技术，如支持rald0、raid1、raid3、raid4、raid5、raid10等功能，为现有技术，在此不再赘述。各主板(如cpu采用飞腾ft-2000 /64)还可连接有bmc芯片(如型号为ast2400)，通过不同的接口与其它组件连接，监视其状态并做相应的调节工作，以保证系统处于健康的状态，为本领域技术人员熟知技术，在此不在赘述。需要说明的是，各模块可为独立结构，或还根据实际需求集成为一体。[0049]在一实施例中，第一主控模块还包括第一接口模块、第一连接板和第一控制面板，第一接口模块、第一主板、第一连接板、第一背板和第一控制面板依次连接，第二主控模块还包括第二接口模块、第二连接板和第二控制面板，第二接口模块、第二主板连接、第二连接板、第二背板和第二控制面板依次连接。[0050]在一实施例中，第一接口模块和第二接口模块均包括usb接口、网络接口、电源接口、串口、vga接口和pci-e插槽，第一控制面板和第二控制面板均设有系统指示灯、usb接口、开关按钮和复位按钮。[0051]其中，第一控制面板和第二控制面板可设于服务器机箱的前侧，如安装于服务器机箱的前面板上，第一接口模块和第二接口模块包括不同的对外接口，设于服务器机箱的后侧，如安装于服务器机箱的后面板上，便于走线。[0052]在一实施例中，第一主控模块还包括第一风扇和第一电源模块，第一风扇和第一电源模块均与第一主板连接，第二主控模块还包括第二风扇和第二电源模块，第二风扇和第二电源模块均与第二主板连接。风扇用于散热，电源模块用于稳定供电，满足整机电源适应性和功耗要求，第一主控模块和第二主控模块分别连接一组风扇和电源模块，有助于保证运行的稳定性，或还可共用一组风扇和电源模块。[0053]在一实施例中，ai模块的数量为24个，硬盘的数量为12个。具体数量可根据实际需求调整。[0054]在一实施例中，第一主控模块和第二主控模块通过交换机与外网设备进行通信。[0055]在一实施例中，外网设备为摄像机或计算机。或还可为其他外网设备，可根据实际需求确定。[0056]在一实施例中，外网设备的配置信息包括ip地址、端口号、用户名和密码。通过外网设备的配置信息确定取流对象。[0057]以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。[0058]以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。当前第1页12当前第1页12
技术领域：
：1.本发明属于服务器
技术领域：
：，具体涉及一种基于nat和虚拟网桥的推理服务器。
背景技术：
：：2.推理服务器指采用人工智能算法，具有强算力和高能效特点智能分析服务器，是计算机视觉领域的重要研究方向，广泛应用于安防监控、视频分析、医疗影像分析和文字识别等方向。ai芯片主要有训练和推理两个功能。其中，训练指的是从已有的数据集学习能力的过程，通过这些大量标记过的数据来训练系统，使其可以适应特定的功能，而推理则是使用经过训练的神经网络将学到的知识用于新的任务。训练和推理是神经网络的两个相对独立的应用。但由于推理模型通常需要巨大的计算与存储开销，现有技术中的推理服务器往往存储能力和分析能力有限，无法实现大规模并行推理计算实时分析，且与外部网络交互的安全性低，难以保证工作不间断运行，实现数据包的高效传输，且不便于管理和部署。因此，提出一种基于nat和虚拟网桥的推理服务器。技术实现要素：3.本发明的目的在于针对上述问题，提出一种基于nat和虚拟网桥的推理服务器，采用双控架构，通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、高安全性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，适用于多场景下的应用开发，满足用户对高性能计算、信息安全等应用任务的需求，并保证工作不间断运行，实现数据包的高效传输。4.为实现上述目的，本发明所采取的技术方案为：5.本发明提出的一种基于nat和虚拟网桥的推理服务器，用于与外网设备进行通信，包括分析单元和管理单元，分析单元包括第一主控模块和多个ai模块，第一主控模块配置有虚拟网桥、nat规则和路由转发功能，并设有用于与外网设备连接的外网网卡和用于与各ai模块连接的内网网卡，虚拟网桥用于实现各ai模块之间的通信，ai模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的ip地址和默认网关，默认网关为虚拟网桥的ip地址，第一主控模块通过nat规则自动获取外网网卡的ip地址且其路由转发功能为开启状态；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接，并执行如下操作：6.第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定ai模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过nat规则将外网网卡中的数据包的源ip地址转换为外网网卡的ip地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过nat规则将外网网卡中的数据回包的目的ip地址转换为指定ai模块的ip地址，并通过路由转发功能将转换后的数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定ai模块，ai模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘。7.优选地，第一主控模块还包括第一主板和第一背板，第一主板、内网网卡和第一背板依次连接，第一背板还与各ai模块连接；第二主控模块包括依次连接的第二主板、raid卡和第二背板，第二背板还与各硬盘连接，第二主板还与外网设备连接。8.优选地，第一主控模块还包括第一接口模块、第一连接板和第一控制面板，第一接口模块、第一主板、第一连接板、第一背板和第一控制面板依次连接，第二主控模块还包括第二接口模块、第二连接板和第二控制面板，第二接口模块、第二主板连接、第二连接板、第二背板和第二控制面板依次连接。9.优选地，第一接口模块和第二接口模块均包括usb接口、网络接口、电源接口、串口、vga接口和pci-e插槽，第一控制面板和第二控制面板均设有系统指示灯、usb接口、开关按钮和复位按钮。10.优选地，第一主控模块还包括第一风扇和第一电源模块，第一风扇和第一电源模块均与第一主板连接，第二主控模块还包括第二风扇和第二电源模块，第二风扇和第二电源模块均与第二主板连接。11.优选地，ai模块的数量为24个，硬盘的数量为12个。12.优选地，第一主控模块和第二主控模块通过交换机与外网设备进行通信。13.优选地，外网设备为摄像机或计算机。14.优选地，外网设备的配置信息包括ip地址、端口号、用户名和密码。15.与现有技术相比，本发明的有益效果为：16.1)该推理服务器通过分析单元和管理单元实现双控架构，管理单元搭载有多个大容量的存储硬盘，大大提高存储能力，分析单元搭载多个具有分析能力的ai模块，便于对ai模块中的算法进行优化，升级迭代方便，适用于多场景下的应用开发，且采用虚拟网桥实现ai模块的集群管理并通过nat技术和路由转发功能的配合，大大提升推理服务器的灵活性、可靠性和与外部网络交互的安全性，保证工作不间断运行，实现数据包的高效传输，nat技术还有利于解决了推理服务器ip占用过多的问题，通过内外网的分离实现数据包的单向访问，对产品的部署和生产带来了极大的便利；17.2)通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，满足用户对高性能计算、信息安全等应用任务的需求。附图说明18.图1为本发明的推理服务器工作状态图；19.图2为本发明的推理服务器工作流程图；20.图3为本发明的推理服务器电路图。具体实施方式21.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。22.需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的
技术领域：
：的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。23.如图1-3所示，一种基于nat和虚拟网桥的推理服务器，用于与外网设备进行通信，包括分析单元和管理单元，分析单元包括第一主控模块和多个ai模块，第一主控模块配置有虚拟网桥、nat规则和路由转发功能，并设有用于与外网设备连接的外网网卡和用于与各ai模块连接的内网网卡，虚拟网桥用于实现各ai模块之间的通信，ai模块用于搭载预训练好的模型，并配置有与虚拟网桥同网段的ip地址和默认网关，默认网关为虚拟网桥的ip地址，第一主控模块通过nat规则自动获取外网网卡的ip地址且其路由转发功能为开启状态；管理单元包括第二主控模块和多个硬盘，外网设备和各硬盘均与第二主控模块连接，并执行如下操作：24.第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定ai模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过nat规则将外网网卡中的数据包的源ip地址转换为外网网卡的ip地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过nat规则将外网网卡中的数据回包的目的ip地址转换为指定ai模块的ip地址，并通过路由转发功能将转换后的数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定ai模块，ai模块通过预训练好的模型对接收的数据回包进行目标检测，并获得检测结果，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘。25.其中，推理服务器包括分析单元和管理单元，分析单元和管理单元内置于服务器机箱，如上层为推理模块(由多个ai模块阵列组成)和第一主控模块，下层为存储模块(由多个硬盘阵列组成)和第二主控模块，ai模块和硬盘均靠近服务器机箱的前面板设置。结构紧凑，便于操作，并有利于提高空间利用率。nat：networkaddresstranslation，网络地址转换。桥接：指依据osi网络模型的链路层地址，对网络数据包进行转发的过程。26.第二主控模块下发目标分析任务和所需外网设备的配置信息至第一主控模块，第二主控模块制定有不同的目标分析任务并对应标记任务名称和任务类型，需要下发目标分析任务时，输入对应的名称和类型即可进行下发，并选择所需外网设备进行取流任务，选择的外网设备数量不限。第一主控模块根据接收的目标分析任务和所需外网设备的配置信息创建目标检测任务，然后根据目标检测任务指定ai模块发起取流请求并将对应的数据包发放至虚拟网桥，第一主控模块通过路由转发功能将数据包由虚拟网桥转发至外网网卡，并通过nat规则将外网网卡中的数据包的源ip地址转换为外网网卡的ip地址后，再将转换后的数据包转发至所需外网设备，然后所需外网设备下发数据回包至外网网卡，第一主控模块通过nat规则将外网网卡中的数据回包的目的ip地址转换为指定ai模块的ip地址，并通过路由转发功能将转换后的数据回包由外网网卡转发至虚拟网桥后，再将数据回包由虚拟网桥发送至指定ai模块，ai模块通过预训练好的模型对接收的数据回包进行目标检测，获得检测结果，预训练好的模型可根据实际需求配置，如配置为现有技术中的用于进行人脸识别或行为识别的神经网络模型，第一主控模块将检测结果发送至第二主控模块并存储至对应的硬盘，如第一主控模块将检测结果异步通过http协议传递第二主控模块，第二主控模块接收到检测结果后将其存储于对应的硬盘，以供后续查看。27.其中，基于虚拟网桥实现ai模块集群管理，使各ai模块之间相互通信，具体如下：28.由于推理服务器内部搭载了多个ai模块(如型号为atlas200，数量24个)，型号和数量还可根据实际需求进行选择，在此不再赘述。为实现动态灵活的使用，需要将24个ai模块进行资源管理。本实施例中，基于虚拟网桥搭建ai模块集群，将ai模块组成网络，工作时，24个ai模块整体作为一个分析集群，通过集群管理技术对ai模块进行资源管理。29.具体地，虚拟网桥的桥接工作在osi网络参考模型的第二层，即数据链路层，以mac地址来作为判断依据进行网络规划，判断数据包的发送。通过桥接可以把推理服务器内部的若干个网络接口连接起来，这样其中一个网络接口收到的信息可以复制给其他网络接口发送出去，实现网络接口之间的信息互相转发，使24个ai模块实现高效通信。30.虚拟网桥的创建如下：[0031][0032]推理服务器包括24个网络接口(如内网网卡选择82580网卡，82580网卡是采用intel82580db芯片和intel82580eb芯片的千兆光纤网卡)，各网络接口分别与ai模块一一对应连接。各ai模块配置了与虚拟网桥同网段的ip地址和默认网关。虚拟网桥搭建过程中，enp8s0f1、enp8s0f2、enp8s0f3等为内部的网卡标识号，共24个与ai模块一一对应，如可通过ifconfig命令查询。假设enp8s0f1网卡连接ai模块eth0网络接口，为该ai模块配置ip地址为192.168.0.1，默认网关为虚拟网桥的ip地址，配置如下：[0033][0034]依次为24个ai模块配置ip地址192.168.0.1～192.168.0.24和默认网关，这样24个ai模块和虚拟网桥便组成了局域网。查看ai模块上的路由表，即可获得如下数据：[0035][0036]从路由表可以看出，gateway表示分析单元上配置的虚拟网桥br0的ip地址，为eth0网络接口发送数据包的下一个通信对象，将数据包发给该ip地址，该ip地址对应的ai模块eth0网络接口就会将数据包转发到目的mac地址(即虚拟网桥的mac地址)，可通过默认网关的ip地址获取虚拟网桥的mac地址，由于虚拟网桥在数据链路层上实现局域网互联，当数据包到达虚拟网桥后，虚拟网桥会进行数据包目的mac地址的分析，将数据包转发到目的mac地址(外网网卡的mac地址)，基于以太网工作规范实现了24个ai模块互联互通，由于各ai模块均有ip地址和mac地址，且彼此相互独立，为ai模块作为分析资源进行灵活弹性的调用打下基础。[0037]nat规则配置如下：[0038]网桥技术可实现ai模块与虚拟网桥br0的相互通信，由于ai模块在实现上需要主动与外网设备(如摄像机)进行交互，即ai模块需要获取摄像机的rtsp视频流进行分析，因此需要将虚拟网桥br0的数据包转发给摄像机，同时为保证内部网络的安全性，摄像机要求是无法主动与ai模块发起通信的，为保证内部网络和外部网络的交互并实现有效隔离，该推理服务器采用nat技术实现，nat在linux系统中是由iptables服务实现的。iptables是与linux操作系统集成的控制ip信息包过滤和防火墙配置的系统，采用防火墙的四表五链技术，真正实现防火墙功能的是netfilter，它是linux内核中实现ip信息包过滤的内核模块。在linux操作系统中，netfilter组件是集成在linux内核中扩展各种网络服务的结构化层框架，在内核级提供防火墙功能。内核模块中放置了5个hook，包括input，output，forward，prerouting，postrouting，用户只要通过命令工具iptables向其写入规则。nat技术实现为本领域技术人员熟知技术，在此不再赘述。[0039]为实现推理服务器内部网络访问外网摄像机，推理服务器的第一主控模块需要开启内核自带的路由转发功能和配置nat规则。如通过在linux操作系统中修改对应参数使之永久生效，开启路由转发功能。通过nat规则配置，可以自动获取外网网卡的ip地址，从而实现自动化的网络地址转换，如源nat(snat)，即改变转发数据包的源地址，或还可采用目的nat(dnat)，即改变转发数据包的目的地址。[0040]推理服务器的ai模块要访问外网摄像机取流时，ai模块会主动发起请求，以下以ai模块1和摄像机1的交互为例，如图1所示，具体交互对象和数量不作限制，如一个ai模块还可同时向多个摄像机取流，完整的数据包流转过程中数据包信息变化如下表：[0041][0042]数据包遵循rtsp流协议，如包括ip地址、端口号、用户名和密码，通过rtsp交互协议用于进行请求视频流信息，当摄像机1收到取流请求对应的数据包后，会向外网网卡发送数据回包，数据回包可含所需视频流信息以及基于交互协议的控制报文，由于系统保存了连接信息，数据回包到达外网网卡后，其目的ip地址会被snat反向修改为内网ai模块1的ip地址，然后通过路由转发功能转发至虚拟网桥br0，再由虚拟网桥br0重新转发给ai模块1，至此，ai模块主动与外部设备的完整通信过程建立完成。[0043]推理服务器工作时，管理单元和分析单元协同工作，为保证灵活性和分析能力最大化，分析单元上不存在硬盘设备，主要作用是根据管理单元下发的目标分析任务和所需外网设备的配置信息，通过调度ai模块进行视频流的分析以提取视频画面中感兴趣的目标特征信息并传送给管理单元，管理单元负责目标特征信息的存储。由于推理服务器采用了snat的架构，因此当数据包从外网网卡流出时会修改为源地址，当大量数据从分析单元流向管理单元时，根据msl扩展，一般2分钟内同一个ip的请求时间戳要求递增，否则，管理单元会不予响应，为防止该问题，可以在管理单元上对tcp时间戳进行如下配置：[0044][0045]完成推理服务器网络架构的搭建。[0046]该推理服务器通过分析单元和管理单元实现双控架构，管理单元搭载有多个大容量的存储硬盘，大大提高存储能力，分析单元搭载多个具有分析能力的ai模块，便于对ai模块中的算法进行优化，升级迭代方便，适用于多场景下的应用开发，且采用虚拟网桥实现ai模块的集群管理并通过nat技术和路由转发功能的配合，大大提升推理服务器的灵活性、可靠性和与外部网络交互的安全性，保证工作不间断运行，实现数据包的高效传输，虚拟网桥技术还有利于解决了推理服务器ip占用过多的问题，通过内外网的分离实现数据包的单向访问，对产品的部署和生产带来了极大的便利；且通过分析单元和管理单元的协作实现大规模并行推理计算实时分析，具有高可靠性、低延时、大容量存储性能，且易管理、易部署，可提供企业级的强劲计算能力和扩展能力，满足用户对高性能计算、信息安全等应用任务的需求。[0047]在一实施例中，第一主控模块还包括第一主板和第一背板，第一主板、内网网卡和第一背板依次连接，第一背板还与各ai模块连接；第二主控模块包括依次连接的第二主板、raid卡和第二背板，第二背板还与各硬盘连接，第二主板还与外网设备连接。[0048]其中，虚拟网桥、nat规则和路由转发功能均配置于第一主板上，第一主板和内网网卡通过pcie接口连接，内网网卡引出的24个网络接口连接至第一背板，第一背板上可以通过高速连接器将网络接口信号分配到12个ai加速卡，每个ai加速卡包括2个ai模块(型号为atlas200)。第二主板和raid卡通过pcie接口连接，通过riad卡引出1路sas接口至第二背板(如设有sas扩展模块，型号为pm8054b-f3ei)，第二背板上将1路sas(x4信号)转为12路sas至12个3.5寸硬盘位，或还可根据实际需求转换为硬盘适用的协议，如asa/sata协议。raid是一种把多块独立的物理硬盘按不同方式组合起来形成一个逻辑硬盘，从而提供比单个硬盘有着更高的性能和提供数据冗余的技术，如支持rald0、raid1、raid3、raid4、raid5、raid10等功能，为现有技术，在此不再赘述。各主板(如cpu采用飞腾ft-2000 /64)还可连接有bmc芯片(如型号为ast2400)，通过不同的接口与其它组件连接，监视其状态并做相应的调节工作，以保证系统处于健康的状态，为本领域技术人员熟知技术，在此不在赘述。需要说明的是，各模块可为独立结构，或还根据实际需求集成为一体。[0049]在一实施例中，第一主控模块还包括第一接口模块、第一连接板和第一控制面板，第一接口模块、第一主板、第一连接板、第一背板和第一控制面板依次连接，第二主控模块还包括第二接口模块、第二连接板和第二控制面板，第二接口模块、第二主板连接、第二连接板、第二背板和第二控制面板依次连接。[0050]在一实施例中，第一接口模块和第二接口模块均包括usb接口、网络接口、电源接口、串口、vga接口和pci-e插槽，第一控制面板和第二控制面板均设有系统指示灯、usb接口、开关按钮和复位按钮。[0051]其中，第一控制面板和第二控制面板可设于服务器机箱的前侧，如安装于服务器机箱的前面板上，第一接口模块和第二接口模块包括不同的对外接口，设于服务器机箱的后侧，如安装于服务器机箱的后面板上，便于走线。[0052]在一实施例中，第一主控模块还包括第一风扇和第一电源模块，第一风扇和第一电源模块均与第一主板连接，第二主控模块还包括第二风扇和第二电源模块，第二风扇和第二电源模块均与第二主板连接。风扇用于散热，电源模块用于稳定供电，满足整机电源适应性和功耗要求，第一主控模块和第二主控模块分别连接一组风扇和电源模块，有助于保证运行的稳定性，或还可共用一组风扇和电源模块。[0053]在一实施例中，ai模块的数量为24个，硬盘的数量为12个。具体数量可根据实际需求调整。[0054]在一实施例中，第一主控模块和第二主控模块通过交换机与外网设备进行通信。[0055]在一实施例中，外网设备为摄像机或计算机。或还可为其他外网设备，可根据实际需求确定。[0056]在一实施例中，外网设备的配置信息包括ip地址、端口号、用户名和密码。通过外网设备的配置信息确定取流对象。[0057]以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。[0058]以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
