基于5G网络实现多路视频流实时采集和传输方法与流程

基于5g网络实现多路视频流实时采集和传输方法
技术领域
1.本发明涉及机器人远程控制和运维技术领域，具体公开了一种基于5g网络实现多路视频流实时采集和传输的方法。


背景技术：

2.在现有技术中，中国专利cn202010188083.7工业机器人操作视频获取方法和系统，公开了一种工业机器人操作视频获取方法，具体包括以下步骤：在工业机器人的机械臂上设置gsensor，将gsensor与工业机器人对应的摄像机连接或将gsensor与处理器连接；若gsensor采集工业机器人的机械臂的加速度数据不为0，执行下一步；gsensor输出加速度数据；摄像机接收到gsensor的信号，发送预定时长的视频至集中管理设备；或处理器包含晶振电路，将接收到gsensor加速度数据的时间发送至集中管理设备，集中管理设备从摄像机调取对应时间的视频。通过gsensor获取工业机器人的机械臂加速度数据，判断出该机械臂已经开始操作，获取操作视频，若无加速度数据，则无法获取操作视频，证明存在故障或意外，既能获取正常的操作视频，又能简单明确地分辨出故障。
3.中国专利cn202111505304.x视频拼接处理方法、智能机器人及系统，提供了一种视频拼接处理方法、智能机器人及系统，涉及视频处理技术领域。能够应用于智能机器人，所述智能机器人包括多个图像采集装置，所述多个图像采集装置的拍摄视角各不相同，所述方法包括：获取由所述多个图像采集装置实时采集的多个视频流，每个视频流中包括多帧图像；对所述多个视频流进行拼接处理，得到目标视频流，所述目标视频流包括多帧目标图像，每帧目标图像包括所述多个图像采集装置所对应的多个视角下的图像；将所述目标视频流实时发送给服务器。能够实现多个视频流同步实时传输。
4.中国专利cn201811191237.7视频图像抓拍方法与视频图像抓拍机器人，提供的视频图像抓拍方法，应用于视频图像抓拍机器人，接收授权用户发出的指定班级的开始抓拍指令，当检测到所述指定班级的学生的人脸信息时，抓拍所述人脸信息所属学生的视频图像，而无需摄影师携带拍摄设备来进行反复的视频图像抓拍操作；然后，根据所述指定班级中各个学生的人脸信息，对抓拍到的视频图像进行分组，得到与所述指定班级中各个学生分别对应的视频图像组，而无需对抓拍到的视频图像进行繁琐的人工分组，可直接将得到视频图像组传输至服务器进行存储，从而提高了视频图像的管理效率，节省了大量的人工成本。
5.上述现有技术涉及的机器人视频处理技术没有涉及5g网络和物联网平台，导致机器人的视频存在采集和传输速度慢，影响机器人工作效率。


技术实现要素：

6.针对上述问题，本发明提供了一种基于5g网络实现多路视频流实时采集和传输方法，有效解决了现有技术机器人的视频存在采集和传输速度慢，影响机器人工作效率的问题。
7.本发明解决其技术问题所采取的技术方案是：一种基于5g网络实现多路视频流实时采集和传输方法，物联网平台采集机器人的状态、参数等动态数据；动态数据推送到基于 node.js 环境运行的服务端，由 node.js 作为 http server 提供web访问接口；服务端在接收到客户端的数据请求后，将数据推送给客户端，客户端基于 echarts 库进行动态数据可视化。
8.作为优化，所述物联网平台包括远程运维监控系统，所述远程运维监控系统包括机器人状态信息动态可视化系统、机器人控制指令远程下发系统和多路实时视频传输系统。
9.作为优化，所述服务端基于 node.js，使得系统处理高并发场景性能更高，同时异步 i/o 的特点能够提高程序效率，所述客户端使用vue 框架构建，具有运行速度快、便于与第三方库或既有项目整合等优点，且由于 vue 是单页面应用，使页面局部刷新，不用每次跳转页面都要请求所有数据和 dom。
10.作为优化，所述物联网平台的数据处理包括：接入层，采用工业机器人连接5g工业网关，通过5g网络上联联通工业物联网云平台；网关连接为网关硬件和软网关相结合，网关硬件作为vpn连接通道，软网关部署在pc端，针对工业机器人的私有协议进行定制开发；网络层，进行室内5g网络覆盖，架设5g基站；平台层，接入联通工业物联网平台，确保机器人与应用层之间数据的安全稳定的交互；应用层，用于实现通信的应用程序和用于消息传输的底层网络提供接口。
11.作为优化，所述多路实时视频传输系统采用了h.265视频数据的软解码，由ffmpeg完成客户端所有视频数据的解码，客户端可以由用户将界面配置为多个小窗口，每个窗口对应一个url地址，各窗口后台线程分别向服务器请求相应的前端视频图像，最终实现多路视频的采集、传输和播放。
12.作为优化，所述机器人状态信息动态可视化系统包括可视化应用平台、区域分级管理、动态热点标注和复合信息管理。
13.作为优化，所述机器人控制指令远程下发系统通过控制单元完成所有的操作任务，包括远程操作节点和机器人控制节点，远程操作节点通过can信号传输单元、数字量和模拟量传输单元传输操作数据，机器人控制节点通过can信号传输单元传输机器人的can数据；最后通过通信模块利用5g网络将数据上传至数据终端平台并将数据发送到配对的对端。
14.作为优化，所述远程运维监控系统通过悬浮控制按键来作为对摄像头的控制，点击悬浮控制按钮前端发送控制指令给云端云端服务器，当用户在浏览器点击“上”，“下”，“左”，“右”，“拉远”，“拉近”按钮的时候，浏览器发送ajax请求，访问云端服务器api，同时在请求的参数里，携带摄像头的id和按钮的id，云端服务器接收到请求后，获取请求参数，即摄像头id和按钮id，云端服务器通过tcp socket与现场pc建立连接。现场pc作为socket的客户端，接收到云端服务器发送过来的摄像头id和按钮id，利用sdk提供的函数，操作对应的摄像头，使其发生按钮id对应的移动，云端服务器和现场pc使用心跳机制来保证连接的
可靠性。
15.综上所述，由于采用了上述技术方案，本发明的有益效果是：1、实现了机器人远程实时控制：针对解决工厂机器人状态在无人值守的状态下无法得到有效地控制，容易出现非工况状态下的异常操作，扰乱产品自动化生产过程；本发明利用5g的低延迟、传输速度快等特点可异地修改机器人的各项参数，通过监控装置（监控摄像头）控制机器人的运行（现场处于安全状况并且人工确认）、修改机器人程序、变更机器人的变量数据、修改机器人的面板显示信息、程序自动备份归档并建立历史记录和处理报警信息。
16.2、本发明的基于5g网络实现机器人远程控制和远程运维系统为大容量、低延时的机器人远程运维监控系统，利用云服务平台，增加数据的安全性，通过高速的5g网络连接，提高运维和监控的时效性，实现了机器人数据实时远程监控，针对工厂机器人状态参数不可知，对机器人存在的潜在问题无法得到有效地监测和预警问题。
17.3、基于物联网平台，将机器人海量状态信息进行云端采集，有效监控机器人的具体参数，实现对机器人状态的分析，利用5g 实现对机器人的低时延调试和控制，实现机器人的远程调试，节省了机器人的运维成本，提升了工厂自动化水平的保障。
附图说明
18.图1为本发明涉及的基于5g网络实现多路视频流实时采集和传输的方法的原理框图；图2为本发明涉及的基于5g网络实现多路视频流实时采集和传输的系统具体结构框图；图3为本发明涉及的机器人状态信息的实时采集原理图。
具体实施方式
19.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
21.本发明可以以许多不同的形式实施，而不应该被理解为限于在此阐述的实施例。相反，提供这些实施例，使得本公开将是彻底和完整的，并且将把本发明的构思充分传达给本领域技术人员，本发明将仅由权利要求来限定。在附图中，为了清晰起见，会夸大层和区域的尺寸和相对尺寸。应当理解的是，当元件例如层、区域或基板被称作“形成在”或“设置在”另一元件“上”时，该元件可以直接设置在所述另一元件上，或者也可以存在中间元件。相反，当元件被称作“直接形成在”或“直接设置在”另一元件上时，不存在中间元件。
22.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构
成冲突就可以相互结合。
23.如图1所示，一种基于5g网络实现多路视频流实时采集和传输方法，一种基于5g网络实现多路视频流实时采集和传输方法，包括：s101：物联网平台采集机器人的状态、参数等动态数据；s102：动态数据推送到基于 node.js 环境运行的服务端，由 node.js 作为 http server 提供web访问接口；s103：服务端在接收到客户端的数据请求后，将数据推送给客户端，客户端基于 echarts 库进行动态数据可视化。
24.如图2所示，所述物联网平台包括远程运维监控系统，所述远程运维监控系统包括机器人状态信息动态可视化系统、机器人控制指令远程下发系统和多路实时视频传输系统。实现机器人远程控制和远程运维系统为大容量、低延时的机器人远程运维监控系统；利用云服务平台，增加数据的安全性，通过高速的5g网络连接，提高运维和监控的时效性；实现了机器人数据实时远程监控，针对工厂机器人状态参数不可知，对机器人存在的潜在问题无法得到有效地监测和预警问题，以5g为基础，通过5g监视机器人当前及历史的各种状态。
25.如图2所示，所述服务端基于 node.js，使得系统处理高并发场景性能更高，同时异步 i/o 的特点能够提高程序效率，所述客户端使用vue 框架构建，具有运行速度快、便于与第三方库或既有项目整合等优点，且由于 vue 是单页面应用，使页面局部刷新，不用每次跳转页面都要请求所有数据和 dom。将 vue 框架作为客户端基础、node.js 环境作为服务端基础，构建了机器人远程运维监控系统这一saas 平台的基本框架，主要包括机器人状态信息动态可视化技术、机器人控制指令远程下发技术和多路实时视频传输关键技术，实现了机器人远程运维监控系统这一saas 平台，远程运维使得系统整体上实现了减少运维成本、提高工作效率的效果；客户端使用vue 框架构建，具有运行速度快、便于与第三方库或既有项目整合等优点，且由于 vue 是单页面应用，使页面局部刷新，不用每次跳转页面都要请求所有数据和 dom，大大加快了访问速度和提升用户体验，服务端基于 node.js，使得系统处理高并发场景性能更高，同时异步 i/o 的特点能够提高程序效率；实现了机器人状态信息动态可视化技术基于 echarts 库实现，可以根据动态数据驱动图表变化，且能兼容当前绝大部分浏览器（ie8/9/10/11，chrome，firefox，safari 等）及兼容多种设备；多路实时视频传输关键技术使用了基于ffmpeg jsmpeg nodejs 的web流媒体方案以及 websocket 协议，ffmpeg 提供了领先的音视频编码能力，jsmpeg 和 websocket 则保证了视频流的低延迟性和连续性，另外 websocket 协议还可以减少通信量，只要建立起websocket 连接，一直保持连接，可以源源不断的传送消息。
26.所述物联网平台的数据处理包括：接入层，采用工业机器人连接5g工业网关，通过5g网络上联联通工业物联网云平台；网关连接为网关硬件和软网关相结合，网关硬件作为vpn连接通道，软网关部署在pc端，针对工业机器人的私有协议进行定制开发；网络层，进行室内5g网络覆盖，架设5g基站；平台层，接入联通工业物联网平台，确保机器人与应用层之间数据的安全稳定的交互；应用层，用于实现通信的应用程序和用于消息传输的底层网络提供接口。
27.所述多路实时视频传输系统采用了h.265视频数据的软解码，由ffmpeg完成客户
端所有视频数据的解码，客户端可以由用户将界面配置为多个小窗口，每个窗口对应一个url地址，各窗口后台线程分别向服务器请求相应的前端视频图像，最终实现多路视频的采集、传输和播放。
28.所述机器人状态信息动态可视化系统包括可视化应用平台、区域分级管理、动态热点标注和复合信息管理。
29.所述机器人控制指令远程下发系统通过控制单元完成所有的操作任务，包括远程操作节点和机器人控制节点，远程操作节点通过can信号传输单元、数字量和模拟量传输单元传输操作数据，机器人控制节点通过can信号传输单元传输机器人的can数据；最后通过通信模块利用5g网络将数据上传至数据终端平台并将数据发送到配对的对端。
30.所述远程运维监控系统通过悬浮控制按键来作为对摄像头的控制，点击悬浮控制按钮前端发送控制指令给云端云端服务器，当用户在浏览器点击“上”，“下”，“左”，“右”，“拉远”，“拉近”按钮的时候，浏览器发送ajax请求，访问云端服务器api，同时在请求的参数里，携带摄像头的id和按钮的id，云端服务器接收到请求后，获取请求参数，即摄像头id和按钮id，云端服务器通过tcp socket与现场pc建立连接。现场pc作为socket的客户端，接收到云端服务器发送过来的摄像头id和按钮id，利用sdk提供的函数，操作对应的摄像头，使其发生按钮id对应的移动，云端服务器和现场pc使用心跳机制来保证连接的可靠性。
31.如图3所示，实现了机器人状态信息的实时采集，机器人数据采集来自物联网平台；通过访问物联网云平台的api实时获取机器人的数据。从物联网平台获取的界面显示的机器人参数包括:设备历史记录，统计信息，机器人运行状态，马达电流以及各轴的关节位移值和变换值。
32.本发明涉及的云化远程数字孪生系统的设计和开发，设备的本地控制系统控制设备的执行机构，全部的操作控制由远程监控系统完成。这种方式设备的控制系统和设备是分离的，而在设备控制系统内信号的传递速度要求很高，控制系统能够立刻对现场进行反应，要求通讯线路高速可靠。基于川崎机器人控制的api，利用云化平台对机器人接口进行远程操控的云化设计，实现机器人的远程控制，形成数字孪生系统。远程控制平台允许用户屏幕与按钮布局与现场机器人进行交互，发送特定指令的代码，然后实时地在控制平台获取机器人的参数变化。远程控制平台可以实时展示机器人的统计信息、机器人的运行状态、机器人的参数。
33.本发明通过5g 机器人远程运维监控系统实现机器人的远程控制及数据回传；利用5g来传输数据，对接箍在生产线上的加工数据进行标识和存储，做到工件信息的可时效性、追溯性、及时性和稳定性，为客户及产品质量保驾护航。年产100万只接箍生产线，做到每个班次只需要不到10人，比传统生产线节约两倍以上的人工，大大节省了企业的运营成本。预期目标：可快速定位和解决故障，降低故障处理时间82%，提高故障一次性修复率40%,节省差旅成本50%；降低非预测性停机30%以上，提高机器人有效工作效率，提高现场机器人和生产线设备的稳定性。
34.本发明的机器人控制程序api接口调试，提供了利用2维和3维视觉系统进行检查和运动制导所需的标准接口，这些视觉系统可以识别要被组装的零部件的样式，或专门定位一个零部件的特征以准确地组装产品；在控制硬件和软件方面的进步允许机器人逐渐与模具或零部件切合以校正任何的位置误差；对于大型装配应用，多个机器人可以同步操作，
利用协同运动控制来举起或组装大型组件；手臂工装和多轴定位器的伺服端可全部由川崎机器人控制柜来控制；川崎开放机器人控制程序的api，所有的运动位姿、速度、精度等均可用变量来生成，适合复杂的应用场合；控制平台通过调用川崎开放的api来向机器人发送指令，以此控制机器人的运动位姿、速度、精度等。
35.本发明实现了多路视频实时传输与控制，使用了websocket和webrtc技术，将图片流和音频流分开推送，很多网站为了实现推送技术，由浏览器对云端服务器发出http请求，然后由云端服务器返回最新的数据给客户端的浏览器，这种传统的模式带来很明显的缺点，即浏览器需要不断的向服务器发出请求，然而http请求可能包含较长的头部，其中真正有效的数据可能只是很小的一部分，显然这样会浪费很多的带宽等资源，html5定义的websocket协议，能更好的节省云端服务器资源和带宽，并且能够更实时地进行通讯，webrtc提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，rtc对音视频友好，可针对音视频做定制化优化。
36.本发明涉及的界面视频数据来自云端服务器，具体操作是：摄像头端的电脑通过webrtc推流服务，将视频推送到云端服务器上，前端通过websocket协议访问云端服务器的接口来获取视频流进行实时显示。
37.上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式的产品形态和式样，任何符合本发明权利要求书且任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应落入本发明的专利保护范围。