一种同屏显示方法、装置及系统与流程

1.本发明涉及电子物联网领域，尤指一种同屏显示方法、装置及系统。


背景技术：

2.随着近年物联网的发展，设备之间的互联越来越广泛使用，从一个设备到另一设备信息的投放或同步的使用场景也越来越多，因此便捷同屏方法和装置也显示格外必要。
3.目前的通用的同屏方法或同屏器都是通过现有同屏协议传输投屏，由于需要适应目的屏的通用性，传输和处理数据量都比较大，产生的延时相对而言都较大。因此有必要提出一种减小延迟的同屏方法。


技术实现要素：

4.本发明提供一种同屏显示方法、装置及系统，解决上述问题。
5.本发明提供的技术方案如下：
6.一种同屏显示方法，包括：
7.获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码；
8.当所述有线通信模块的唯一标识码为预设标识码时，确定所述设备为副屏设备；
9.调取所述副屏设备的分辨率和帧率，并基于所述副屏设备的分辨率设定所述主屏设备的录屏服务的分辨率，基于所述副屏设备的帧率设定所述主屏设备的录屏服务的帧率，以进行录屏；
10.当完成预设时间的录屏时发送录屏数据至所述副屏设备，以使得所述副屏设备进行同屏显示。
11.进一步优选地，在所述获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码之前，还包括：
12.将所述主屏设备的usb服务模块设置成vcp虚拟串口，并将所述vcp虚拟串口的标识码设置成预设标识码。
13.进一步优选地，所述基于所述副屏设备的分辨率和帧率进行录屏，包括：
14.基于所述分辨率和所述帧率，在所述主屏设备调用mediacodec库，以所述帧率的倒数为间隔时间，在所述主屏设备的当前主屏抓取所述分辨率的区域的图像。
15.进一步优选地，在所述获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码之前，还包括：
16.基于所述有线通信模块的唯一标识码和所述预设标识码，判断所述设备是否为副屏设备。
17.一种同屏显示装置，包括：
18.usb服务模块，用于获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码；
19.所述usb服务模块，用于当所述有线通信模块的唯一标识码为预设标识码时，确定
所述设备为副屏设备；
20.录屏服务模块，用于调取所述副屏设备的分辨率和帧率，并基于所述副屏设备的分辨率设定所述主屏设备的录屏服务的分辨率，基于所述副屏设备的帧率设定所述主屏设备的录屏服务的帧率，以进行录屏；
21.所述usb服务模块，用于当完成预设时间的录屏时发送录屏数据至所述副屏设备，以使得所述副屏设备进行同屏显示。
22.进一步优选地，还包括：
23.设置模块，用于将所述主屏设备的usb服务模块设置成vcp虚拟串口，并将所述vcp虚拟串口的标识码设置成预设标识码。
24.进一步优选地，所述usb服务模块，还用于：
25.通过所述主屏设备发送所述录屏数据至所述副屏设备；
26.利用所述副屏设备对所述录屏数据进行解压缩和图像帧还原，以获取图像帧数据；
27.通过所述副屏设备将所述图像帧数据基于所述分辨率和帧率转换为对应的格式，并进行同屏显示。
28.一种同屏显示系统，包括：主屏设备和副屏设备；
29.所述主屏设备包括：usb服务模块，用于检测与所述usb服务模块建立连接的设备中有线通信模块的唯一标识码；当所述设备中有线通信模块的唯一标识码为预设标识码时，标注所述设备为所述副屏设备；
30.所述主屏设备还包括：录屏服务模块，用于调取所述副屏设备的分辨率和帧率，根据所述副屏设备的分辨率和帧率进行录屏；
31.所述usb服务模块，用于当完成预设时间的录屏后将录屏数据传输至所述有线通信模块；
32.所述副屏设备包括：同屏显示模块，用于接收所述录屏数据，并将所述录屏数据转换为符合所述副屏设备的分辨率和帧率的目标格式后进行同屏显示。
33.进一步优选地：
34.所述副屏设备包括：数据解码模块，用于对所述录屏数据进行解压缩和图像帧还原，以获取图像帧数据；
35.所述副屏设备还包括：数据转换显示模块，用于将所述图像帧数据基于所述分辨率和帧率转换为对应的格式，并进行同屏显示。
36.进一步优选地：
37.所述数据转换显示模块，还用于当接收到所述录屏数据后，将所述图像帧数据基于所述分辨率和帧率转换为对应的格式，并推送至外接端口以供外部设备使用。
38.本发明提供的一种同屏显示方法、装置及系统，至少具有以下有益效果：
39.1)在主设备上安装录屏服务并连接usb副屏，就可实现从主设备显示端到副屏的同屏，此方法实施便捷、简单，且对主android设备没有特殊要求。
40.2)由于录屏服务中是根据副屏分辨率和帧率要求进行录屏，这样生成的数据没有浪费并是最小有用数据，再经过压缩传输，这样可以实现usb副屏对数据的处理量最小，可及时刷屏，解决同屏中因过多数据处理而产生的延迟问题。
附图说明
41.下面结合附图和具体实施方式对本发明作进一步详细说明：
42.图1是本发明中一种同屏显示方法的一个实施例的流程示意图；
43.图2是本发明中同屏显示装置的示意图；
44.图3是本发明中一种同屏显示方法的一个实施例的示意图；
45.图4是本发明中一种同屏显示装置的一个实施例的示意图；
46.图5是本发明中usb副屏设备原理框图；
47.图6是本发明中桌面收银系中的usb副屏连接的示意图。
具体实施方式
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
50.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
51.在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
52.另外，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
53.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
54.本发明提供一种同屏显示方法的一个实施例，如图1所示，具体包括：
55.s100获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码。
56.s200当所述有线通信模块的唯一标识码为预设标识码时，确定所述设备为副屏设备。
57.具体的，主屏设备包括基于安卓系统的移动设备、终端设备等。在收银设备领域中，通过有线通信模块连接主屏设备的设备不一定是副屏设备，如果不是副屏设备则存在机密信息泄露的安全问题。
58.因此本技术通过在副屏设备的有线通信模块中存储有唯一标识码，主屏设备与之
建立连接时，通过识别唯一标识码直接快速的辨别此设备是否为副屏设备。
59.由于现有的同屏协议传输投屏需要适应目的屏的通用性，传输和处理数据量都比较大，产生的延时相对而言都较大。本技术提出通过有线通信模块建立两个设备的安全通信，相对比两个设备通过现有同屏协议传输投屏，减小延迟进而传输速度更快，同时兼顾了安全性。
60.s300调取所述副屏设备的分辨率和帧率，并基于所述副屏设备的分辨率设定所述主屏设备的录屏服务的分辨率，基于所述副屏设备的帧率设定所述主屏设备的录屏服务的读取频率，以进行录屏。
61.在本实施例中，有线通信模块即usb数据传输模块实现数据传输以及副屏分辨率和帧率的存储。
62.通过主屏设备获取副屏分辨率及帧率参数，其中，获取副屏分辨率的方法为：通过上述usb串口，读取副屏模块特定内存位置中保存的副屏所支持的分辨率及帧率，此参数为工厂生产时依据副屏硬件参数写入，并依据参数启动录屏。
63.其中，录屏的具体方案包括：当获取到的分辨率参数为axb，帧率为z时，在andorid主屏上调用mediacodec库抓取当前屏axb区域的jpg图片,并以1/z秒为间隔进行了录屏。
64.s400当完成预设时间的录屏时发送录屏数据至所述副屏设备，以使得所述副屏设备进行同屏显示。
65.具体的，当主屏设备完成录屏后，将录屏数据压缩后经usb数据线传输至副屏设备。经副屏设备的数据解码模块的解压缩和图像帧还原后按每帧图像进行缓存，经副屏设备的数据转换显示模块对图像帧转换为显示目标格式后，推送至相应对外端口或显示屏显示，从而实现主设备显示内容到副屏的同步。
66.其中，显示目标格式是指：副屏设备拿到数据流，需要以分辨率a*b为目标图像大小还原图片，解码为rgb数据，送至副屏对应的缓冲frambuffer以实现显示。
67.其中，预设时间大概6ms左右，大致为0.006秒。
68.在本实施例中，通过部署在android主设备上的服务检测usb从机设备的插入，并获取副屏分辨率和帧率参数，启动主设备服务根据参数录屏，压缩数据流后传输至副屏，副屏端解码数据，推送至本屏及对外接口，实现同屏功能。
69.基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，本实施例提供一种同屏显示方法的另一个实施例，如图2、3所示，具体包括：
70.在步骤s100所述获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码之前，还包括：
71.将所述主屏设备的usb服务模块设置成vcp虚拟串口，并将所述vcp虚拟串口的标识码设置成预设标识码。
72.在一种优选的实施方式中，在所述获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码之前，还包括：
73.基于所述有线通信模块的唯一标识码和所述预设标识码，判断所述设备是否为副屏设备。
74.具体的，是否启动录屏是通过检测是否为副屏设备进行确认的；是否为副屏设备是根据usb的idvendor(厂家id)和idproduct(产品id)进行确认的。帧率和分辨率是启动录
屏后，抓取主屏图片数据的大小及频率，以形成数据流。
75.在一种优选地实施方式中，步骤s300所述基于所述副屏设备的分辨率和帧率进行录屏，包括：
76.基于所述分辨率和所述帧率，在所述主屏设备调用mediacodec库，以所述帧率的倒数为间隔时间，在所述主屏设备的当前主屏抓取所述分辨率的区域的图像。
77.示例性的，如图2、3所示，一种应用于android设备usb方式的同屏方法包括：在android主设备上安装一个录屏服务模块；在副屏设备的嵌入式软件中部署一个usb数据传输模块；在副屏设备的嵌入式软件中部署一个数据解码模块；在副屏设备的嵌入式软件中部署一个数据转换显示模块；
78.其中，录屏服务模块实现对副屏设备usb插入的检测,主设备的录屏，数据压缩和数据传输功能。
79.副屏嵌入软件中，usb数据传输模块实现数据传输以及副屏分辨率和帧率的存储；数据解码模块实现对主屏传输来压缩数据的解压缩及图像帧的还原和缓冲存储；数据转换显示模块实现把缓冲存储中的图像帧转换成待显示的格式，并控制副屏进行显示或推送至相应接口。
80.上述中，录屏服务模块安装于主屏设备上，通过usb数据线与副屏上的usb数据传输模块连接；副屏上的usb数据传输模块与数据解码模块连接；副屏上的数据解码模块与数据转换显示模块连接。
81.综上所述，主设备上的录屏服务模块通过usb服务模块检测副屏usb数据传输模块的插入。
82.其中，检测usb插入方法为：usb dev端设置成usb cdc类中的vcp虚拟串口功能，并将厂家id设置成特定唯一标识。
83.例如idvendor为0x7799,idproduct为0x2011。当主屏usb口检测到有usb从设备插入，并且获取到idvendor为0x7799时，确定为设备为本厂家设备，当idproduct为0x2011为本厂家的副屏设备。
84.因此，在本实施例中，需要经过两个方面的验证，一是设备的厂家验证，第一次验证可以排除不是本厂家的设备，提高了检测的安全性。第二次验证是对设备的具体标识码进行验证，验证是否可以进行同屏的副屏设备。
85.主屏设备获取副屏分辨率及帧率参数。其中，获取副屏分辨率的方法为：通过上述串口，读取副屏模块特定内存位置中保存的副屏所支持的分辨率及帧率，此参数为工厂生产时依据副屏硬件参数写入。
86.主屏设备并依据参数启动录屏，将数据压缩后经usb数据线传输至，经数据解码模块的解压缩和图像帧还原后按每帧图像进行缓存，经数据转换显示模块对图像帧转换为显示目标格式后，推送至相应对外端口或显示屏显示，从而实现主设备显示内容到副屏的同步。
87.其中，录屏的具体方案包括：当获取到的分辨率参数为a*b，帧率为z时，在android主屏上调用mediacodec库抓取当前屏中分辨率参数为a*b的所在区域的jpg图片,并以1/z秒为间隔。
88.示例性的，现有技术中一般是采用同屏协议dlna进行屏幕共享，本实施例是特别
的具有一个录屏模块，供主屏到副屏显示内容。
89.现有的原双屏模式，需要在rom内实现双屏驱动，在单屏改双拼时需要修改底层固件，修改难度较高。
90.在本实施例中，若单屏该双拼时，仅需在主屏系统下安装一个录屏服务模块apk，普通用户可以所以安装操作，无需专业人员干预。一般都是大屏到小屏。
91.基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，本实施例提供一种同屏显示装置的一个实施例，如图4所示，具体包括：
92.usb服务模块401，用于获取与主屏设备建立有线通信的设备中有线通信模块的唯一标识码。
93.所述usb服务模块，用于当所述有线通信模块的唯一标识码为预设标识码时，确定所述设备为副屏设备。
94.录屏服务模块402，用于调取所述副屏设备的分辨率和帧率，并基于所述副屏设备的分辨率设定所述主屏设备的录屏服务的分辨率，基于所述副屏设备的帧率设定所述主屏设备的录屏服务的读取频率，以进行录屏。
95.所述usb服务模块，用于当完成预设时间的录屏时发送录屏数据至所述副屏设备，以使得所述副屏设备进行同屏显示。
96.在另一种优选的实施例中，还包括：
97.设置模块，用于将所述主屏设备的usb服务模块设置成vcp虚拟串口，并将所述vcp虚拟串口的标识码设置成预设标识码。
98.在另一种优选的实施例中，所述usb服务模块，用于：
99.通过所述主屏设备发送所述录屏数据至所述副屏设备；利用所述副屏设备对所述录屏数据进行解压缩和图像帧还原，以获取图像帧数据；通过所述副屏设备将所述图像帧数据基于所述分辨率和帧率转换为对应的格式，并进行同屏显示。
100.基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，本实施例提供一种同屏显示系统，如图4～6所示，包括：主屏设备和副屏设备。
101.所述主屏设备包括：usb服务模块，用于检测与所述usb服务模块建立连接的设备中有线通信模块的唯一标识码；当所述设备中有线通信模块的唯一标识码为预设标识码时，标注所述设备为所述副屏设备。
102.所述主屏设备还包括：录屏服务模块，用于调取所述副屏设备的分辨率和帧率，根据所述副屏设备的分辨率和帧率进行录屏。
103.所述usb服务模块，用于当完成预设时间的录屏后将录屏数据传输至所述有线通信模块。
104.所述副屏设备包括：同屏显示模块，用于接收所述录屏数据，并将所述录屏数据转换为符合所述副屏设备的分辨率和帧率的目标格式后进行同屏显示。
105.在另一种优选的实施方式中，所述副屏设备包括：数据解码模块，用于对所述录屏数据进行解压缩和图像帧还原，以获取图像帧数据。
106.所述副屏设备还包括：数据转换显示模块，用于将所述图像帧数据基于所述分辨率和帧率转换为对应的格式，并进行同屏显示。
107.在另一种优选的实施方式中，所述数据转换显示模块，还用于当接收到所述录屏
数据后，将所述图像帧数据基于所述分辨率和帧率转换为对应的格式，并推送至外接端口以供外部设备使用。
108.示例性的，一种应用于android设备usb方式的同屏方法实施装置，包括：在桌面收银系统中的usb副屏装置中，包括：
109.1)在rk3036 cpu上部署一linux操作系统；
110.2)实现一usb device功能，并标注设备类型为副屏设备；
111.3)实现副屏分辨率和帧率参数的存储；
112.4)实现对来自usb数据的解压缩；
113.5)实现对解压缩后数据按图像帧进行组合还原，并缓存到指定位置；
114.6)实现从缓存按图像帧读并进行目标格式的转换后，控制显示屏按图像帧逐帧显示。
115.综上所述，通过以上步骤中的功能的实施，共同实现usb副屏装置的数据接收到副屏的显示功能。
116.示例性的，如图6所示，在对应桌面收银系统中从主屏到副屏同屏显示的应用：
117.1)在主屏android设备中安装本方法中的录屏应用服务；
118.2)上述usb副屏与主屏通过usb数据线连接；
119.3)在主屏android设备中的录屏服务检测到usb副屏设备插入后，先读取副屏设备分辨率s1和帧率参数f1；
120.4)录屏服务根据副屏分辨率s1设定录屏分辨率，根据副屏帧率f1设定录屏读取频率，并启动录屏功能；
121.5)录屏后的数据，通过特定a格式压缩后，发送数据到usb端口；
122.6)usb副屏接收usb端口传来的数据，经数据解压还原，最终显示到副屏上；
123.综上所述，在桌面收银系统中实现了从主设备显示屏到usb副屏的同屏过程。
124.通过在桌面收银系统中usb副屏的应用有如下效果：
125.1)在主设备上安装录屏服务并连接usb副屏，就可实现从主设备显示端到副屏的同屏，说明此方法实施便捷，简单，对主android设备没有特殊要求。
126.2)由于录屏服务中是根据副屏分辨率和帧率要求进行录屏，这样生成的数据没有浪费并是最小有用数据，再经过压缩传输，这样可以实现usb副屏对数据的处理量最小，可及时刷屏，解决同屏中因过多数据处理而产生的延迟问题。
127.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
128.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
129.在本技术所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其他的方式实现。示例性的，以上所描述的系统实施例仅仅是示意性的，示例性的，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，示例性的，多个
单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性、机械或其他的形式。
130.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
131.另外，在本技术各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
132.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。需要说明的是，所述存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，示例性的，在某些司法管辖区，根据立法和专利实践，计算机可读的存储介质不包括电载波信号和电信信号。
133.应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。