显示设备与控件启动方法与流程

本技术涉及显示设备，尤其涉及一种显示设备与控件启动方法。

背景技术：

1、用户在使用显示设备时，可以通过语音指令启动用户界面上显示的可启动控件，以与可启动控件执行交互功能。通过语音指令启动可启动控件的方式相比于通过遥控器启动可启动控件的方式，可以减少用户的操作次数以提高用户的使用体验。

2、显示设备在接收到用户输入的语音指令时，可以查找位于可启动控件的控件区域的文本信息，进而通过比较文本信息表征的语义与用户输入的语音指令的语义，确认目标控件。以及启动目标控件以与用户执行交互功能。

3、但显示设备在根据语音指令确定目标控件的过程中，可启动控件的控件区域不包含文本信息时，显示设备不能确定可启动控件是否符合用户的需求。因此导致显示设备查找目标控件的准确率下降。

技术实现思路

1、本技术提供一种显示设备与控件启动方法，以解决显示设备查找目标控件的准确率下降的问题。

2、第一方面，本技术提供一种显示设备，包括：被配置为显示用户界面的显示器，用户界面中包括至少一个控件。被配置为采集语音数据的检测器。以及控制器，控制器被配置为：

3、响应于用户输入的用于选中目标控件的语音指令，获取所述语音指令表征的第一语义；

4、查找第一待选控件中的图片信息，以获取所述图片信息表征的第二语义；所述第一待选控件为包含图片信息且不包含文本信息的控件；

5、计算所述第一语义与所述第二语义的第一语义相似度；

6、若所述第一语义相似度大于或等于相似度阈值，则确定所述第一待选控件为目标控件，以及执行所述第一待选控件对应的交互功能。

7、在一些可行的实施例中，控制器执行响应于用户输入的用于选中目标控件的语音指令，获取所述语音指令表征的第一语义，被具体配置为：

8、获取所述语音指令对应的语音数据；

9、将所述语音数据转化为语音文本；

10、提取所述语音文本的特征信息；所述特征信息包括所述语音文本的句式结构、关键词；

11、基于所述特征信息确定所述语音文本表征的第一语义。

12、在一些可行的实施例中，控制器执行查找第一待选控件中的图片信息以获取所述图片信息表征的第二语义之前，还被配置为：

13、查找第二待选控件中的文本信息，以获取所述文本信息表征的第三语义；所述第二待选控件为控件区域包含文本信息的控件；

14、计算所述第一语义与所述第三语义的第二语义相似度；

15、如果所述第二语义相似度小于所述相似度阈值，则执行查找第一待选控件中的图片信息以获取所述图片信息表征的第二语义的步骤；

16、如果所述第二语义相似度大于或等于所述相似度阈值，则确定所述第二待选控件为目标控件，以及执行所述第二待选控件对应的交互功能；以及，不执行查找第一待选控件中的图片信息以获取所述图片信息表征的第二语义的步骤。

17、在一些可行的实施例中，控制器执行计算第一语义与所述第二语义的第一语义相似度之后，还被配置为：

18、如果所述第一语义相似度小于相似度阈值，则控制所述显示器显示提示界面；所述提示界面包括提示信息，所述提示信息用于提示用户未检测到所述语音指令对应的目标控件。

19、在一些可行的实施例中，控制器执行查找第一待选控件中的图片信息以获取所述图片信息表征的第二语义之前，还被配置为：

20、响应于用户输入的用于选中目标控件的语音指令，获取第一待选控件和第二待选控件的控件信息；所述第一待选控件和所述第二待选控件为可启动控件；

21、将所述第一待选控件和所述第二待选控件的控件信息存储至控件信息列表；所述控件信息包括所述待选控件的文本信息和图片信息。

22、在一些可行的实施例中，控制器执行响应于用户输入的用于选中目标控件的语音指令，获取待选控件的控件信息，被具体配置为：

23、调用文本提取线程；

24、通过文本提取线程提取位于待选控件的待选区域的文本信息。

25、在一些可行的实施例中，控制器执行响应于用户输入的用于选中目标控件的语音指令，获取待选控件的控件信息，被具体配置为：

26、调用截屏线程；

27、通过所述截屏线程获取截屏图像；所述截屏图像为用户输入语音指令时，所述显示器显示的用户界面的图像；

28、将所述截屏图像作为所述图片信息存储至控件信息列表。

29、在一些可行的实施例中，控制器执行查找第一待选控件中的图片信息以获取所述图片信息表征的第二语义，被具体配置为：

30、从所述控件信息列表中获取所述截屏图像；

31、基于所述截屏图像中待选控件的分布方式，裁剪所述截屏图像，以得到所述待选控件的图片信息；

32、从所述待选控件中提取所述第一待选控件，以获取所述第一待选控件的图片信息；

33、使用图文理解模型解析所述第一待选控件的图片信息，得到第二语义。

34、在一些可行的实施例中，还包括通信装置，所述通信装置被配置为与服务器建立通信连接；所述控制器执行使用图文理解模型解析所述第一待选控件的图片信息，得到第二语义，被具体配置为：

35、向所述服务器发送用于解析图文语义的解析指令，以使所述服务器根据所述解析指令调用图文理解模型，以及根据所述图文理解模型解析所述第一待选控件的图片信息；

36、接收所述服务器反馈的回执信息；所述回执信息中包括所述第一待选控件的图片信息表征的第二语义。

37、第二方面，本技术提供一种控件启动方法，应用于第一方面中所述的显示设备，包括：

38、响应于用户输入的用于选中目标控件的语音指令，获取所述语音指令表征的第一语义；

39、查找第一待选控件中的图片信息以获取所述图片信息表征的第二语义；所述第一待选控件为控件区域包含图片信息且不包含文本信息的控件；

40、计算所述第一语义与所述第二语义的第一语义相似度；

41、若所述第一语义相似度大于或等于相似度阈值，确定所述第一待选控件为目标控件，以及启动所述第一待选控件。

42、第三方面，本技术提供一种移动终端，包括：被配置为采集语音数据的检查测单元；以及控制单元，控制单元被配置为：

43、响应于用户输入的用于选中目标控件的语音指令，获取所述语音指令表征的第一语义；

44、查找第一待选控件中的图片信息，以获取所述图片信息表征的第二语义；所述第一待选控件为包含图片信息且不包含文本信息的控件；

45、计算所述第一语义与所述第二语义的第一语义相似度；

46、若所述第一语义相似度大于或等于相似度阈值，则确定所述第一待选控件为目标控件，以及执行所述第一待选控件对应的交互功能。

47、由上述技术内容可知，本技术提供一种显示设备与控件启动方法。所述显示设备在用户输入用于选中目标控件的语音指令时，获取语音指令表征的第一语义。并查找第一待选控件中的图片信息以获取图片信息表征的第二语义。通过计算第一语义与第二语义的第一语义相似度，可以判别第一待选控件是否为用户需要的目标控件。在第一语义相似度大于或等于相似度阈值时，确定第一待选控件为目标控件，并启动第一待选控件。显示设备通过对第一待选控件的图片信息进行解析得到第二语义，进而可以根据语音指令查找控件区域不包含文本信息的第一待选控件，有利于提高查找目标控件的准确率。