车机语音交互方法、系统和存储介质与流程

本发明的实施方式总体上涉及汽车领域，更具体地，涉及一种车机语音交互方法、系统和存储介质。

背景技术：

1、随着智能汽车和语音能力的发展，越来越多的语音指令能被语音助手理解并控制车内功能，但是仍有许多长尾(低频的不太常用的功能)功能或按钮没有相应的语音技能。

2、当前市面上极少数语音产品支持可见即可说。并且，在支持可见即可说的语音产品中，存在支持的功能范围有限以及交互逻辑不一致的问题。而且这些产品一般都基于单系统，通过上传热词由具体应用实现。

技术实现思路

1、为了解决现有技术中的上述问题，本发明的实施方式提供了一种车机语音交互方法，所述车机装载有第一操作系统和第二操作系统，所述方法包括：由第二操作系统侧的应用设置该应用可被第二操作系统侧的无障碍服务控件访问的属性；响应于所述第二操作系统侧的应用的界面发生变化，由所述第二操作系统侧的应用向所述无障碍服务控件发送无障碍服务事件触发消息，其中所述无障碍服务事件触发消息包括变化后的界面的界面节点信息；由所述无障碍服务控件经由第二操作系统侧的应用服务层向第二操作系统侧的对话管理模块发送界面变化消息，其中所述界面变化消息包括所述界面节点信息；由所述对话管理模块根据所述界面节点信息构建词典，并将所述词典发送至第一操作系统侧的语音对话系统引擎；响应于由第一操作系统侧的音频模块接收到用户的语音输入，由所述语音对话系统引擎根据所述语音输入生成语义结果；由所述语音对话系统引擎根据所述词典将所述语义结果发送至所述对话管理模块；由所述对话管理模块根据所述词典将所述语义结果进行语义解析，获得界面节点映射结果，并将所述界面节点映射结果发送至所述无障碍服务控件；所述无障碍服务控件根据所述界面节点映射结果，对所述第二操作系统侧的应用的界面上与所述界面节点映射结果相对应的节点执行模拟触屏操作。

2、在一些实施方式中，所述方法还包括：响应于第一操作系统侧的应用的界面发生变化，由第一操作系统侧的应用将与变化后的界面相关联的热词传输至所述第一操作系统侧的语音对话系统引擎；在响应于由第一操作系统侧的音频模块接收到用户的语音输入，由所述语音对话系统引擎基于所述热词根据所述语音输入生成意图信息；由所述语音对话系统引擎将所述意图信息传输至所述第二操作系统侧的所述对话管理模块；由所述对话管理模块根据所述意图信息生成动作指令，并且将所述动作指令传输至所述第一操作系统侧的应用；由所述第一操作系统侧的应用根据所述动作指令执行模拟触屏操作。

3、在一些实施方式中，由所述对话管理模块根据所述界面节点信息构建词典包括：由所述对话管理模块对所述界面节点信息进行界面节点信息预处理、词条整合处理，从而构建词典。

4、在一些实施方式中，由所述语音对话系统引擎根据所述词典将所述语义结果发送至所述对话管理模块包括：由所述语音对话系统引擎根据所述词典判断所述语义结果是否与所述第二操作系统侧的应用的界面控制相关联，并且在所述语义结果与所述第二操作系统侧的应用的界面控制相关联的情况下，将所述语义结果发送至所述对话管理模块。

5、在一些实施方式中，由所述对话管理模块将所述词典发送至第一操作系统侧的语音对话系统引擎包括：由所述对话管理模块经由第二操作系统侧的应用服务层和语音对话系统客户端以及第一操作系统侧的语音对话系统服务端，将所述词典发送至第一操作系统侧的语音对话系统引擎。

6、在一些实施方式中，所述第一操作系统侧的语音对话系统服务端和所述第二操作系统侧的语音对话系统客户端通过f-dbus通信。

7、在一些实施方式中，所述界面节点信息包括界面中的按钮和/或控件的名称的泛化词条。

8、在一些实施方式中，所述第一操作系统是linux操作系统，并且所述第二操作系统是安卓操作系统。

9、在第二方面，本发明的实施方式提出了一种车机语音交互系统，所述车机装载有第一操作系统和第二操作系统，所述系统包括设置在第一操作系统侧的语音对话系统引擎和音频模块以及设置在第二操作系统侧的应用、无障碍服务控件、对话管理模块和应用服务层。所述第二操作系统侧的应用配置用于：设置该应用可被第二操作系统侧的无障碍服务控件访问的属性；响应于所述第二操作系统侧的应用的界面发生变化，向所述无障碍服务控件发送无障碍服务事件触发消息，其中所述无障碍服务事件触发消息包括变化后的界面的界面节点信息。所述无障碍服务控件配置用于：经由第二操作系统侧的应用服务层向第二操作系统侧的对话管理模块发送界面变化消息，其中所述界面变化消息包括所述界面节点信息；根据对话管理模块发送的界面节点映射结果，对所述第二操作系统侧的应用的界面上与所述界面节点映射结果相对应的节点执行模拟触屏操作。所述应用服务层配置用于：从所述无障碍服务控件接收并向第二操作系统侧的对话管理模块发送界面变化消息。所述对话管理模块配置用于：根据所述界面节点信息构建词典，并将所述词典发送至第一操作系统侧的语音对话系统引擎；根据所述词典将语音对话系统引擎发送的语义结果进行语义解析，获得界面节点映射结果，并将所述界面节点映射结果发送至所述无障碍服务控件。所述音频模块配置用于：接收用户的语音输入。所述语音对话系统引擎配置用于：响应于由第一操作系统侧的音频模块接收到用户的语音输入，根据所述语音输入生成语义结果；以及根据所述词典将所述语义结果发送至所述对话管理模块。

10、在第三方面，本发明的实施方式提出了一种存储介质，存储有计算机可读指令，当所述指令由处理器运行时，执行根据上述任何实施方式所述的车机语音交互方法。

11、本发明的实施方式提出的车机语音交互方法、系统和存储介质实现了车载语音助手可见即可说的能力，即，在用户说出页面按钮或者控件的文字时，就自动实现点击页面控件的控制。尤其是在双系统架构下，车载语音助手与应用能实现页面中按钮/文本视图等文本可见即可说的语音交互效果。利用无障碍服务的能力配合语音引擎及应用服务层等模块，实现了可见可说的功能，第二操作系统侧的应用无需处理太多逻辑，方案轻量化，且交互逻辑一致性好。

技术特征：

1.一种车机语音交互方法，其特征在于，所述车机装载有第一操作系统和第二操作系统，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，由所述对话管理模块根据所述界面节点信息构建词典包括：

4.根据权利要求1所述的方法，其特征在于，由所述语音对话系统引擎根据所述词典将所述语义结果发送至所述对话管理模块包括：

5.根据权利要求1所述的方法，其特征在于，由所述对话管理模块将所述词典发送至第一操作系统侧的语音对话系统引擎包括：

6.根据权利要求5所述的方法，其特征在于，所述第一操作系统侧的语音对话系统服务端和所述第二操作系统侧的语音对话系统客户端通过f-dbus通信。

7.根据权利要求1所述的方法，其特征在于，所述界面节点信息包括界面中的按钮和/或控件的名称的泛化词条。

8.根据权利要求1所述的方法，其特征在于，所述第一操作系统是linux操作系统，并且所述第二操作系统是安卓操作系统。

9.一种车机语音交互系统，其特征在于，所述车机装载有第一操作系统和第二操作系统，所述系统包括设置在第一操作系统侧的语音对话系统引擎和音频模块以及设置在第二操作系统侧的应用、无障碍服务控件、对话管理模块和应用服务层，

10.一种存储介质，存储有计算机可读指令，当所述指令由处理器运行时，执行根据权利要求1-8中任一项所述的方法。

技术总结本发明提供了一种车机语音交互方法、系统和存储介质。车机装载有第一操作系统和第二操作系统，该方法包括：第二操作系统侧应用设置可被无障碍服务控件访问的属性；响应于应用界面变化，应用向无障碍服务控件发送无障碍服务事件触发消息，其中包括变化后的界面节点信息；无障碍服务控件向对话管理模块发送界面变化消息；对话管理模块根据界面节点信息构建词典并发送至第一操作系统侧的语音对话系统引擎；响应于接收到用户的语音输入，语音对话系统引擎生成语义结果并发送至对话管理模块；对话管理模块生成界面节点映射结果并发送至无障碍服务控件；无障碍服务控件根据界面节点映射结果执行模拟触屏操作。本发明方案轻量化且交互逻辑一致性好。技术研发人员：陈双双,朱进,赵嵩,高雪健,王可受保护的技术使用者：一汽-大众汽车有限公司技术研发日：技术公布日：2024/2/8