一种车载语音可见即可说功能的测试方法、系统与流程

本发明属于车载语音功能测试，具体涉及一种车载语音可见即可说功能的测试方法、系统。

背景技术：

1、随着智能座舱的发展，各个车企都越来越重视车载语音功能的丰富性和实用性。可见即可说是车载语音的一个重要场景，即：用户根据在车载信息娱乐系统上所看见的所有界面元素来发出对应的语音指令，实际执行效果如同手触控制指定界面元素的功能。该功能需要实现支持用户对界面上看到所有文案、控件一一进行语音交互，实现的正常用户场景为：用户在某个页面用语音对页面上的某个文案/控件发出指令->车机系统对于用户指令做出识别并在页面上显示对应的动效并进行相应操作。

2、在以往的可见即可说测试中，只能通过人工的方式去执行每条测试用例，即说出对应的语音指令，再通过肉眼去判断车载信息娱乐系统上是否有对应的动效发生。主流的自动化测试工具如uiautomator、appium，在做断言判断点执行事件时需要明确的在脚本中写出确定的控件信息，如坐标、id等才能判断，这样写自动化测试脚本的话，每个测试用例都需要明确写出控件定位信息，编写效率非常低，且一旦页面上有样式的修改则原来的测试脚本都无法再用。

技术实现思路

1、为了克服上述问题，本发明提供一种车载语音可见即可说功能的测试方法、系统，通过抓取页面动效画来计算出可见即可说功能执行事件的坐标，再与语音中的关键字做比对来实现自动化测试，通用又高效。

2、一种车载语音可见即可说功能的测试系统，包括语音播放模块、截图模块、仲裁模块、文字识别模块、验证模块，其中语音播放模块用于将文字转成语音进行播放，截图模块用于截取车载信息娱乐系统的显示画面图片，仲裁模块用于计算不同图片间的相似度并找到差异最大的图片，文字识别模块用于识别图片上的文字图像，并将图像转成文字，验证模块用于验证测试是否通过。

3、一种车载语音可见即可说功能的测试方法，包括如下内容：

4、步骤一，将语音唤醒词的文本转为语音播出；

5、步骤二，截取车载信息娱乐系统的当前画面图片，记为p0；

6、步骤三，将语音可见即可说功能的话术t0转为语音播出；

7、步骤四，在步骤三中话术播放完的2秒内，每间隔0.2秒截取一张车载信息娱乐系统的画面图片；

8、步骤五，将步骤二中的图片p0和步骤四中截取的图片分别进行对比，选取与图片p0相似度mse大于95％的图片，并在这些图片中选取与图片p0差异最大的图片设为图片pn；其中mse的值越大，说明图片间的差异越大；

9、步骤六，找到图片pn和图片p0两张图片的差异区域r，即为执行动作事件变化的区域；

10、步骤七，获取差异区域r中的所有文字tn；

11、步骤八，如果步骤二中的话术t0在tn中，则说明可见即可说功能执行了正确的动作事件，反之则说明可见即可说功能没有按预期执行动作事件。

12、所述步骤二中通过adb工具截取车载信息娱乐系统的当前画面。

13、所述步骤五中其他图片与图片p0的相似度mse计算方法如下：

14、

15、其中，n表示步骤四中截取图片的数量，yi表示图片p0中某个像素的真实值，表某张截取图片中对应某个像素的真实值，σ表示对所有截取图片求和。

16、本发明的有益效果：

17、本发明通过抓取页面动效画来计算出可见即可说功能执行事件的坐标，再与语音中的关键字做比对来实现自动化测试；本发明方法可以在不同的自动化用例中引用，无需去抓取每个测试用例中用来判断定位的控件信息，可以节省大量的人力成本，并大大提高了效率。

技术特征：

1.一种车载语音可见即可说功能的测试系统，其特征在于，包括语音播放模块、截图模块、仲裁模块、文字识别模块、验证模块，其中语音播放模块用于将文字转成语音进行播放，截图模块用于截取车载信息娱乐系统的显示画面图片，仲裁模块用于计算不同图片间的相似度并找到差异最大的图片，文字识别模块用于识别图片上的文字图像，并将图像转成文字，验证模块用于验证测试是否通过。

2.一种车载语音可见即可说功能的测试方法，其特征在于，包括如下内容：

3.根据权利要求2所述的一种车载语音可见即可说功能的测试方法，其特征在于，所述步骤二中通过adb工具截取车载信息娱乐系统的当前画面。

4.根据权利要求2所述的一种车载语音可见即可说功能的测试方法，其特征在于，所述步骤五中其他图片与图片p0的相似度mse计算方法如下：

5.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求2-4中任一所述的一种车载语音可见即可说功能的测试方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求2-4中任一所述的一种车载语音可见即可说功能的测试方法。

技术总结本发明属于车载语音功能测试技术领域，具体涉及一种车载语音可见即可说功能的测试方法、系统；包括语音播放模块、截图模块、仲裁模块、文字识别模块、验证模块，其中语音播放模块用于将文字转成语音进行播放，截图模块用于截取车载信息娱乐系统的显示画面图片，仲裁模块用于计算不同图片间的相似度并找到差异最大的图片，文字识别模块用于识别图片上的文字图像，并将图像转成文字，验证模块用于验证测试是否通过；本发明通过抓取页面动效画来计算出可见即可说功能执行事件的坐标，再与语音中的关键字做比对来实现自动化测试，通用又高效。技术研发人员：魏强,欧阳文东,李振龙受保护的技术使用者：一汽奔腾轿车有限公司技术研发日：技术公布日：2024/5/16