用于农机的语音人机协同平台系统及方法

本申请涉及智能农机装备，特别涉及一种用于农机的语音人机协同平台系统及方法。

背景技术：

1、

2、随着人工智能技术不断成熟，农业正在向智能化、精准化、高效化的方向发展，其中，在语音交互领域更为显著。如可以在农机端通过音频拾取设备向用户提供语音服务，捕捉用户的语音信号，执行用户的控制命令指令；也可以通过农机端的控制主板和语音识别模块帮助用户了解农机的使用情况，进而控制农机执行相关语音指令，在一定程度上，降低了农机的使用门槛，给用户带来了更加人性化的操作体验。

3、然而，相关技术中，智慧农场存在作业自主性较弱、协同性较差，特别是在人机对话方面，仍采用传统的交互方式，功能性单一，智能化不足，亟需改进。

技术实现思路

1、本申请提供一种用于农机的语音人机协同平台系统及方法，以解决相关技术中，智慧农场存在作业自主性较弱、协同性较差，特别是在人机对话方面，仍采用传统的交互方式，功能性单一，智能化不足等技术问题。

2、本申请第一方面实施例提供一种用于农机的语音人机协同平台系统，包括：至少一个农机端，所述农机端包括自动驾驶模块和动力系统，所述自动驾驶模块驱动所述动力系统工作；主机端，所述主机端包括语音交互模块，用于将用户的声音信息转化为语义信息，并将所述语义信息传输至所述农机端，使得所述农机端的自动驾驶模块根据所述语音信息生成运动指令，并驱动所述动力系统执行所述运动指令，以控制一个或多个农机运动。

3、可选地，在本申请的一个实施例中，每个农机端和所述主机端均具有数据传输模块，以使所述每个农机端和所述主机端基于预设通信协议进行通信。

4、可选地，在本申请的一个实施例中，所述主机端还包括：声音采集模块，用于采集所述用户的声音信息；音频播报模块，用于将由所述声音信息得到的音频信息进行语音播报。

5、可选地，在本申请的一个实施例中，所述语音交互模块包括：语音识别单元，用于根据所述语音信息生成文本信息；语义理解单元，用于根据所述文本信息转换为语义表示；对话跟踪单元，用于根据所述语义表示更新对话状态；语义决策单元，用于根据所述对话状态生成对应的反馈动作和所述语义信息；自然语音生成单元，用于将所述反馈动作转换为自然文本语言；语音合成单元，用于根据所述自然文本语言生成所述音频信息。

6、可选地，在本申请的一个实施例中，所述自动驾驶模块进一步用于根据所述语音信息得到平稳姿态控制量，并根据所述平稳姿态控制量计算电机和舵机的目标控制量，以生成所述运动指令。

7、本申请第二方面实施例提供一种用于农机的语音人机协同控制方法，包括以下步骤：将所述用户的声音信息转化为所述语义信息；根据所述语音信息生成所述运动指令；执行所述运动指令，以控制一个或多个农机运动。

8、可选地，在本申请的一个实施例中，在将所述用户的声音信息转化为所述语义信息之前，还包括：采集所述用户的声音信息，以在将所述用户的声音信息转化为所述语义信息之后，将由所述语义信息得到的音频信息进行语音播报。

9、可选地，在本申请的一个实施例中，将所述用户的声音信息转化为所述语义信息，包括：根据所述语音信息生成文本信息；根据所述文本信息转换为语义表示；根据所述语义表示更新对话状态；根据所述对话状态生成对应的反馈动作和所述语义信息；将所述反馈动作转换为自然文本语言；根据所述自然文本语言生成所述音频信息。

10、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的用于农机的语音人机协同控制方法。

11、本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的用于农机的语音人机协同控制方法。

12、本申请实施例采用模块化设计，可以将主机端语音交互模块接收到的用户声音信息传输至农机端，利用农机端的自动驾驶模块驱动动力系统进行执行，实现从语音输入到控制农机运动的端到端流程，实现起来较为简单，具有较强的实用性，提高了智慧农场的智能化程度，进一步完善了端到端的人机交互技术，提供了更为快速、准确、可靠的语音识别技术。由此，解决了相关技术中，智慧农场存在作业自主性较弱、协同性较差，特别是在人机对话方面，仍采用传统的交互方式，功能性单一，智能化不足等技术问题。

13、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

技术特征：

1.一种用于农机的语音人机协同平台系统，其特征在于，包括：

2.根据权利要求1所述的用于农机的语音人机协同平台系统，其特征在于，每个农机端和所述主机端均具有数据传输模块，以使所述每个农机端和所述主机端基于预设通信协议进行通信。

3.根据权利要求1所述的用于农机的语音人机协同平台系统，其特征在于，所述主机端还包括：

4.根据权利要求3所述的用于农机的语音人机协同平台系统，其特征在于，所述语音交互模块包括：

5.根据权利要求1所述的用于农机的语音人机协同平台系统，其特征在于，所述自动驾驶模块进一步用于根据所述语音信息得到平稳姿态控制量，并根据所述平稳姿态控制量计算电机和舵机的目标控制量，以生成所述运动指令。

6.一种用于农机的语音人机协同控制方法，其特征在于，利用如权利要求1-5任一项所述的用于农机的语音人机协同平台系统，其中，方法包括以下步骤：

7.根据权利要求6所述的用于农机的语音人机协同控制方法，其特征在于，在将所述用户的声音信息转化为所述语义信息之前，还包括：

8.根据权利要求7所述的用于农机的语音人机协同控制方法，其特征在于，将所述用户的声音信息转化为所述语义信息，包括：

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求6-8任一项所述的用于农机的语音人机协同控制方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求6-8任一项所述的用于农机的语音人机协同控制方法。

技术总结本申请涉及智能农机装备技术领域，特别涉及一种用于农机的语音人机协同平台系统及方法，其中，系统包括：至少一个农机端，农机端包括自动驾驶模块和动力系统，自动驾驶模块驱动动力系统工作；主机端，主机端包括语音交互模块，用于将用户的声音信息转化为语义信息，并将语义信息传输至农机端，使得农机端的自动驾驶模块根据语音信息生成运动指令，并驱动动力系统执行运动指令，以控制一个或多个农机运动。由此，解决了相关技术中，智慧农场存在作业自主性较弱、协同性较差，特别是在人机对话方面，仍采用传统的交互方式，功能性单一，智能化不足等技术问题。技术研发人员：卓晴,樊乙萱,张涛,徐皓天,赵文博,宋泽林受保护的技术使用者：清华大学技术研发日：技术公布日：2024/5/16