用于虚拟环境生成的自然语言接口的制作方法

背景技术：

1、用户可以向虚拟环境或建模应用提供输入，以用于创建、操纵该环境或以其他方式与该环境交互。然而，建模应用和与虚拟环境交互的相关联的技术可能是乏味且违反直觉的，使得用户可能变得沮丧或者可能无法有效地与环境交互。

2、正是针对这些和其他一般考虑因素描述了实施例。此外，虽然已经讨论了相对具体的问题，但应该理解的是，实施例不应限于解决背景技术中所标识的具体问题。

技术实现思路

1、本公开的各方面涉及在虚拟环境中生成三维对象，其中使用多模态机器学习模型来处理自然语言用户输入以生成模型输出。然后可以处理模型输出以影响应用的行为，例如使用户能够控制应用和/或支持与会话代理的用户交互，等等。在一些实例中，可以执行或解析模型输出的至少一部分，例如以生成一个或多个三维对象或以其他方式操纵虚拟环境。因此，根据本文所描述的各方面的多模态机器学习模型的使用可以使用户提供的自然语言输入能够使用以相应地影响应用的行为。

2、提供本技术实现要素：是为了以简化的形式介绍一些概念，下面以具体实施方式进一步描述这些概念。本发明内容无意于标识所要求保护的主题的关键特征或基本特征，也无意于用于限制所要求保护的主题的范围。

技术特征：

1.一种系统，包括：

2.根据权利要求1所述的系统，其中所述一组操作还包括：

3.根据权利要求1所述的系统，其中执行所述模型输出从而以编程方式影响所述虚拟环境还包括以下项之一：

4.一种用于基于自然语言输入影响虚拟环境的方法，所述方法包括：

5.根据权利要求4所述的方法，其中所述模型输出至少部分地基于与所述虚拟环境的库相关联的所述提示被生成。

6.根据权利要求4所述的方法，还包括：

7.一种用于基于自然语言输入影响虚拟环境的方法，所述方法包括：

8.根据权利要求7所述的方法，其中所述模型输出与状态包相关联，所述状态包指示与所述模型输出相关联的所述虚拟环境中的对象的状态。

9.根据权利要求8所述的方法，还包括：

10.根据权利要求7所述的方法，其中执行所述模型输出从而以编程方式影响所述虚拟环境还包括以下项之一：

11.根据权利要求2所述的系统，其中更新所述多模态生成平台还包括：

12.根据权利要求1所述的系统，其中所述模型输出还包括用于与所述虚拟环境相关联的库的编程代码，以用于影响所述虚拟环境。

13.根据权利要求4所述的方法，其中所述状态包被更新以包括与所述模型输出相关联的对象，从而使所述对象能够被后续输入间接引用。

14.根据权利要求5所述的方法，其中所述库包括用于通过编程代码来影响所述虚拟环境的脚本语言框架。

15.根据权利要求5所述的方法，其中所述提示包括与编程代码段相关联的经结合的文本注释，以根据所述文本注释影响所述虚拟环境。

技术总结本公开的各方面涉及基准的多模态代理交互，其中使用多模态机器学习模型来处理自然语言用户输入以生成模型输出。然后可以处理模型输出以影响应用的行为，例如使用户能够控制应用和/或支持与会话代理的用户交互，等等。在一些实例中，可以执行或解析模型输出的至少一部分，例如以在编码应用内生成三维对象。因此，根据本文所描述的各方面的多模态机器学习模型的使用可以使用户提供的自然语言输入能够使用以相应地影响应用的行为。技术研发人员：R·沃鲁姆,K·A·艾利森受保护的技术使用者：微软技术许可有限责任公司技术研发日：技术公布日：2024/5/29