机器学习平台的模型运行日志的记录与查看方法、计算机装置、介质及程序产品与流程

本发明涉及计算机，具体是涉及一种机器学习平台的模型运行日志的记录与查看方法、计算机装置、介质及程序产品。

背景技术：

1、目前的机器学习平台在模型部署和模型服务模块中查看模型运行日志时存在一些问题：(1)模型开发完成后调用数据进行模型测试，若模型运行失败，则需要根据模型运行日志进行问题排查。而现有技术不支持实时日志查看，需到数据库中取出日志文件，再分发给算法工程师和业务人员配合查找问题，增加排查问题的时间成本，效率较低；(2)在机器学习平台中调用模型，可能会由于模型代码问题或数据问题导致模型运行失败，需根据运行的实时日志排查。而现有技术提供的日志基本都是全局的，不能按照单次模型运行任务记录日志，无法精准定位到问题，给模型的应用带来极大不便。

2、由于日志是全局的，无法将日志按照单个运行任务单独分离，需要从全局日志中分析问题，因此也无法做到实时查看日志，了解和分析模型运行的实时状态，需要等模型运行完毕后才能从服务器上下载日志进行分析和查找问题。

技术实现思路

1、本发明的第一目的是提供一种实现模型运行任务的日志实时且独立查看的机器学习平台的模型运行日志的记录与查看方法。

2、本发明的第二目的是提供另一种实现模型运行任务的日志实时且独立查看的机器学习平台的模型运行日志的记录与查看方法。

3、本发明的第三目的是提供一种实现上述机器学习平台的模型运行日志的记录与查看方法的计算机装置。

4、本发明的第四目的是提供一种实现上述机器学习平台的模型运行日志的记录与查看方法的计算机可读存储介质。

5、本发明的第五目的是提供一种实现上述机器学习平台的模型运行日志的记录与查看方法的计算机程序产品。

6、为了实现上述的第一目的，本发明提供的一种机器学习平台的模型运行日志的记录与查看方法，应用于服务器端，其中，包括以下步骤：获取模型运行任务；生成与模型运行任务对应的模型任务标识；根据模型运行任务的模型运行参数确定以子进程运行的方式或以子线程运行的方式进行模型运行任务的执行和任务日志的记录；其中，以子进程运行的方式进行模型运行任务的执行和任务日志的记录时，包括：将模型任务标识记录到模型运行参数；创建用于执行模型执行任务的子进程，执行子进程，执行子进程时包括：创建一个子进程日志记录器，通过子进程日志记录器记录第一任务日志信息并将第一任务日志信息与从模型运行参数获取的模型任务标识关联保存到全局日志管理器；其中，以子线程运行的方式进行模型运行任务的执行和任务日志的记录时，包括：在当前线程记录模型任务标识；创建用于执行模型执行任务的子线程，然后执行子线程，执行子线程时包括：创建一个子线程日志记录器，通过子线程日志记录器记录第二任务日志信息并将第二任务日志信息与从当前线程获取的模型任务标识关联保存到全局日志管理器；实时将第一任务日志信息或第二任务日志信息返回到用户端。

7、由上述方案可见，本发明通过将获取到的模型运行任务生成唯一的模型任务标识，并根据模型运行参数确定通过子进程或子线程的方式来记录与本次模型运行任务相关的任务日志信息，实现任务日志信息的记录按照具体的模型运行任务单独记录，解决现有的模型运行日志与系统日志混淆在一个文件里的问题，记录到的日志实时返回到用户端，方便用户端实时查看任务日志信息，方便开发人员或业务人员及时发现问题，进行调整模型参数或数据预处理等操作。

8、进一步的方案是，根据模型运行参数确定以子进程运行的方式或子线程运行的方式进行模型运行任务的执行和任务日志的记录后，包括：根据预设的问题分类类型对第一任务日志信息或第二任务日志信息进行标记，问题分类类型包括异常日志类型和正常日志类型。

9、进一步的方案是，异常日志类型包括以下的至少与一个：代码异常日志类型、数据异常日志类型和环境异常日志类型。

10、由此可见，相对于现有的模型服务类日志系统没有按照问题类型进行分类记录，排查问题时需要逐行阅读全部日志内容，本发明按照预设的问题分类类型对记录的任务日志信息进行标记，可以很方便快捷的定位问题，例如，数据某一个字段类型不符合要求、模型代码文件某一行代码有问题等，可以在任务日志信息中快速且准确的定位，进而方便将问题移动给不同的人员的客户端进行处理，比如数据问题可以由业务人员解决，环境问题由实施人员解决，代码问题由开发人员解决。

11、进一步的方案是，根据模型运行参数确定以子进程运行的方式或子线程运行的方式进行模型运行任务的执行和任务日志的记录时，包括以下步骤：将模型任务标识作为第一任务日志信息或第二任务日志信息保存的日志文件名称。

12、由此可见，可以方便通过模型任务标识进行查找。

13、进一步的方案是，在生成与模型运行任务对应的模型任务标识后，以及根据模型运行参数确定以子进程运行的方式或子线程运行的方式进行模型运行任务的执行和任务日志的记录前，包括以下步骤：判断模型运行任务是否属于异步执行类型时，如是，将模型任务标识发送到用户端。

14、由此可见，可以在模型运行任务执行前将模型任务标识发送到用户端，方便用户端实时查看模型运行任务执行过程中的任务日志信息。

15、进一步的方案是，第二任务日志信息包括用于执行模型执行任务的子线程执行过程中新启动的子线程执行中的日志信息。

16、由此可见，对于模型运行任务执行过程中新开启的子进程同样可以将相关的日志信息进行记录。

17、为了实现上述的第二目的，本发明提供的一种机器学习平台的模型运行日志的记录与查看方法，应用于客户端，其中，包括以下步骤：向服务器端发送模型运行任务；从服务器端获取多个任务日志信息和模型运行任务对应的模型任务标识；根据获取到模型任务标识确定模型运行任务对应的目标任务日志信息。

18、由上述方案可见，本发明上传模型运行任务至服务器端后，通过模型任务标识查找目标任务日志信息，实现在机器学习平台中的调用模型，界面上提供实时查看日志的窗口，将正在运行的模型记录的日志实时显示在界面上，开发人员或业务人员可以通过界面实时掌握模型运行情况，根据日志调整代码或参数；并提供查看日志和下载日志的功能，方便后续继续分析问题，不需要再到数据库或服务器上取日志文件，更方便快捷。

19、为了实现上述的第三目的，本发明提供的一种计算机装置，包括处理器与存储器，其中：存储器上存储有计算机程序，计算机程序被处理器执行时实现上述的机器学习平台的模型运行日志的记录与查看方法。

20、为了实现上述的第四目的，本发明提供的一种计算机可读存储介质，其上存储有计算机程序，其中：计算机程序被处理器质性时实现上述的机器学习平台的模型运行日志的记录与查看方法。

21、为了实现上述的第五目的，本发明提供的一种计算机程序产品，包括计算机指令，其中：计算机指令被处理器执行时实现上述的机器学习平台的模型运行日志的记录与查看方法。

技术特征：

1.一种机器学习平台的模型运行日志的记录与查看方法，应用于服务器端，其特征在于，包括以下步骤：

2.如权利要求1所述的机器学习平台的模型运行日志的记录与查看方法，其特征在于：

3.如权利要求2所述的机器学习平台的模型运行日志的记录与查看方法，其特征在于：

4.如权利要求1至3任一项所述的机器学习平台的模型运行日志的记录与查看方法，其特征在于：

5.如权利要求1至3任一项所述的机器学习平台的模型运行日志的记录与查看方法，其特征在于：

6.如权利要求1至3任一项所述的机器学习平台的模型运行日志的记录与查看方法，其特征在于：

7.一种机器学习平台的模型运行日志的记录与查看方法，应用于客户端，其特征在于，包括以下步骤：

8.计算机装置，包括处理器与存储器，其特征在于：

9.计算机可读存储介质，其上存储有计算机程序，其特征在于：

10.计算机程序产品，包括计算机指令，其特征在于：

技术总结本发明提供一种机器学习平台的模型运行日志的记录与查看方法、计算机装置、介质及程序产品，其中，该方法包括：获取模型运行任务；生成与模型运行任务对应的模型任务标识；根据模型运行任务的模型运行参数确定以子进程运行的方式或以子线程运行的方式进行模型运行任务的执行和任务日志的记录；实时将第一任务日志信息或第二任务日志信息返回到用户端；该方法还包括，向服务器端发送模型运行任务；从服务器端获取多个任务日志信息和模型运行任务对应的模型任务标识；根据获取到模型任务标识确定模型运行任务对应的目标任务日志信息。本发明实现实时且独立地查看模型运行任务执行的任务日志信息。技术研发人员：雷太原,郭露,乔杰,郑金辉受保护的技术使用者：远光软件股份有限公司技术研发日：技术公布日：2024/7/29