基于人工智能的医学临床操作技能辅助评价方法和系统与流程

本发明涉及人工智能领域，具体地，涉及基于人工智能的医学临床操作技能辅助评价方法和系统。特别是一种基于人工智能和多传感器辅助技术的医学临床操作技能辅助评价方法和系统。

背景技术：

1、医学科学是一门实践性很强的学科。临床实践技能教学、考试是医学人才培养的重要组成部分。

2、在现有技术中，传统的实践技能教学方式通过理论学习、场景模拟、教师示范及学生练习的流程，采用“一对一”甚至“一对多”的形式进行教学。这种教学方式的缺点包括：(1)受场地、器材的限制，每次只能教授限定数量的学生，费时费力；(2)有教师同步指导和反馈的训练过程只能发生在课堂上，而课外时间的自主训练条件较为有限，难以取得同样有效的器械条件和指导反馈；(3)由于师资力量有限，教师难以发现每一位学生的错误并及时反馈；(4)教学过程中对学生操作的评价由于模拟培训设备的实体特性，容易出现由于观察受阻或活动范围受限导致的错评和漏评；(5)教师评价标准同质化水平较低，不利于形成统一的学习评价体系。

3、针对上述问题，目前临床实践技能教学的发展方向之一是由学生本人、同学或教师基于视频形式的操作记录提供异步的反馈和评价。其优点在于通过开放场地及器械增加学生课后自主练习机会，突破了练习时间的限制。学员在观看重放视频过程中，不仅仅是被动获取反馈，也会在观察视频画面中自身动作的同时进行主动反思。视频提供了更为客观中性、“不留情面”的直接反馈，避免了师生或同学之间出于维护和睦人际关系、担心对方无法接受批评等各种人为因素导致的反馈不足或缺失。国内外研究表明，在操作技能培训的过程中，相较于传统的语言反馈，视频形式的反馈更为高效，技能留存时间也更长。

4、但是，尽管具有上述优势，上述方案仍存在如下问题：(1)课后练习产生的大量视频仍然需要师生消耗同等长度的时间观看并给出反馈，无法节省教师的时间精力；(2)固定视角的视频录制，不能满足操作技能练习过程中每个环节的观察需要。导致基于录制视频进行的终结性评价一致性低于传统的现场评分方式。

5、对此，通过进一步改进，采用通过摄像机断点续传、同考站各考组并发单向流相互灾备、签出审核等设计，确保考试过程音视频记录的完整性；通过视频多机位环绕记录、三路拾音器定向独立拾音，提高考试过程音视频记录的可评价性；通过考评分离，双人分类独立阅卷，提高考官阅卷效率和评价同质化水平。然而，该方案仍存在以下问题：(1)考官需要在多机位视频中寻找考生的得分点，评价效率不高；(2)对考生的精细动作识别存在困难，影响判分；(3)现场物品布局及考生站位对视频记录有一定影响；(4)视频中出现标准化病人头像，需注意个人隐私保护。

6、目前，现阶段临床实践教学、技能考试亟待解决的主要问题包括(1)突破课堂局限实现课后自主训练；(2)及时评价反馈费时费力；(3)评价中关键技能点识别难度较大；(4)人工评价同质化水平较低。针对这些问题，通过人工智能生成自动化评价反馈是有效的解决方案。应用人工智能技术可提供一致性的即时反馈，同时对正式的专家评价提供自动化辅助。然而，受限于技能操作评价本身尚处于电子化不足的初级阶段、当前深度学习技术发展水平下能提供的可解释性不足、人工智能系统研发需要多种专业背景人才参与、人工智能算法研发难度较大等诸多因素，目前人工智能技术应用于医学实践技能评估领域的方案仍有待改进，人工智能评价相对于传统评价的有效性也需要进行进一步评估。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于人工智能的医学临床操作技能辅助评价方法和系统。

2、根据本发明提供的一种基于人工智能的医学临床操作技能辅助评价方法，包括：

3、视频流采集步骤：采集操作者多个视角的图像，得到视频流；

4、人体姿态编码步骤：根据视频流识别人体姿态并实时提取；

5、人工智能评估步骤：根据视频流和人体姿态，对操作完成情况进行评价。

6、优选地，还包括：

7、数据库建立步骤：选取操作构建数据库；

8、模型建立步骤：利用数据库中的数据训练评分模型；

9、在所述人工智能评估步骤中，基于已训练的评分模型，进行评价。

10、优选地，所述人体姿态编码步骤，包括：

11、第一处理步骤：基于空间连接点的跟踪策略，采用点模式匹配方法建立相邻图像之间的特征匹配关系进行三维跟踪建模；

12、第二处理步骤：使用自编码器算法对关键帧及基于三维跟踪的特征信息进行无监督自适应关键信息提取；

13、第三处理步骤：采用长短记忆网络学习关键帧的时序特征以及特定场景下的判断规则识别出动作所属的类型。

14、优选地，所述识别人体姿态，包括：人体大关节及小关节姿态的识别、动作流程的识别、关键器械的识别。

15、根据本发明提供的一种基于人工智能的医学临床操作技能辅助评价系统，包括：

16、视频流采集模块：采集操作者多个视角的图像，得到视频流；

17、人体姿态编码模块：根据视频流识别人体姿态并实时提取；

18、人工智能评估模块：根据视频流和人体姿态，对操作完成情况进行评价。

19、优选地，还包括：

20、数据库建立模块：选取操作构建数据库；

21、模型建立模块：利用数据库中的数据训练评分模型；

22、在所述人工智能评估模块中，基于已训练的评分模型，进行评价。

23、优选地，所述人体姿态编码模块，包括：

24、第一处理模块：基于空间连接点的跟踪策略，采用点模式匹配方法建立相邻图像之间的特征匹配关系进行三维跟踪建模；

25、第二处理模块：使用自编码器算法对关键帧及基于三维跟踪的特征信息进行无监督自适应关键信息提取；

26、第三处理模块：采用长短记忆网络学习关键帧的时序特征以及特定场景下的判断规则识别出动作所属的类型。

27、优选地，所述识别人体姿态，包括：人体大关节及小关节姿态的识别、动作流程的识别、关键器械的识别。

28、根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于人工智能的医学临床操作技能辅助评价方法的步骤。

29、根据本发明提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述的基于人工智能的医学临床操作技能辅助评价方法的步骤。

30、与现有技术相比，本发明具有如下的有益效果：

31、1、本发明收集大样本多机位考试实录视频影音资料及考官的详细评价信息，构建训练数据库和评价基准，并在此基础上建立一种基于环境智能的临床技能实时无感自动评价方法。

32、2、本发明运用基于计算机视觉的关键器械识别与跟踪、人体运动跟踪与行为理解等技术，提高复杂场景动作识别成功率；通过深度学习时间序列建模，对学生的动作规范、流程规范进行自动化定性和/或定量分析及实时评估反馈。

33、3、本发明采用环境智能传感器，不影响基本操作技能模拟训练的常规练习过程，是传统视频评价方法的智能化升级。

34、4、本发明将为建设长期、高频、标准化的临床实践技能教学提供高效的新方法，有助于实现对临床实践技能教学、考试进行“教考一体”智能化流程再造，建设规范化、标准化教学考试流程。

35、5、本发明为建设长期、高频、标准化的临床实践技能教学提供了高效的新方法，有助于提升教学效率、巩固教学成果，从而提高医学技能培训的长期质量。通过本发明建立的自动评价体系，还可为医学院校、住院医师规范化培训基地、专科医师培训基地等医学教育机构承担的大量培训考试工作提供标准化、自动化的考核辅助工具。