术前情景模拟演示方法、装置、计算机设备及其存储介质

本发明涉及医学图像处理，尤其涉及一种术前情景模拟演示方法、装置、计算机设备及其存储介质。

背景技术：

1、手术是一种创伤性的医疗行为，虽然医生会在术前详细向患者解释手术的相关情况，但由于患者自身知识水平有限，加之紧张焦虑的心理状态，往往难以完全理解和消化医生提供的信息。

2、患者很少接触到手术室的密闭环境，且对具体的手术操作流程并不知晓，这是形成术前的紧张情绪的主要原因之一。有些患者由于过度焦虑，会出现失眠、食欲减退等生理反应，甚至导致身体机能指标异常，如血压升高、心率加快等。

3、而当重度焦虑导致患者出现一系列生理指标异常时，如心率加快、血压升高、肌肉紧张等，可能会影响到手术的安全进行。因此，在患者出现极度焦虑症状时，医生往往会暂时取消或推迟手术，先行缓解患者的焦虑情绪，待其身体指标恢复正常后再行手术。这不仅加重了医院的工作负担，也增加了患者的痛苦和经济负担。

4、总之，手术前的巨大心理压力是导致患者焦虑的主要原因，过度的焦虑会引发生理指标异常，进而影响手术的顺利进行。缓解患者的术前焦虑状态，确保患者身心健康，是提高手术安全性和效率的关键环节。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种术前情景模拟演示方法、装置、计算机设备及其存储介质。

2、为实现上述目的，第一方面，根据本发明实施例的术前情景模拟演示方法，包括：

3、构建虚拟手术室3d全景场景模型，所述场景模型至少包括门、手术台、无影灯、医疗设备及医用物品的场景元素；

4、创建患者和医护角色对应的3d角色模型，并模拟真人动作姿态和肢体细节；

5、按照实际手术前操作流程，利用3d全景场景模型和3d角色模型创作3d动画模拟片段，所述3d动画模拟片段至少包括患者入室、消毒程序、麻醉过程的关键环节动画，其中，通过细节特写、慢动作的视觉特效展现所述关键环节动画的操作细节；

6、采用渲染技术对所述3d动画模拟片段中的3d全景场景模型和3d角色模型进行渲染处理；

7、通过语音合成方式为各个关键环节动画配置专业语音解说，以使各个所述关键环节动画播放时能够同步解说每个环节的相关信息；

8、将所有3d动画模拟片段拼接并导出高清格式文件，并将所述高清格式文件集成至计算机端术前模拟系统或云端服务平台以提供模拟体验。

9、在本发明的一些实施例中，还包括：

10、通过可穿戴传感设备实时检测患者的生理参数，并根据所述生理参数变化情况评估患者当前的焦虑水平；

11、根据患者的焦虑水平的评估结果，加载事先配置的安抚视频片段，所述安抚视频片段包括医生对患者的安抚解说和鼓励话语，和/或病友的手术康复经历分享视频，以传递良好的正面信息。

12、在本发明的一些实施例中，还包括：

13、在3d动画模拟片段中整合虚拟医生形象，所述虚拟医生形象通过自然语言交互技术与患者进行对话互动，以实时解答患者的疑问。

14、在本发明的一些实施例中，还包括：

15、采集患者的手术病例数据，结合患者特征构建个性化的3d病理模型，并在3d动画模拟片段中展现该患者的具体手术部位和病理情况。

16、在本发明的一些实施例中，所述在3d动画模拟片段中整合的虚拟医生形象包括：

17、构建包含手术相关医学知识的语料库，并训练自然语言处理模型和深度学习对话模型；

18、采集真人医生的面部、语音和肢体动作数据，构建具备逼真外观和动作的虚拟医生3d模型；

19、将训练好的自然语言处理模型和深度学习对话模型与虚拟医生3d模型相集成，实现自然语言交互功能，使虚拟医生能够回答患者关于手术的问题，并通过虚拟医生3d模型呈现相应的表情、语音和动作；

20、在3d动画播放过程中，通过语音识别或文本输入的方式，实时捕获患者的提问，并控制虚拟医生3d模型进行多模态回应。

21、在本发明的一些实施例中，所述采集患者的手术病例数据，结合患者特征构建个性化的3d病理模型，并在3d动画模拟片段中展现该患者的具体手术部位和病理情况包括：

22、采集患者的影像学检查数据和电子病历数据；

23、基于深度学习的图像分割算法，从影像学检查数据中提取患者的器官和病理区域的三维结构；

24、将提取的三维结构进行面片化处理，生成患者个体的3d病理模型；

25、根据所述电子病历数据中患者的生理参数和病史数据，为3d病理模型赋予相应的组织材质渲染属性；

26、将渲染后的3d病理模型集成到3d动画模拟片段中，与相应手术部位对位并展示；

27、在3d动画模拟片段的医生讲解环节，通过高亮显示或剖面视图的可视化技术，突出呈现患者的病理部位和细节。

28、在本发明的一些实施例中，所述通过可穿戴传感设备实时检测患者的生理参数，并根据所述生理参数变化情况评估患者当前的焦虑水平包括：

29、通过可穿戴传感设备实时采集包含患者的心率、血压、皮肤电导率、呼吸频率的生理数据，并通过环境摄像头和麦克风采集包含患者的面部表情、肢体动作、语音的行为数据；

30、对所述生理数据进行噪声去除、插值预处理，对所述行为数据进行人脸识别、视频解析预处理；

31、从所述生理数据中提取时域和频域特征，从所述视频数据中提取面部表情特征，从所述音频数据中提取语音情绪特征，并将所述生理特征、视觉特征和语音特征进行多模态融合，形成综合情绪特征向量；

32、构建包含不同手术环节和患者状态下的情绪标注数据集，并基于所述情绪标注数据集，采用监督学习训练机器学习模型，所述机器学习模型用于根据所述综合情绪特征向量评估患者的焦虑程度；

33、在术前模拟系统或云端服务平台中集成训练好的所述机器学习模型，实时获取患者的多模态数据输入并喂入所述机器学习模型，依据所述机器学习模型输出的焦虑程度分值判断患者当前的焦虑水平。

34、第二方面，根据本发明实施例的术前情景模拟演示装置，包括：

35、场景构建单元，用于构建虚拟手术室3d全景场景模型，所述场景模型至少包括门、手术台、无影灯、医疗设备及医用物品的场景元素；

36、角色创建单元，用于创建患者和医护角色对应的3d角色模型，并模拟真人动作姿态和肢体细节；

37、动画模拟单元，用于按照实际手术前操作流程，利用3d全景场景模型和3d角色模型创作3d动画模拟片段，所述3d动画模拟片段至少包括患者入室、消毒程序、麻醉过程的关键环节动画，其中，通过细节特写、慢动作的视觉特效展现所述关键环节动画的操作细节；

38、渲染单元，用于采用渲染技术对所述3d动画模拟片段中的3d全景场景模型和3d角色模型进行渲染处理；

39、语音配置单元，用于通过语音合成方式为各个关键环节动画配置专业语音解说，以使各个所述关键环节动画播放时能够同步解说每个环节的相关信息；

40、集成单元，用于将所有3d动画模拟片段拼接并导出高清格式文件，并将所述高清格式文件集成至计算机端术前模拟系统或云端服务平台以提供模拟体验。

41、第三方面，根据本发明实施例的计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的术前情景模拟演示方法。

42、第四方面，根据本发明实施例的计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的术前情景模拟演示方法。

43、根据本发明实施例提供的术前情景模拟演示方法、装置、计算机设备及其存储介质，通过构建高度还原真实手术环境的虚拟3d场景模型和角色模型,结合3d动画制作、渲染和语音解说技术，以及高清拼接输出等手段，为患者呈现一个身临其境、细节逼真的手术前操作流程模拟体验。这种3d动画模拟不仅能让患者提前熟悉手术室环境并理解将要面临的手术前准备过程，缓解心理焦虑，还能通过多感官刺激增强患者对手术的认知程度，提高术前教育的效果，为后续顺利实施手术奠定良好的心理基础以及体征状态。

44、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。