大语言模型驱动的显微镜控制方法、装置及电子设备

本发明涉及计算机，尤其是涉及一种大语言模型驱动的显微镜控制方法、装置及电子设备。

背景技术：

1、显微镜被广泛应用在生物学、医学等领域，如观察和捕捉细胞有丝分裂、判读病理分化程度。在使用过程中，专家或医生将样本放置在载物台，通过移动载物台、切换物镜、对焦、寻找目标视野，进行观察分析。

2、对于非专业人员，使用不同型号显微镜需要一定的学习成本，如硬件配置（镜头参数、操作步骤）或软件使用方法，才能达到使用标准。而他可能仅仅需要从样本上拍摄一组图像。这增加了显微镜的使用成本，降低生产力效率；对于专家或医生（如细胞学家、病理学医生），手工反复操作和长时间观察显微镜是一项复杂且容易疲惫的工作。总体来说，显微镜的使用很不方便。

技术实现思路

1、本发明提供一种大语言模型驱动的显微镜控制方法、装置及电子设备，可以便于使用显微镜。

2、为了解决上述技术问题，本发明是这样实现的：

3、第一方面，本申请提供了一种大语言模型驱动的显微镜控制方法，所述方法包括：获取第一语音数据，并基于调整后的语音大模型结合上下文进行意图分析，确定与显微镜控制相关的第一指示信息；基于第一指示信息和硬件库，确定对显微镜的控制方案；按照控制方案对显微镜进行控制，并获取图像数据，以对图像数据进行分析。

4、优选的，所述方法还包括：获取第二语音数据，并基于调整后的语音大模型结合上下文进行意图分析，确定与图像数据相关的第二指示信息；依据第二指示信息与软件库，确定图像数据的分析方案，以对图像数据进行分析，确定分析结果。

5、优选的，调整后的语音大模型，依据以下步骤生成：获取设定语音数据，并基于语音大模型进行结合上下文进行交互，得到限定信息，限定信息包括用于定义语音大模型身份的系统角色信息、用于与语音大模型进行绑定以便语音大模型使用的硬件库、软件库，用于规范语音大模型的交互方式、生成控制方案以及生成分析方案的规范信息；基于限定信息对语音大模型进行限定，得到调整后的语音大模型。

6、优选的，所述基于第一指示信息和硬件库，确定对显微镜的控制方案，包括：基于第一指示信息中的硬件相关信息和硬件库，确定待控制的目标硬件，所述目标硬件包括显微镜相关的：载物平台、相机、物镜、信息识别组件、照明组件中的至少一个；基于第一指示信息中的控制策略和目标硬件的参数信息，确定目标硬件的控制方案；所述控制策略包括以下策略中的至少一个：载物平台控制策略，用于控制载物平台在x、y、z三维空间移动，以进行定位和对焦；相机控制策略，用于设置和调整显微镜的相机组件，包括设置相机组件的分辨率、帧率、曝光、白平衡，并调整拍摄显微镜视野；物镜控制策略，用于切换不同放大倍率的物镜；信息识别组件控制策略，用于控制信息识别组件扫描载玻片的条形码，获取承载对象的身份信息；照明组件控制策略，用于调整光照强度。

7、优选的，所述软件库包括软件函数库，所述依据第二指示信息与软件库，确定图像数据的分析方案，包括：从软件函数库中获取实现第二指示信息对应的逻辑函数，形成分析策略；输出分析策略对应的描述信息给用户，并在获取到用户对分析策略的确认指令后，依据分析策略生成图像数据的分析方案。

8、优选的，在获取图像数据之前，所述方法还包括：获取对焦要求信息，对焦要求信息依据第一语音数据或第二语音数据确定；按照对焦要求信息，确定显微镜的对焦方式，所述对焦方式包括全局对焦和逐点对焦；按照对焦方式确定对焦信息，以按照对焦信息获取图像数据。

9、优选的，当对焦方式为逐点对焦时，所述按照对焦方式确定对焦信息，包括：确定对焦范围，并在对焦范围内按照预设高度差获取多张不同高度的采集图像；对采集图像的目标像素点进行清晰度分析，确定清晰度最高的采集图像对应的目标对焦位置；依据目标对焦位置，缩小对焦范围和预设高度差，以按照更新后的对焦范围和高度差来采集图像以完成下一轮清晰度分析，直至确定最终对焦位置作为对焦信息；所述对采集图像的目标像素点进行清晰度分析，包括：依据目标像素点的第一亮度值和目标像素点的相邻像素点的第二亮度值之间的差异进行清晰度分析。

10、优选的，所述当对焦方式为全局对焦时，所述按照对焦方式确定对焦信息，包括：根据载玻片样本面积和物镜放大倍率，计算对焦列表，所述对焦列表用于存储对焦点的位置，每隔n个显微镜视野设定一个对焦点；采取逐点对焦的方式，对对焦列表中的对焦点进行对焦并记录；使用边缘检测算法分割前景和背景，将背景的焦面值校正为与背景相邻的前景的焦面值，并使用插值方法计算所有位置的焦面值并记录，得到载玻片的全局焦面列表，作为对焦信息；所述插值方法为线性插值。

11、第二方面，本申请提供了一种大语言模型驱动的显微镜控制装置，所述装置包括：语音交互处理模块，用于获取第一语音数据，并基于调整后的语音大模型结合上下文进行意图分析，确定与显微镜控制相关的第一指示信息；控制方案生成模块，用于基于第一指示信息和硬件库，确定对显微镜的控制方案；图像数据获取模块，用于按照控制方案对显微镜进行控制，并获取图像数据，以对图像数据进行分析。

12、第三方面，本申请提供了一种电子设备，包括：存储器和至少一个处理器；所述存储器用于存储计算机执行指令；所述至少一个处理器用于执行所述存储器中存储的计算机执行指令，使得所述至少一个处理器执行如第一方面所述的方法。

13、第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的方法。

14、本申请可以应用在对显微镜进行控制的场景，本方案可以通过调整后的语音大模型与用户进行交互，获取用户对显微镜进行控制的指示信息，并结合上下文进行理解和交互，进而形成对显微镜的控制方案，以按照控制方案对显微镜的载物平台、相机、物镜等组件进行控制，可以便于对显微镜进行控制；还可以基于调整后的大模型与用户的交互为用户生成对显微镜采集到的图像进行分析的分析方案，如可以生成疾病分析、细胞统计等方案，便于完成对图像的识别。具体来说，本申请可以对语音大模型进行微调，可以为语音大模型设定角色并绑定硬件库、软件库。硬件库提供对显微镜的相关硬件进行控制的控制模块，软件库包含对焦分析以及对图像进行分析的相关模型或函数等。用户可以通过语音与调整后的大模型进行交互，以利用语音及上下文来生成对显微镜的控制方案、对图像数据的分析方案等内容，以便完成显微镜的数据采集和数据分析。

技术特征：

1.一种大语言模型驱动的显微镜控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，调整后的语音大模型，依据以下步骤生成：

4.根据权利要求1所述的方法，其特征在于，所述基于第一指示信息和硬件库，确定对显微镜的控制方案，包括：

5.根据权利要求2所述的方法，其特征在于，所述软件库包括软件函数库，所述依据第二指示信息与软件库，确定图像数据的分析方案，包括：

6.根据权利要求1所述的方法，其特征在于，在获取图像数据之前，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，当对焦方式为逐点对焦时，所述按照对焦方式确定对焦信息，包括：

8.根据权利要求7所述的方法，其特征在于，所述当对焦方式为全局对焦时，所述按照对焦方式确定对焦信息，包括：

9.一种大语言模型驱动的显微镜控制装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

技术总结本发明涉及计算机技术领域，公开了一种大语言模型驱动的显微镜控制方法、装置及电子设备，所述方法包括：获取第一语音数据，并基于调整后的语音大模型结合上下文进行意图分析，确定与显微镜控制相关的第一指示信息；基于第一指示信息和硬件库，确定对显微镜的控制方案；按照控制方案对显微镜进行控制，并获取图像数据，以对图像数据进行分析；本申请的方法可以更好的对显微镜进行控制。技术研发人员：许迎科,于佳辉,马天宇,王绪娜受保护的技术使用者：浙江大学滨江研究院技术研发日：技术公布日：2024/3/11