一种病理感知器大模型构建方法与流程

本发明涉及模型构建，特别涉及一种病理感知器大模型构建方法。

背景技术：

1、中国的临床医学已经从传统的经验医学、循证医学时代迈向了精准诊疗时代。然而，遗憾的是，作为疾病诊断的“金标准”，对于大多数疾病，尤其是对癌症的诊断至关重要的病理行业，却面临学习年限久、知识覆盖广、人才培养难、资源分布不均匀等问题的困扰。令人欣喜的是，借助人工智能技术的发展与众多优秀企业的创办，我国病理行业在病理诊断数字化与智慧化的道路上稳步前进，成果喜人。如今，智慧病理在提高病理诊断的效率与降低漏诊方面发挥了巨大的作用。同时，智慧病理已经成为建设智慧医院的重要组成部分，能够切实满足当前临床医学对于精准诊疗的需求。目前，众多大型互联网公司都在积极发展通用大模型技术，并开始布局大模型的商业化道路。然而对医疗领域，尤其是病理领域而言，高度专业化的知识、海量的病理切片数据积累以及稳定的医疗资源合作关系导致病理大模型技术研发难度较大。

2、在现有的技术中，病理感模型的构建通常依赖于大量的人工标注数据。这些数据被用来训练机器学习模型，使其能够识别和分类不同的病理特征。具体而言，一个典型的病理模型构建方法可能包括以下步骤：数据收集：从医院或实验室获取包含病理切片图像的数据集。数据预处理：对图像进行裁剪、缩放、归一化等操作，以便于模型处理。人工标注：由专业医生对图像中的病理特征进行标注，如肿瘤细胞、炎症区域等。模型训练：使用深度学习算法(如卷积神经网络)对标注数据进行训练，学习识别不同病理特征。模型验证与测试：通过验证集和测试集评估模型的性能，并进行调整优化。部署应用：将训练好的模型应用于实际医疗场景，辅助医生进行诊断。尽管这种方法在一定程度上提高了病理诊断的效率和准确性，但它存在几个显著的缺点：高度依赖人工标注：由于病理学领域的特殊性，高质量的人工标注数据难以大规模获取，且成本高昂。泛化能力受限：如果训练数据不够多样或代表性不足，模型可能在面对新的、未见过的病例时表现不佳。更新维护困难：随着医学知识的更新和新病例的出现，模型需要不断更新以保持其准确性和适用性。然而，这通常需要重新收集和标注数据，过程繁琐且耗时。综上所述，现有技术的病理模型构建方法在数据依赖性、泛化能力和可维护性方面存在明显缺陷，亟需改进。

技术实现思路

1、本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种病理感知器大模型构建方法，利用自监督学习方法，减少对大量人工标注数据的依赖，提高模型的泛化能力和可维护性。

2、为达到上述目的，本发明实施例提出了一种病理感知器大模型构建方法，包括：

3、设置预设层多头注意力机制组成的残差模块；

4、设置图像分割规则；

5、设置卷积层，通过卷积层对基于图像分割规则处理后的图像进行二维卷积操作，得到n个图像块；其中，每个图像块为固定大小的正方形区域；

6、设置线性嵌入机制，将每个图像块的像素值展平成一维向量，通过一个线性层将一维向量映射到一个高维空间，得到图像块的嵌入表示；

7、为每个图像块添加位置编码，得到图像块序列；

8、将图像块序列输入到编码器中进行数据处理，输出预测图像的自监督的信号；

9、设置上游自监督预训练：获取样本数据，定义一个自监督损失函数通过样本数据来衡量模型的预测与实际标签之间的差距，然后使用优化算法来最小化自监督损失函数，从而更新模型的参数，得到病理感知器大模型。

10、根据本发明的一些实施例，所述图像分割规则为将输入图像裁剪为320*320或者512*512的切片数据。

11、根据本发明的一些实施例，每个残差模块包括层归一化组件norm、多头注意力机制、moe layer组件；在层归一化组件norm中的特征融合采用加法算子。

12、根据本发明的一些实施例，通过卷积层对基于图像分割规则处理后的图像进行二维卷积操作，得到图像块的大小与数量是根据具体的处理任务和模型来进行调整。

13、根据本发明的一些实施例，所述编码器由多个层组成，每层包含多头自注意力机制和前馈神经网络；

14、将图像块序列输入到编码器中进行数据处理，输出预测图像的自监督的信号，包括：

15、多头自注意力机制让模型同时关注图像块序列中的多个位置；

16、前馈神经网络对每个位置的特征进行非线性变换；

17、设置分类头，在编码器的输出上调加一个分类头，预测图像的自监督的信号。

18、根据本发明的一些实施例，编码器的构建方法，包括：

19、进行通用性表征学习，具体来讲由多个损失函数组成的，包括图像块之间的局部信息最大化、特征之间的相似度最小化和样本中心化；

20、存储对图像进行分割规则，更涵盖对病理图像中对象与结构的语义理解、关系推断的这些高层次认知。

21、根据本发明的一些实施例，对病理图像中对象与结构的语义理解、关系推断的这些高层次认知，包括：

22、获取数据：x∈rm×d，表示一个序列的输入；r代表的是数据的矩阵形式，m表示token的个数，d表示每个token的维度；ph i表示n个专家将处理p个槽，每个槽有对应的d维参数向量，即学习的权重，使用梯度下降算法得到；

23、计算特定token被分配给特定专家的得分；

24、计算分配权重，在考虑了所有token的情况下，某个特定token被分配给某个专家的某个槽的相对得分或概率；

25、计算组合权重，计算每个专家的输出如何组合到最终输出中的权重；

26、每个专家的每个槽位都包含了所有token的特征的加权和；

27、对于每个输入插槽，应用相应的专家函数；

28、通过将专家的输出ys与组合权重c相乘来计算最终输出，每个输出token是所有输出插槽的加权平均，确定病理图像中对象与结构的语义理解及关系推断。

29、根据本发明的一些实施例，所述分类头为全连接层。

30、本发明的有益效果：降低数据依赖性：通过引入自监督学习方法，本发明的方法可以减少对大量人工标注数据的依赖，降低了数据获取的成本和难度。提高泛化能力：由于自监督学习可以利用未标注的数据进行学习，因此本发明的方法可以提高模型的泛化能力，使其在面对新的、未见过的病例时能够表现出更好的性能。提升可维护性：本发明的方法可以通过少量的标注数据进行模型的更新和维护，大大降低了模型更新的成本和难度，提升了模型的可维护性。提高诊断准确性和效率：本发明的方法可以提供更准确和高效的病理诊断辅助，有助于提高医生的诊断效率和准确性。

31、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

32、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。