端到端文档图像翻译方法及装置

本发明涉及自然语言处理，尤其涉及一种端到端文档图像翻译方法及装置。

背景技术：

1、文档图像翻译技术可以对文档图像所包含的文本、版面和视觉等信息进行挖掘，融合利用多源信息从而将图像中的源语言文本翻译为正确的目标语言文本。

2、相关技术中，一般采用文字图像翻译技术处理文本行图片，由于文档图片具有文字数量多、文字密集排布以及版面结构复杂的特点，比文本行图片具备更丰富的内容，识别难度大，导致现有的文字图像翻译技术处理文档图片的翻译效果较差。

技术实现思路

1、本发明提供一种端到端文档图像翻译方法及装置，用以解决现有技术中翻译文档图片的效果差的缺陷，提升了文档图片的翻译准确率。

2、本发明提供一种端到端文档图像翻译方法，包括：

3、对文档图像进行光学字符识别编码，得到图像编码特征，对所述文档图像进行版面感知编码，得到版面编码特征；

4、根据门控机制对所述图像编码特征和所述版面编码特征进行特征加权融合，得到融合特征表示；

5、对所述融合特征表示进行解码，得到翻译文本。

6、根据本发明提供的一种端到端文档图像翻译方法，所述对文档图像进行光学字符识别编码，得到图像编码特征包括：

7、根据swin transformer结构的预训练光学字符识别编码器对所述文档图像进行上下文编码和融合，得到所述图像编码特征表示。

8、根据本发明提供的一种端到端文档图像翻译方法，所述文档图像进行版面感知编码，得到版面编码特征包括：

9、根据vision transformer结构的预训练版面感知编码器对所述文档图像进行上下文编码和融合，得到所述版面编码特征表示。

10、根据本发明提供的一种端到端文档图像翻译方法，在所述得到版面编码特征之后，所述方法还包括

11、根据q-former结构的图像编码转换层将所述图像编码特征表示对应的序列长度转换至目标尺寸；

12、根据所述q-former结构的版面编码转换层将所述版面编码特征表示对应的序列长度转换至所述目标尺寸。

13、根据本发明提供的一种端到端文档图像翻译方法，所述对所述融合特征表示进行解码，得到翻译文本包括：

14、根据transformer decoder结构的预训练翻译解码器对所述融合特征表示进行交叉注意力计算和自回归预测，得到所述翻译文本。

15、根据本发明提供的一种端到端文档图像翻译方法，所述transformer decoder结构的预训练翻译解码器的损失函数如下所示：

16、

17、其中，l为所述损失函数，i为所述融合特征表示,θ为模型参数，p为预测概率；t为当前解码的字符位置，n为参考译文的总字符数，yt为当前解码的字符，y＜t为已经解码的字符。

18、本发明还提供一种端到端文档图像翻译装置，包括：

19、图像编码模块，用于对文档图像进行光学字符识别编码，得到图像编码特征，对所述文档图像进行版面感知编码，得到版面编码特征；

20、特征融合模块，用于根据门控机制对所述图像编码特征和所述版面编码特征进行特征加权融合，得到融合特征表示；

21、翻译模块，用于对所述融合特征表示进行解码，得到翻译文本。

22、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述端到端文档图像翻译方法。

23、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述端到端文档图像翻译方法。

24、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述端到端文档图像翻译方法。

25、本发明提供的端到端文档图像翻译方法及装置，通过对文档图像进行光学字符识别编码，得到图像编码特征，对文档图像进行版面感知编码，得到版面编码特征,再根据门控机制对图像编码特征和版面编码特征进行特征加权融合，最后对融合特征表示进行解码，得到翻译文本，通过图像编码特征和版面编码特征的融合特征实现文档图像的翻译，提高了文档图片的翻译准确率。

技术特征：

1.一种端到端文档图像翻译方法，其特征在于，包括：

2.根据权利要求1所述的端到端文档图像翻译方法，其特征在于，所述对文档图像进行光学字符识别编码，得到图像编码特征包括：

3.根据权利要求1所述的端到端文档图像翻译方法，其特征在于，所述文档图像进行版面感知编码，得到版面编码特征包括：

4.根据权利要求1所述的端到端文档图像翻译方法，其特征在于，在所述得到版面编码特征之后，所述方法还包括

5.根据权利要求1所述的端到端文档图像翻译方法，其特征在于，所述对所述融合特征表示进行解码，得到翻译文本包括：

6.根据权利要求5所述的端到端文档图像翻译方法，其特征在于，所述transformerdecoder结构的预训练翻译解码器的损失函数如下所示：

7.一种端到端文档图像翻译装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述端到端文档图像翻译方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述端到端文档图像翻译方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述端到端文档图像翻译方法。

技术总结本发明提供一种端到端文档图像翻译方法及装置，该方法包括：对文档图像进行光学字符识别编码，得到图像编码特征，对文档图像进行版面感知编码，得到版面编码特征；根据门控机制对图像编码特征和版面编码特征进行特征加权融合，得到融合特征表示；对融合特征表示进行解码，得到翻译文本。本发明所述方法通过图像编码特征和版面编码特征的融合特征实现文档图像的翻译，提高了文档图片的翻译准确率。技术研发人员：梁雨普,张亚萍,赵阳,向露,宗成庆,周玉受保护的技术使用者：中国科学院自动化研究所技术研发日：技术公布日：2024/7/29