1.本公开涉及大数据技术和人工智能领域，具体自然语言处理和运维技术，更具体地涉及一种日志分析模型训练方法、装置、设备、介质和程序产品。
背景技术：
：：2.近年来，随着计算机技术的飞速发展，各类应用的运行日志发挥着日益重要的作用。由于互联网应用自身较高的要求限制且7*24小时不间断运行，所以及时获取应用运行的相关日志数据，并对日志进行及时分析非常重要。3.然而，现有技术中相关日志分析算法存在准确性低的问题。技术实现要素：4.鉴于上述问题，本公开提供了提高分析准确性的日志分析模型训练方法、装置、设备、介质和程序产品。5.本公开第一方面提供了一种日志分析模型训练方法，包括：6.利用开源语料和日志语料，生成双语料对照词典；7.对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示；8.利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量；9.利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型。10.根据本公开实施例，上述利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量包括：11.利用双语料对照词典，生成双语料词典表示；12.将双语料词典表示，日志语料词向量表示和日志语料字符向量表示进行向量拼接，得到融合跨语言知识的词向量。13.根据本公开实施例，上述利用双语料对照词典，生成双语料词典表示包括：14.将开源语料进行数据处理，生成带标签的开源语料；15.将带标签的开源语料与开源语料进行拼接，得到拼接开源语料向量；16.利用长短期记忆网络处理拼接开源语料向量，生成双语料词典表示。17.根据本公开实施例，上述利用双语料对照词典，生成双语料词典表示包括：18.获取日志语料序列和开源语料序列；19.通过前馈神经网络计算日志语料序列和开源语料序列的语义相关性；20.根据语义相关性，计算开源语料序列的权重；21.通过注意力机制网络处理开源语料序列和开源语料序列的权重，生成双语料词典表示。22.根据本公开实施例，上述日志分析模型训练方法还包括：23.根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数；24.定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。25.根据本公开实施例，上述预设评价指标由正确率和召回率确定；26.其中，正确率由真实正例和错误正例确定；27.其中，召回率由真实正例和错误负例确定。28.本公开第二方面提供了一种日志分析方法，包括：29.对待分析日志语料进行处理，得到日志向量，其中，日志向量由词向量表示和字符向量拼接而成；30.对日志向量进行计算，得到计算后的日志向量，其中，计算后的日志向量与上述日志分析模型训练方法中的融合跨语言知识的词向量的维度相同；31.利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。32.本公开第三方面提供了一种日志分析模型训练装置，包括：33.获取模块，用于利用开源语料和日志语料，生成双语料对照词典；34.预处理模块，用于对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示；35.词向量生成模块，用于利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量；36.训练模块，利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型。37.根据本公开实施例，上述装置还包括：38.验证模块，用于根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数；39.迭代处理模块，用于定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。40.本公开第四方面提供了一种日志分析装置，包括：41.获取模块，用于获取待分析的日志语料并进行预处理，获取日志向量，其中，日志向量包括词向量表示和字符向量表示；42.分析模块，利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。43.本公开第五方面提供了一种电子设备，包括：44.一个或多个处理器；45.存储装置，用于存储一个或多个程序，46.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述日志分析模型训练方法和日志分析方法。47.本公开第六方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述日志分析模型训练方法和日志分析方法。48.本公开第七方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述日志分析模型训练方法和日志分析方法。49.本公开的实施例利用开源语料作为额外辅助信息，通过双语料对照词典和日志语料获取融合跨语言知识的词向量，并利用融合跨语言知识的词向量训练日志分析模型，从而获得具有较高分析准确性和分析效率的日志分析模型。附图说明50.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：51.图1示意性示出了根据本公开实施例的日志分析模型训练方法和日志分析方法的应用场景图；52.图2示意性示出了根据本公开实施例的日志分析模型训练方法的流程图；53.图3示意性示出了本公开实施例的日志分析模型的结构图；54.图4示意性示出了根据本公开实施例生成融合跨语言知识的词向量的流程图；55.图5示意性示出了根据本公开实施例的基于lstm生成双语料词典表示的流程图；56.图6示意性示出了本公开实施例的基于注意力机制生成双语料词典表示的流程图；57.图7示意性示出了本公开实施例的双语料语言模型的结构图；58.图8示意性示出了本公开实施例的种日志分析方法的流程图；59.图9示意性示出了本公开实施例的日志分析模型训练装置的结构框图；60.图10示意性示出了本公开实施例的日志分析装置的结构框图；61.图11示意性示出了根据本公开实施例的适于实现日志分析模型训练方法和日志分析方法的电子设备的方框图。具体实施方式62.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。63.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。64.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。65.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。66.本公开涉及人工智能算法获取日志实施分析结果，从而帮助相关运维人员及时发现故障和定位故障。67.现有技术中对于各种应用产生的海量运行日志的分析算法存在许多问题，例如一般人工智能相关算法对标注语料要求较高，标注语料的规模与精度将直接影响分析结果的准确性，模型效果受到标注语料质量极大的限制；其次，目前人工标注的语料获取难度大，所费人工成本极高；再次，不同应用的日志格式不同，种类繁多，无法以统一的正则表达式进行切分；同时，现有日志多为非结构化文本，难以对关键数据及字段进行提取统计；最后，日志数据量爆炸式增长，日志分析速度难以进一步提升，限制了故障告警的速度。68.有鉴于此，本公开提供了一种日志分析模型训练方法、一种日志分析模型训练装置、一种日志分析方法及装置、设备、存储介质以及程序产品，可应用于大数据技术和人工时能领域。上述日志分析模型的训练方法，通过有效利用开源语料和日志语料，获得训练完成的日志分析模型，并利用上述日志分析模型对应用产生的各类运行日志进行分析，从而提升对日志识别的准确性，同时提高对日志分析的效率，节省运维成本。69.在本公开的技术方案中，所涉及的各种日志数据、网上的开源语料数据的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。70.图1示意性示出了根据本公开实施例的日志分析模型训练方法和日志分析方法的应用场景图。71.如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104以及服务器105、106、107。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。72.用户可以使用终端设备101、102、103通过网络104与服务器105、106、107交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。73.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。74.服务器105、106、107可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。75.需要说明的是，本公开实施例所提供的日志分析模型训练方法和日志分析方法一般可以由服务器105、106、107执行。相应地，本公开实施例所提供的日志分析模型训练系统和日志分析系统一般可以设置于服务器105、106、107中。本公开实施例所提供的日志分析模型训练方法和日志分析方法也可以由不同于服务器105、106、107且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的日志分析模型训练系统和日志分析系统也可以设置于不同于服务器105、106、107且能够与终端设备101、102、103和/或服务器105、106、107通信的服务器或服务器集群中。76.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。77.以下将基于图1描述的场景，通过图2～图8对本公开实施例的日志分析模型训练方法和日志分析方法进行详细描述。78.图2示意性示出了根据本公开实施例的日志分析模型训练方法的流程图。79.如图2所示，该日志分析模型训练方法包括操作s210～操作s240。80.在操作s210，利用开源语料和日志语料，生成双语料对照词典。81.上述开源语料可以通过网络获取，例如wordnet或conceptnet等。通过开源语料和日志语料，可以构建本地语料知识库，并对相关语料进行初步清洗和过滤，并根据相关数据格式的要求构建双语料对照词典。82.在操作s220，对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示。83.在操作s230，利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量。84.其中，上述双语料对照词典、日志语料词向量表示和日志语料字符向量表示通过进行向量运算，例如向量间的拼接，生成融合跨语言知识的词向量。85.在操作s240，利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型。86.本公开的实施例利用开源语料作为额外辅助信息，通过双语料对照词典和日志语料获取融合跨语言知识的词向量，并利用融合跨语言知识的词向量训练日志分析模型，从而获得具有较高分析准确性和分析效率的日志分析模型。87.上述双语料对照词典通过利用fastalign工具包对开源语料和日志语料进行训练，获取词语对齐模型，其中，上述词语对齐模型可以利用公式(1)和公式(2)描述：p(z|m)＝∑ap(a,z|m)(1)和其中，z＝{z1,z2,...,zj}表示开源语料输入序列，m＝{m1,m2,...,mi}表示日志语料输入序列，a表示句子z和m的对齐关系，p(aj/aj-1)为状态转移概率，p(zj/mai)代表到zj的对齐概率。88.根据本公开的实施例，获取双语料对照词典的流程可以包括如下操作：89.对alignment初始化，alignment将用于纪录对齐的各个点；定义各个相邻节点；同时，对表示矩阵初始化操作：表示矩阵为二维矩阵，两个维度分别代表源端和目标端的句长；查找对齐节点，将双向对齐的节点加入alignment，循环操作直至没有新的节点；对alignment遍历，查看该节点的相邻节点，若某一相邻节点单向对齐，同时这一点的源语或者目标语没有双向对齐，则将这一点加入alignment，对矩阵进行遍历；若有某个节点单向对齐且这一点的源语或目标语言没有双向对齐，则将该节点加入alignment。对对齐结果进行数据清洗、筛选和过滤，获得双语料对照词典。其中，双语料对照词典如表1所示。90.表1双语料对照词典示例91.开源语料日志语料fusionstorefsinternetprotocolipinfoinferrorerr92.图3示意性示出了本公开实施例的日志分析模型的结构图。93.如图3所示，本公开实施例提供的日志分析模型训练方法，利用基于多头部自注意力机制的日志分析模型处理融合跨语言知识的词向量，输出日志分析结果。该日志分析模型包括嵌入层、转换层(transformer)和条件随机场。在嵌入层处理阶段，该日志分析模型利用自注意力机制处理输入的日志字符向量，获得多个中间多头部向量；上述中间多头部向量经过自注意力机制进行特征提取，得到多个字符向量特征；将提取的字符向量特征、双语料词典表示和词向量表示进行向量拼接，得到多个拼接向量；将上述得到的拼接向量输入到转换层，利用自注意力机制进行处理，获得多个多头部向量；将上述多头部向量输入到条件随机场进行处理，获得相应的日志分析结果，其中日志分析结果包括多个，例如图3所示的b-per、m-per、e-per等等。通过本公开是实施例公开的日志分析模型训练方法不断训练上述日志分析模型，可以得到训练好的日志分析模型。94.图4示意性示出了根据本公开实施例生成融合跨语言知识的词向量的流程图。95.如图4所示，该生成融合跨语言知识的词向量方法包括操作s410～操作s420。96.在操作s410，利用双语料对照词典，生成双语料词典表示。97.在操作s420，将双语料词典表示，日志语料词向量表示和日志语料字符向量表示进行向量拼接，得到融合跨语言知识的词向量。98.本公开实施例所提供的生成融合跨语言知识的词向量方法能够得到包括多种向量的融合跨语言知识的词向量，从而在后续的日志分析模型中提供多维度、高知识量的开源语料和日志语料。99.在获取双语料词典表示的过程中，将双语料词典构建为一个日志词对应一个或多个开源语料词的形式，即给定一个日志语料序列记为x＝{x1,x2,…,xi,…,xn}，开源语料序列记为t＝{t1,t2,…,ti,…,tn}，每一个xi对应多个ti。这样设置可以将开源语料视作高资源语言，用更多更丰富的词义表示对日志向量语义扩充。为了更充分地获取海量开源语料词语中的语义信息，所有的词都使用神经网络进行训练。100.图5示意性示出了根据本公开实施例的基于lstm生成双语料词典表示的流程图。101.如图5所示，该基于lstm生成双语料词典表示包括操作s510～操作s530。102.在操作s510，将开源语料进行数据处理，生成带标签的开源语料。103.在操作s520，将带标签的开源语料与开源语料进行拼接，得到拼接开源语料向量。104.在操作s530，利用长短期记忆网络处理拼接开源语料向量，生成双语料词典表示。105.上述生成双语料词典表示的方法基于长短期记忆网络(lstm，longshorttermmemory)进行训练，假设一个日志词语xi对应多个开源语料中的词语，记为tj，首先为所有的开源语料中的词语向量加入标签信息(pos-tag)，记为pj，双语料词典中没有标签信息，因此在本文中每一个标签是由随机初始化生成的，在模型训练过程中进行优化。将每一个tj与对应的位置向量进行拼接，以[tj,pj]的形式输入双向lstm神经网络进行训练,提取特征后获得的输出向量与日志词向量、日志字符向量进行拼接。[0106]图6示意性示出了本公开实施例的基于注意力机制生成双语料词典表示的流程图。[0107]如图6所示，该基于注意力机制生成双语料词典表示包括操作s610～操作s640。[0108]在操作s610，获取日志语料序列和开源语料序列。[0109]在操作s620，通过前馈神经网络计算日志语料序列和开源语料序列的语义相关性。[0110]在操作s630，根据语义相关性，计算开源语料序列的权重。[0111]在操作s640，通过注意力机制网络处理开源语料序列和开源语料序列的权重，生成双语料词典表示。[0112]上述生成双语料对照词典表示的方法基于注意力机制，假设一个日志词语xi对应多个开源语料中的词语，记为tj，由于xi对应的多个tj中，tj的出现概率都不相同，对日志正确语义表示的能力也不相同，因此有必要使用注意力机制对双语词典进行建模。将经过注意力机制训练后的输出向量记为vec，计算过程如公式(3)和公式(4)所示：和∑jaj＝1(4)，其中，aj∈[0,1]，代表tj的权重，l是存储单元大小。每一个开源语料词tj都将被输入前馈神经网络来计算其与日志词xi语义相关性，上述语义相关性由公式(5)确定：gj＝tanh(wattxi uatttj batt)(5)；获得每一个语义相关性之后，最后获得a的计算方法如公式(6)：[0113]图7示意性示出了本公开实施例的双语料语言模型的结构图。[0114]如图7所示，本公开所提供的双语料语言模型包含了双语料知识的向量化表示(embeddingwithcrossknowledge)veci，用于根据双语料对照词典(bi-lexiconrepresentation)veci、日志语料词向量表示(wordembeddingrepresentation)wi和日志语料字符向量表示(characterembeddingrepresentation)ci生成融合跨语言知识的词向量(embeddingwithcrossknowledge)。其中，在根据双语料对照词典生成双语料词典表示过程中，可以选择基于lstm或者选择基于注意力机制的生成双语料词典表示。其中，生成基于注意力机制的双语料词典表示的方法用于处理不带标签的开源语料词向量表示和日志语料词向量表示，由于日志语料词向量wi与开源语料词向量tj表示存在着一对多的关系(如图7所示，wi与tj-2、tj-1、tj、tj 1相对应)，首先需要进行系数调整，通过对不带标签的开源语料词向量表示和日志语料词向量进行系数运算并经过注意力机制处理后，可以得到基于注意力机制的双语料词典表示。生成基于lstm的双语料词典表示的方法用于处理带标签的开源语料词向量表示和不带标签开源语料词向量表示；首先将带标签的开源语料词向量表示和不带标签开源语料词向量表示进行向量拼接，将拼接后的向量输入到lstm中，经过lstm进行处理后，得到基于lstm的双语料词典表示。经过基于注意力机制或lstm处理后得到的双语料词典表示veci，再经过与日志语料词向量表示wi和日志语料字符向量表示ci进行向量拼接，就得到融合跨语言知识的词向量。[0115]根据本公开实施例，上述日志分析模型训练方法还包括：[0116]根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数。[0117]使用验证语料对模型的准确性进行验证，验证方法为：预先准备好标准的验证语料，带有准确的标注结果，将验证集语料作为已训练好的模型的输入，比较模型输出的结果是否与标准结果一致。[0118]定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。[0119]根据本公开实施例，上述预设评价指标由正确率和召回率确定；[0120]其中，正确率由真实正例和错误正例确定；[0121]其中，召回率由真实正例和错误负例确定。[0122]准确率可以评估所有被标注的词中正确被标注的命名实体所占比例大小。召回率是指输入的所有词中标注正确的命名实体。从准确率和召回率的概念中，可以知道准确率和召回率越高，命名实体识别的效果越好，但是在实际应用中经常会出现准确率高而召回率低，或者召回率高，准确率低的情况。因此需要f1值(f1-score)综合这两者的结果，进而可以更直观地了解到整体命名实体识别的效果。[0123]prf(准确率：precision、召回率：recall和f1值)评价指标使用如下四个基础指标：(1)tp：truepositive，指命名实体识别之后获得的标注序列中与正确标注完全匹配的命名实体；(2)fn：falsenegative，指实际应该被标注为命名实体，但模型未将其标注的实体；(3)fp：falsepositive，指命名实体识别之后有标注但与正确标注不相符的命名实体；(4)tn：truenegative，指模型未识别，实际上也不应该识别的错误词，其中表2表示混淆矩阵。[0124]表2混淆矩阵[0125]tableconfusionmatrix[0126][0127]由此可以获得prf的计算公式分别如公式(7)、公式(8)和公式(9)所示：和[0128]由于f1值将准确率与召回率综合，更具有比较价值和意义，因此命名实体识别任务在对模型进行评价时中更看重f1值的大小。[0129]图8示意性示出了本公开实施例的种日志分析方法的流程图。[0130]如图8所示，该日志分析方法包括操作s810～操作s830。[0131]在操作s810，对待分析日志语料进行处理，得到日志向量，其中，日志向量由词向量表示和字符向量拼接而成。[0132]在操作s820，对日志向量进行计算，得到计算后的日志向量，其中，计算后的日志向量与上述日志分析模型训练方法中的融合跨语言知识的词向量的维度相同。[0133]预处理后的日志向量的维度与本公开实施例的日志分析模型训练方法中的融合跨语言知识的词向量的维度相同，当上述预处理后的日志向量的维度小于融合跨语言知识的词向量的维度时，将其他维度置为预设默认值，例如预设默认值可以是0。[0134]在操作s830，利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。[0135]本公开实施例提供的上述日志分析方法，通过利用上述日志分析模型训练方法，可以得到能够分析处理大量不同it设备、应用的海量日志数据；同时分析方法具有通用性，无需对不同日志进行分类，不关联应用部署架构；此外，上述日志分析方法自动化程度高，无需人员参与，减轻运维人员的工作压力，为更好的推行与践行智能运维打好基础。[0136]图9示意性示出了本公开实施例的日志分析模型训练装置的结构框图。[0137]如图9所示，该日志分析模型训练装置900包括生成模块910、预处理模块920、词向量生成模块930以及训练模块940。[0138]生成模块910，用于利用开源语料和日志语料，生成双语料对照词典；在一实施例中，生成模块910可以用于执行前文描述的操作s210，在此不再赘述。[0139]预处理模块920，用于对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示；在一实施例中，生成模块920可以用于执行前文描述的操作s220，在此不再赘述。[0140]词向量生成模块930，用于利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量；在一实施例中，生成模块930可以用于执行前文描述的操作s230，在此不再赘述。[0141]训练模块940，利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型；在一实施例中，生成模块940可以用于执行前文描述的操作s240，在此不再赘述。[0142]上述日志分析模型训练装置能够获得具有较高准确性、可靠性的日志分析模型。[0143]根据本公开实施例，上述日志分析模型训练装置900还包括验证模块和迭代处理模块。[0144]验证模块，用于根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数；[0145]迭代处理模块，用于定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。[0146]图10示意性示出了本公开实施例的日志分析装置的结构框图。[0147]如图10所示，该日志分析装置1000包括预处理模块1010、向量计算模块1020以及分析模块1030。[0148]预处理模块1010，对待分析的日志语料并进行预处理，得到日志向量，其中，日志向量包括词向量表示和字符向量表示；[0149]向量计算模块1020，用于对所述日志向量进行计算，得到计算后的日志向量，其中，计算后的日志向量与上述日志分析模型训练方法中的融合跨语言知识的词向量的维度相同。[0150]分析模块1030，利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。[0151]本公开实施例提供的上述日志分析装置能够降低对标注语料数量的依赖，能够使日志分析更便捷、分析结果更准确。[0152]图11示意性示出了根据本公开实施例的适于实现日志分析模型训练方法和日志分析方法的电子设备的方框图。[0153]如图11所示，根据本公开实施例的电子设备1100包括处理器1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。[0154]在ram1103中，存储有电子设备1100操作所需的各种程序和数据。处理器1101、rom1102以及ram1103通过总线1104彼此相连。处理器1101通过执行rom902和/或ram1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom1102和ram1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。[0155]根据本公开的实施例，电子设备1100还可以包括输入/输出(i/o)接口1105，输入/输出(i/o)接口1105也连接至总线1104。电子设备1100还可以包括连接至i/o接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。[0156]本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。[0157]根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom1102和/或ram1103和/或rom1102和ram1103以外的一个或多个存储器。[0158]本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的日志分析模型训练方法和日志分析方法。[0159]在该计算机程序被处理器1101执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。[0160]在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1109被下载和安装，和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。[0161]在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。[0162]根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0163]附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0164]本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。[0165]以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。当前第1页12当前第1页12
背景技术：
：：2.近年来，随着计算机技术的飞速发展，各类应用的运行日志发挥着日益重要的作用。由于互联网应用自身较高的要求限制且7*24小时不间断运行，所以及时获取应用运行的相关日志数据，并对日志进行及时分析非常重要。3.然而，现有技术中相关日志分析算法存在准确性低的问题。技术实现要素：4.鉴于上述问题，本公开提供了提高分析准确性的日志分析模型训练方法、装置、设备、介质和程序产品。5.本公开第一方面提供了一种日志分析模型训练方法，包括：6.利用开源语料和日志语料，生成双语料对照词典；7.对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示；8.利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量；9.利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型。10.根据本公开实施例，上述利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量包括：11.利用双语料对照词典，生成双语料词典表示；12.将双语料词典表示，日志语料词向量表示和日志语料字符向量表示进行向量拼接，得到融合跨语言知识的词向量。13.根据本公开实施例，上述利用双语料对照词典，生成双语料词典表示包括：14.将开源语料进行数据处理，生成带标签的开源语料；15.将带标签的开源语料与开源语料进行拼接，得到拼接开源语料向量；16.利用长短期记忆网络处理拼接开源语料向量，生成双语料词典表示。17.根据本公开实施例，上述利用双语料对照词典，生成双语料词典表示包括：18.获取日志语料序列和开源语料序列；19.通过前馈神经网络计算日志语料序列和开源语料序列的语义相关性；20.根据语义相关性，计算开源语料序列的权重；21.通过注意力机制网络处理开源语料序列和开源语料序列的权重，生成双语料词典表示。22.根据本公开实施例，上述日志分析模型训练方法还包括：23.根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数；24.定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。25.根据本公开实施例，上述预设评价指标由正确率和召回率确定；26.其中，正确率由真实正例和错误正例确定；27.其中，召回率由真实正例和错误负例确定。28.本公开第二方面提供了一种日志分析方法，包括：29.对待分析日志语料进行处理，得到日志向量，其中，日志向量由词向量表示和字符向量拼接而成；30.对日志向量进行计算，得到计算后的日志向量，其中，计算后的日志向量与上述日志分析模型训练方法中的融合跨语言知识的词向量的维度相同；31.利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。32.本公开第三方面提供了一种日志分析模型训练装置，包括：33.获取模块，用于利用开源语料和日志语料，生成双语料对照词典；34.预处理模块，用于对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示；35.词向量生成模块，用于利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量；36.训练模块，利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型。37.根据本公开实施例，上述装置还包括：38.验证模块，用于根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数；39.迭代处理模块，用于定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。40.本公开第四方面提供了一种日志分析装置，包括：41.获取模块，用于获取待分析的日志语料并进行预处理，获取日志向量，其中，日志向量包括词向量表示和字符向量表示；42.分析模块，利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。43.本公开第五方面提供了一种电子设备，包括：44.一个或多个处理器；45.存储装置，用于存储一个或多个程序，46.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述日志分析模型训练方法和日志分析方法。47.本公开第六方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述日志分析模型训练方法和日志分析方法。48.本公开第七方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述日志分析模型训练方法和日志分析方法。49.本公开的实施例利用开源语料作为额外辅助信息，通过双语料对照词典和日志语料获取融合跨语言知识的词向量，并利用融合跨语言知识的词向量训练日志分析模型，从而获得具有较高分析准确性和分析效率的日志分析模型。附图说明50.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：51.图1示意性示出了根据本公开实施例的日志分析模型训练方法和日志分析方法的应用场景图；52.图2示意性示出了根据本公开实施例的日志分析模型训练方法的流程图；53.图3示意性示出了本公开实施例的日志分析模型的结构图；54.图4示意性示出了根据本公开实施例生成融合跨语言知识的词向量的流程图；55.图5示意性示出了根据本公开实施例的基于lstm生成双语料词典表示的流程图；56.图6示意性示出了本公开实施例的基于注意力机制生成双语料词典表示的流程图；57.图7示意性示出了本公开实施例的双语料语言模型的结构图；58.图8示意性示出了本公开实施例的种日志分析方法的流程图；59.图9示意性示出了本公开实施例的日志分析模型训练装置的结构框图；60.图10示意性示出了本公开实施例的日志分析装置的结构框图；61.图11示意性示出了根据本公开实施例的适于实现日志分析模型训练方法和日志分析方法的电子设备的方框图。具体实施方式62.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。63.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。64.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。65.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。66.本公开涉及人工智能算法获取日志实施分析结果，从而帮助相关运维人员及时发现故障和定位故障。67.现有技术中对于各种应用产生的海量运行日志的分析算法存在许多问题，例如一般人工智能相关算法对标注语料要求较高，标注语料的规模与精度将直接影响分析结果的准确性，模型效果受到标注语料质量极大的限制；其次，目前人工标注的语料获取难度大，所费人工成本极高；再次，不同应用的日志格式不同，种类繁多，无法以统一的正则表达式进行切分；同时，现有日志多为非结构化文本，难以对关键数据及字段进行提取统计；最后，日志数据量爆炸式增长，日志分析速度难以进一步提升，限制了故障告警的速度。68.有鉴于此，本公开提供了一种日志分析模型训练方法、一种日志分析模型训练装置、一种日志分析方法及装置、设备、存储介质以及程序产品，可应用于大数据技术和人工时能领域。上述日志分析模型的训练方法，通过有效利用开源语料和日志语料，获得训练完成的日志分析模型，并利用上述日志分析模型对应用产生的各类运行日志进行分析，从而提升对日志识别的准确性，同时提高对日志分析的效率，节省运维成本。69.在本公开的技术方案中，所涉及的各种日志数据、网上的开源语料数据的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。70.图1示意性示出了根据本公开实施例的日志分析模型训练方法和日志分析方法的应用场景图。71.如图1所示，根据该实施例的应用场景100可以包括终端设备101、102、103、网络104以及服务器105、106、107。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。72.用户可以使用终端设备101、102、103通过网络104与服务器105、106、107交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。73.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。74.服务器105、106、107可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。75.需要说明的是，本公开实施例所提供的日志分析模型训练方法和日志分析方法一般可以由服务器105、106、107执行。相应地，本公开实施例所提供的日志分析模型训练系统和日志分析系统一般可以设置于服务器105、106、107中。本公开实施例所提供的日志分析模型训练方法和日志分析方法也可以由不同于服务器105、106、107且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的日志分析模型训练系统和日志分析系统也可以设置于不同于服务器105、106、107且能够与终端设备101、102、103和/或服务器105、106、107通信的服务器或服务器集群中。76.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。77.以下将基于图1描述的场景，通过图2～图8对本公开实施例的日志分析模型训练方法和日志分析方法进行详细描述。78.图2示意性示出了根据本公开实施例的日志分析模型训练方法的流程图。79.如图2所示，该日志分析模型训练方法包括操作s210～操作s240。80.在操作s210，利用开源语料和日志语料，生成双语料对照词典。81.上述开源语料可以通过网络获取，例如wordnet或conceptnet等。通过开源语料和日志语料，可以构建本地语料知识库，并对相关语料进行初步清洗和过滤，并根据相关数据格式的要求构建双语料对照词典。82.在操作s220，对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示。83.在操作s230，利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量。84.其中，上述双语料对照词典、日志语料词向量表示和日志语料字符向量表示通过进行向量运算，例如向量间的拼接，生成融合跨语言知识的词向量。85.在操作s240，利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型。86.本公开的实施例利用开源语料作为额外辅助信息，通过双语料对照词典和日志语料获取融合跨语言知识的词向量，并利用融合跨语言知识的词向量训练日志分析模型，从而获得具有较高分析准确性和分析效率的日志分析模型。87.上述双语料对照词典通过利用fastalign工具包对开源语料和日志语料进行训练，获取词语对齐模型，其中，上述词语对齐模型可以利用公式(1)和公式(2)描述：p(z|m)＝∑ap(a,z|m)(1)和其中，z＝{z1,z2,...,zj}表示开源语料输入序列，m＝{m1,m2,...,mi}表示日志语料输入序列，a表示句子z和m的对齐关系，p(aj/aj-1)为状态转移概率，p(zj/mai)代表到zj的对齐概率。88.根据本公开的实施例，获取双语料对照词典的流程可以包括如下操作：89.对alignment初始化，alignment将用于纪录对齐的各个点；定义各个相邻节点；同时，对表示矩阵初始化操作：表示矩阵为二维矩阵，两个维度分别代表源端和目标端的句长；查找对齐节点，将双向对齐的节点加入alignment，循环操作直至没有新的节点；对alignment遍历，查看该节点的相邻节点，若某一相邻节点单向对齐，同时这一点的源语或者目标语没有双向对齐，则将这一点加入alignment，对矩阵进行遍历；若有某个节点单向对齐且这一点的源语或目标语言没有双向对齐，则将该节点加入alignment。对对齐结果进行数据清洗、筛选和过滤，获得双语料对照词典。其中，双语料对照词典如表1所示。90.表1双语料对照词典示例91.开源语料日志语料fusionstorefsinternetprotocolipinfoinferrorerr92.图3示意性示出了本公开实施例的日志分析模型的结构图。93.如图3所示，本公开实施例提供的日志分析模型训练方法，利用基于多头部自注意力机制的日志分析模型处理融合跨语言知识的词向量，输出日志分析结果。该日志分析模型包括嵌入层、转换层(transformer)和条件随机场。在嵌入层处理阶段，该日志分析模型利用自注意力机制处理输入的日志字符向量，获得多个中间多头部向量；上述中间多头部向量经过自注意力机制进行特征提取，得到多个字符向量特征；将提取的字符向量特征、双语料词典表示和词向量表示进行向量拼接，得到多个拼接向量；将上述得到的拼接向量输入到转换层，利用自注意力机制进行处理，获得多个多头部向量；将上述多头部向量输入到条件随机场进行处理，获得相应的日志分析结果，其中日志分析结果包括多个，例如图3所示的b-per、m-per、e-per等等。通过本公开是实施例公开的日志分析模型训练方法不断训练上述日志分析模型，可以得到训练好的日志分析模型。94.图4示意性示出了根据本公开实施例生成融合跨语言知识的词向量的流程图。95.如图4所示，该生成融合跨语言知识的词向量方法包括操作s410～操作s420。96.在操作s410，利用双语料对照词典，生成双语料词典表示。97.在操作s420，将双语料词典表示，日志语料词向量表示和日志语料字符向量表示进行向量拼接，得到融合跨语言知识的词向量。98.本公开实施例所提供的生成融合跨语言知识的词向量方法能够得到包括多种向量的融合跨语言知识的词向量，从而在后续的日志分析模型中提供多维度、高知识量的开源语料和日志语料。99.在获取双语料词典表示的过程中，将双语料词典构建为一个日志词对应一个或多个开源语料词的形式，即给定一个日志语料序列记为x＝{x1,x2,…,xi,…,xn}，开源语料序列记为t＝{t1,t2,…,ti,…,tn}，每一个xi对应多个ti。这样设置可以将开源语料视作高资源语言，用更多更丰富的词义表示对日志向量语义扩充。为了更充分地获取海量开源语料词语中的语义信息，所有的词都使用神经网络进行训练。100.图5示意性示出了根据本公开实施例的基于lstm生成双语料词典表示的流程图。101.如图5所示，该基于lstm生成双语料词典表示包括操作s510～操作s530。102.在操作s510，将开源语料进行数据处理，生成带标签的开源语料。103.在操作s520，将带标签的开源语料与开源语料进行拼接，得到拼接开源语料向量。104.在操作s530，利用长短期记忆网络处理拼接开源语料向量，生成双语料词典表示。105.上述生成双语料词典表示的方法基于长短期记忆网络(lstm，longshorttermmemory)进行训练，假设一个日志词语xi对应多个开源语料中的词语，记为tj，首先为所有的开源语料中的词语向量加入标签信息(pos-tag)，记为pj，双语料词典中没有标签信息，因此在本文中每一个标签是由随机初始化生成的，在模型训练过程中进行优化。将每一个tj与对应的位置向量进行拼接，以[tj,pj]的形式输入双向lstm神经网络进行训练,提取特征后获得的输出向量与日志词向量、日志字符向量进行拼接。[0106]图6示意性示出了本公开实施例的基于注意力机制生成双语料词典表示的流程图。[0107]如图6所示，该基于注意力机制生成双语料词典表示包括操作s610～操作s640。[0108]在操作s610，获取日志语料序列和开源语料序列。[0109]在操作s620，通过前馈神经网络计算日志语料序列和开源语料序列的语义相关性。[0110]在操作s630，根据语义相关性，计算开源语料序列的权重。[0111]在操作s640，通过注意力机制网络处理开源语料序列和开源语料序列的权重，生成双语料词典表示。[0112]上述生成双语料对照词典表示的方法基于注意力机制，假设一个日志词语xi对应多个开源语料中的词语，记为tj，由于xi对应的多个tj中，tj的出现概率都不相同，对日志正确语义表示的能力也不相同，因此有必要使用注意力机制对双语词典进行建模。将经过注意力机制训练后的输出向量记为vec，计算过程如公式(3)和公式(4)所示：和∑jaj＝1(4)，其中，aj∈[0,1]，代表tj的权重，l是存储单元大小。每一个开源语料词tj都将被输入前馈神经网络来计算其与日志词xi语义相关性，上述语义相关性由公式(5)确定：gj＝tanh(wattxi uatttj batt)(5)；获得每一个语义相关性之后，最后获得a的计算方法如公式(6)：[0113]图7示意性示出了本公开实施例的双语料语言模型的结构图。[0114]如图7所示，本公开所提供的双语料语言模型包含了双语料知识的向量化表示(embeddingwithcrossknowledge)veci，用于根据双语料对照词典(bi-lexiconrepresentation)veci、日志语料词向量表示(wordembeddingrepresentation)wi和日志语料字符向量表示(characterembeddingrepresentation)ci生成融合跨语言知识的词向量(embeddingwithcrossknowledge)。其中，在根据双语料对照词典生成双语料词典表示过程中，可以选择基于lstm或者选择基于注意力机制的生成双语料词典表示。其中，生成基于注意力机制的双语料词典表示的方法用于处理不带标签的开源语料词向量表示和日志语料词向量表示，由于日志语料词向量wi与开源语料词向量tj表示存在着一对多的关系(如图7所示，wi与tj-2、tj-1、tj、tj 1相对应)，首先需要进行系数调整，通过对不带标签的开源语料词向量表示和日志语料词向量进行系数运算并经过注意力机制处理后，可以得到基于注意力机制的双语料词典表示。生成基于lstm的双语料词典表示的方法用于处理带标签的开源语料词向量表示和不带标签开源语料词向量表示；首先将带标签的开源语料词向量表示和不带标签开源语料词向量表示进行向量拼接，将拼接后的向量输入到lstm中，经过lstm进行处理后，得到基于lstm的双语料词典表示。经过基于注意力机制或lstm处理后得到的双语料词典表示veci，再经过与日志语料词向量表示wi和日志语料字符向量表示ci进行向量拼接，就得到融合跨语言知识的词向量。[0115]根据本公开实施例，上述日志分析模型训练方法还包括：[0116]根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数。[0117]使用验证语料对模型的准确性进行验证，验证方法为：预先准备好标准的验证语料，带有准确的标注结果，将验证集语料作为已训练好的模型的输入，比较模型输出的结果是否与标准结果一致。[0118]定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。[0119]根据本公开实施例，上述预设评价指标由正确率和召回率确定；[0120]其中，正确率由真实正例和错误正例确定；[0121]其中，召回率由真实正例和错误负例确定。[0122]准确率可以评估所有被标注的词中正确被标注的命名实体所占比例大小。召回率是指输入的所有词中标注正确的命名实体。从准确率和召回率的概念中，可以知道准确率和召回率越高，命名实体识别的效果越好，但是在实际应用中经常会出现准确率高而召回率低，或者召回率高，准确率低的情况。因此需要f1值(f1-score)综合这两者的结果，进而可以更直观地了解到整体命名实体识别的效果。[0123]prf(准确率：precision、召回率：recall和f1值)评价指标使用如下四个基础指标：(1)tp：truepositive，指命名实体识别之后获得的标注序列中与正确标注完全匹配的命名实体；(2)fn：falsenegative，指实际应该被标注为命名实体，但模型未将其标注的实体；(3)fp：falsepositive，指命名实体识别之后有标注但与正确标注不相符的命名实体；(4)tn：truenegative，指模型未识别，实际上也不应该识别的错误词，其中表2表示混淆矩阵。[0124]表2混淆矩阵[0125]tableconfusionmatrix[0126][0127]由此可以获得prf的计算公式分别如公式(7)、公式(8)和公式(9)所示：和[0128]由于f1值将准确率与召回率综合，更具有比较价值和意义，因此命名实体识别任务在对模型进行评价时中更看重f1值的大小。[0129]图8示意性示出了本公开实施例的种日志分析方法的流程图。[0130]如图8所示，该日志分析方法包括操作s810～操作s830。[0131]在操作s810，对待分析日志语料进行处理，得到日志向量，其中，日志向量由词向量表示和字符向量拼接而成。[0132]在操作s820，对日志向量进行计算，得到计算后的日志向量，其中，计算后的日志向量与上述日志分析模型训练方法中的融合跨语言知识的词向量的维度相同。[0133]预处理后的日志向量的维度与本公开实施例的日志分析模型训练方法中的融合跨语言知识的词向量的维度相同，当上述预处理后的日志向量的维度小于融合跨语言知识的词向量的维度时，将其他维度置为预设默认值，例如预设默认值可以是0。[0134]在操作s830，利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。[0135]本公开实施例提供的上述日志分析方法，通过利用上述日志分析模型训练方法，可以得到能够分析处理大量不同it设备、应用的海量日志数据；同时分析方法具有通用性，无需对不同日志进行分类，不关联应用部署架构；此外，上述日志分析方法自动化程度高，无需人员参与，减轻运维人员的工作压力，为更好的推行与践行智能运维打好基础。[0136]图9示意性示出了本公开实施例的日志分析模型训练装置的结构框图。[0137]如图9所示，该日志分析模型训练装置900包括生成模块910、预处理模块920、词向量生成模块930以及训练模块940。[0138]生成模块910，用于利用开源语料和日志语料，生成双语料对照词典；在一实施例中，生成模块910可以用于执行前文描述的操作s210，在此不再赘述。[0139]预处理模块920，用于对日志语料进行预处理，得到日志语料词向量表示和日志语料字符向量表示；在一实施例中，生成模块920可以用于执行前文描述的操作s220，在此不再赘述。[0140]词向量生成模块930，用于利用双语料对照词典、日志语料词向量表示和日志语料字符向量表示，生成融合跨语言知识的词向量；在一实施例中，生成模块930可以用于执行前文描述的操作s230，在此不再赘述。[0141]训练模块940，利用融合跨语言知识的词向量训练待训练的日志分析模型，获得训练完成的日志分析模型；在一实施例中，生成模块940可以用于执行前文描述的操作s240，在此不再赘述。[0142]上述日志分析模型训练装置能够获得具有较高准确性、可靠性的日志分析模型。[0143]根据本公开实施例，上述日志分析模型训练装置900还包括验证模块和迭代处理模块。[0144]验证模块，用于根据预设评价指标，利用验证语料验证日志分析模型，获取日志分析模型的评价分数；[0145]迭代处理模块，用于定期迭代执行训练过程和验证操作，从多个日志分析模型中获取评价分数最高的日志分析模型。[0146]图10示意性示出了本公开实施例的日志分析装置的结构框图。[0147]如图10所示，该日志分析装置1000包括预处理模块1010、向量计算模块1020以及分析模块1030。[0148]预处理模块1010，对待分析的日志语料并进行预处理，得到日志向量，其中，日志向量包括词向量表示和字符向量表示；[0149]向量计算模块1020，用于对所述日志向量进行计算，得到计算后的日志向量，其中，计算后的日志向量与上述日志分析模型训练方法中的融合跨语言知识的词向量的维度相同。[0150]分析模块1030，利用日志分析模型处理日志向量，获取日志分析结果，其中，日志分析模型根据上述日志分析模型训练方法训练得到。[0151]本公开实施例提供的上述日志分析装置能够降低对标注语料数量的依赖，能够使日志分析更便捷、分析结果更准确。[0152]图11示意性示出了根据本公开实施例的适于实现日志分析模型训练方法和日志分析方法的电子设备的方框图。[0153]如图11所示，根据本公开实施例的电子设备1100包括处理器1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。[0154]在ram1103中，存储有电子设备1100操作所需的各种程序和数据。处理器1101、rom1102以及ram1103通过总线1104彼此相连。处理器1101通过执行rom902和/或ram1103中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom1102和ram1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。[0155]根据本公开的实施例，电子设备1100还可以包括输入/输出(i/o)接口1105，输入/输出(i/o)接口1105也连接至总线1104。电子设备1100还可以包括连接至i/o接口1105的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。[0156]本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。[0157]根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom1102和/或ram1103和/或rom1102和ram1103以外的一个或多个存储器。[0158]本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的日志分析模型训练方法和日志分析方法。[0159]在该计算机程序被处理器1101执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。[0160]在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1109被下载和安装，和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。[0161]在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。[0162]根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0163]附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。[0164]本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。[0165]以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
