一种异常日志的数据处理方法、系统及设备与流程

1.本发明涉及故障处理技术领域，尤其涉及一种异常日志的数据处理方法、系统及设备。


背景技术：

2.在系统或小程序上，一般对异常/故障的处理方式包括：一是由业务/客服收到异常/故障通知(如客诉)后，再通知到开发人员对此进行处理；二是系统或小程序采用异常/故障通知邮件通知到开发人员，开发人员对此进行处理；三是技术人员在系统或小程序的日志平台上采集异常日志并将人工分类后的异常日志推送给具体的开发人员进行处理。
3.上述对异常/故障处理的方式存在以下问题：一是比较被动，开发人员往往是在收到第三方反馈之后才得知异常/故障；二是时效性不好，开发人员往往不会及时关注邮件上的通知，且异常/故障通知邮件并没有告知开发人员具体的故障原因，导致故障处理效率低；三是异常日志无法精准地自动推送到负责具体业务的开发人员。


技术实现要素：

4.本发明实施例提供了一种异常日志的数据处理方法、系统及设备，用于解决现有技术对系统或小程序中的异常/故障处理效率低、时效性差、且无法将异常日志自动精准地反馈给具体的处理人员的技术问题。
5.为了实现上述目的，本发明实施例提供如下技术方案：
6.一种异常日志的数据处理方法，应用于系统或小程序上，包括以下步骤：
7.实时获取异常日志的日志数据；
8.对所述日志数据进行格式化处理，得到异常日志的堆栈信息；
9.对异常日志的所述堆栈信息进行标识，在设定时间内统计该标识的参数数值；
10.根据异常日志的所述堆栈信息的前三个信息进行业务匹配，得到与所述日志数据对应的业务类别；
11.根据所述业务类别将对应的所述堆栈信息和所述参数数值传送至处理人员。
12.优选地，对所述日志数据进行格式化处理，得到异常日志的堆栈信息包括：采用循环遍历对所述日志数据进行处理，得到以预设格式排列的堆栈信息。
13.优选地，所述堆栈信息包括：获取日志数据的方式名称、入参参数和异常描述。
14.优选地，对异常日志的所述堆栈信息进行标识，在设定时间内统计该标识的参数数值包括：
15.将标识的所述堆栈信息作为key，key的初始值为1，并将key存储至存储器中；
16.在设定时间内，若获取相同的日志数据，则更新key的数值，得到在设定时间内统计该标识的参数数值；
17.其中，每获取一次相同的日志数据，key的数值加1。
18.优选地，根据异常日志的所述堆栈信息的前三个信息进行业务匹配，得到与所述
日志数据对应的业务类别具体为：根据所述堆栈信息的第三个信息进行分类，得到与日志数据对应的业务类别。
19.优选地，该异常日志的数据处理方法包括：根据所述业务类别将对应的所述堆栈信息通过邮件或短信方式传送至处理人员。
20.优选地，该异常日志的数据处理方法包括：从系统或小程序的数据接口上实时获取日志数据。
21.本发明还提供一种异常日志的数据处理系统，应用于系统或小程序上，包括数据获取模块、格式处理模块、标识模块、分配模块和信息传递模块；
22.所述数据获取模块，用于实时获取异常日志的日志数据；
23.所述格式处理模块，用于对所述日志数据进行格式化处理，得到异常日志的堆栈信息；
24.所述标识模块，用于对所述堆栈信息进行标识，在设定时间内统计该标识的参数数值；
25.所述分配模块，用于根据所述堆栈信息的前三个信息进行业务匹配，得到与所述日志数据对应的业务类别；
26.所述信息传递模块，用于根据所述业务类别将对应的所述堆栈信息和所述参数数值传送至处理人员。
27.优选地，所述格式处理模块还用于采用循环遍历对所述日志数据进行处理，得到以预设格式排列的堆栈信息；所述堆栈信息包括：获取日志数据的方式名称、入参参数和异常描述；
28.所述标识模块还用于将标识的所述堆栈信息作为key，key的初始值为1，并将key存储至存储器中；在设定时间内，若获取相同的日志数据，则更新key的数值，得到在设定时间内统计该标识的参数数值；
29.其中，每获取一次相同的日志数据，key的数值加1。
30.本发明还提供一种异常日志的数据处理设备，包括处理器以及存储器；
31.所述存储器，用于存储程序代码，并将所述程序代码传输给所述处理器；
32.所述处理器，用于根据所述程序代码中的指令执行上述所述的异常日志的数据处理方法。
33.从以上技术方案可以看出，本发明实施例具有以下优点：该异常日志的数据处理方法、系统及设备，该方法包括：实时获取异常日志的日志数据；对日志数据进行格式化处理，得到异常日志的堆栈信息；对异常日志的堆栈信息进行标识，在设定时间内统计该标识的参数数值；根据异常日志的堆栈信息的前三个信息进行业务匹配，得到与日志数据对应的业务类别；根据业务类别将对应的堆栈信息和参数数值传送至处理人员。通过该异常日志的数据处理方法能够实时得到堆栈信息和参数数值，堆栈信息和参数数值可以反映异常日志中记载异常/故障的细节(例如异常/故障的类型、异常/故障发生的频次等)，将此传送至处理人员，便于处理人员及时接收异常日志并依据堆栈信息和参数数值来处理系统或小程序中的异常/故障，提高了异常/故障的处理效率以及处理异常日志的时效性，解决了现有技术对系统或小程序中的异常/故障处理效率低、时效性差、且无法将异常日志自动精准地反馈给具体的处理人员的技术问题。
附图说明
34.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
35.图1为本发明实施例所述的异常日志的数据处理方法的步骤流程图；
36.图2为本发明实施例所述的异常日志的数据处理方法的堆栈信息图；
37.图3为本发明实施例所述的异常日志的数据处理方法的匹配分类图；
38.图4为本发明实施例所述的异常日志的数据处理系统的框架图。
具体实施方式
39.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
40.本技术实施例提供了一种异常日志的数据处理方法、系统及设备，用于解决了现有技术对系统或小程序中的异常/故障处理效率低、时效性差、且无法将异常日志自动精准地反馈给具体的处理人员的技术问题。
41.实施例一：
42.图1为本发明实施例所述的异常日志的数据处理方法的步骤流程图。
43.如图1所示，本发明实施例提供了一种异常日志的数据处理方法，应用于系统或小程序上，包括以下步骤：
44.s1.实时获取异常日志的日志数据。
45.在本实施例中，可以实时获取系统或小程序上异常日志的日志数据，例如可以通过系统或小程序内置的数据采集平台筛选出记载有异常数据的日志文件作为异常日志的日志数据。其中，系统可以为用户购买商品的网页平台系统、也可以为app运营系统；小程序可以为微信小程序、支付宝小程序或app小程序。
46.在本实施例的具体实现方式中，从系统或小程序上实时获取日志异常数据可以通过两种方式获得，一种方式是通过在系统或小程序的数据接口上实时获取日志异常数据；另一种方式是通过在系统或小程序的存储数据中获取，例如从开发技术人员指定的存储路径中获取。
47.需要说明的是，数据接口可以为通讯接口，也可以为连接接口。
48.在本发明实施例中，获取的日志数据是通过数组结构形式呈现。
49.s2.对日志数据进行格式化处理，得到异常日志的堆栈信息。
50.需要说明的是，主要是对步骤s1获取的日志数据进行格式化处理，得到以预设格式排列数据的堆栈信息，为后续步骤s3和步骤s4提供支撑数据。堆栈信息可以包括：获取日志数据的方式名称、入参参数和异常描述等。
51.s3.对堆栈信息进行标识，在设定时间内统计该标识的参数数值。
52.需要说明的是，本实施例主要是根据步骤s2的堆栈信息进行标识，便于某个时间段内统计重复发生同类异常的次数，并将该次数作为参数数值。在本实施例中，设定时间可以为5分钟，也可以为10分钟，该时间可以根据需求设置，本实施例不作具体的限定。
53.s4.根据堆栈信息的前三个信息进行业务匹配，得到与日志数据对应的业务类别。
54.需要说明的是，主要是根据步骤s2得到堆栈信息以及步骤s3得到每个异常日志在设定时间内重复发生的次数(即参数数值)，将日志数据按照其堆栈信息进行业务分类，确定日志数据的业务类别，以便于按照业务类别再次确定异常日志与技术人员的规则匹配。其中，具体的业务分类是依据堆栈信息的前三个信息进行业务匹配，在一个示例中，堆栈信息的前三个信息可以用于表示日志数据的来源，第一信息和第二个信息可以用于定义日志数据的接口类别，第三个信息可以用于定义不同接口所传递的数据类型(例如各个类别的业务数据)。
55.s5.根据业务类别将对应的堆栈信息和参数数值传送至处理人员。
56.需要说明的是，主要将日志数据以及参数数值传送至处理人员，参数数值传送给处理人员，说明这个日志发生故障的频率，进一步提醒处理人员及时处理这个日志的故障，便于处理人员及时对日志数据进行处理，提高处理效率。在本实施例中，处理人员可以为系统或小程序的技术人员，也可以为系统或小程序的运维人员等。
57.在本发明实施例中，该异常日志的数据处理方法根据业务类别将对应的堆栈信息通过邮件或短信方式传送至处理人员。
58.需要说明的是，在系统或小程序上，将业务类别与对应的处理人员的地址绑定，便于将异常日志的堆栈信息通过邮件或短信方式传送至处理人员。其中，地址为给处理人员推送日志通知的目标地址。
59.本发明提供的一种异常日志的数据处理方法，包括：实时获取异常日志的日志数据；对日志数据进行格式化处理，得到异常日志的堆栈信息；对异常日志的堆栈信息进行标识，在设定时间内统计该标识的参数数值；根据异常日志的堆栈信息的前三个信息进行业务匹配，得到与日志数据对应的业务类别；根据业务类别将对应的堆栈信息和参数数值传送至处理人员。通过该异常日志的数据处理方法能够实时得到堆栈信息和参数数值，堆栈信息和参数数值可以反映异常日志中记载异常/故障的细节(例如异常/故障的类型、异常/故障发生的频次等)，将此传送至处理人员，便于处理人员及时接收异常日志并依据堆栈信息和参数数值来处理系统或小程序中的异常/故障，提高了异常/故障的处理效率以及处理异常日志的时效性，解决了现有技术对系统或小程序中的异常/故障处理效率低、时效性差、且无法将异常日志自动精准地反馈给具体的处理人员的技术问题。
60.在本发明的一个实施例中，对日志数据进行格式化处理，得到异常日志的堆栈信息包括：采用循环遍历对日志数据进行处理，得到以预设格式排列的堆栈信息。其中，堆栈信息包括：获取日志数据的方式名称、入参参数和异常描述等。具体的，获取日志数据的方式名称可以是指获取该日志数据的接口的方式名称(即接口方式名称)，也可以是指该日志数据所来源的数据采集平台的域名(即平台方式名称)，还可以是该日志数据在传输数据过程中所涉及的协议的方法名称(即协议方式名称)，等等，本实施例对获取日志数据的方式名称的具体内容不作限定。本实施例中的入参参数可以是读取当前日志数据所需要的请求参数，也可以是标识当前日志数据的接口输入参数，等等，本实施例对入参参数的具体内容
不作限定。
61.图2为本发明实施例所述的异常日志的数据处理方法的堆栈信息图。
62.需要说明的是，在一种具体的实现方式中，针对日志数据格式化处理后所得到的堆栈信息(如图2所示)，可以提取该堆栈信息中第一行数据进行标识，并作为当前日志数据的唯一标识，这一行数据可以包含接口方式名称、入参参数、异常描述等。如图2所示，格式化之后日志的堆栈信息：“com.miniso.activities.controller.volumeactivitycontroller#detail”代表了异常日志发生时所在接口的接口方式名称、“入参[43]”代表当前日志数据的入参参数、“未登录，请登录”代表异常日志的异常描述。在该实现方式中，可以采用循环遍历具有这类数组结构的日志数据。其中，上述数组结构中的每个元素即可以理解为一行日志，将每一行日志用字符串的形式拼接起来，在行首用空格做缩进，在行尾加上’\n’即可换行，如此循环可得到如图2所示的堆栈信息。且堆栈信息循环遍历得到的每一行日志内容，将堆栈信息中的第一行日志内容作为标识。
[0063]
在本发明的一个实施例中，对堆栈信息进行标识，在设定时间内统计该标识的参数数值包括：
[0064]
将标识的堆栈信息作为key，key的初始值为1，并将key存储至存储器中；
[0065]
在设定时间内，若获取相同的日志数据，则更新key的数值，得到在设定时间内统计该标识的参数数值；
[0066]
其中，每获取一次相同的日志数据，key的数值加1。
[0067]
需要说明的是，存储器可以为系统或小程序中的redis数据库。将堆栈信息中标识作为key，将堆栈信息的key放入redis缓存中，key对应的初始值value＝1，这个值代表这个key发生的次数。在设定时间内，当系统或小程序再次产生一样的异常日志，再次更新redis中key对应的值value加1，即此时value＝2，即每发生一次相同的异常日志，统计异常日志累计发生的次数，即是参数数值。还将redis中这个key的过期时间设置为10分钟，即是当异常日志第一次产生后开始计时，在10分钟后缓存的参数数值会自动过期并从缓存中清除。过期时间可以根据需求自行设置，过期时间大于设定时间。
[0068]
图3为本发明实施例所述的异常日志的数据处理方法的匹配分类图。
[0069]
如图3所示，在本发明的一个实施例中，根据堆栈信息的前三个信息进行业务匹配，得到与日志数据对应的业务类别具体为：根据堆栈信息的第三个信息进行分类，得到与日志数据对应的业务类别。
[0070]
需要说明的是，格式化后的堆栈信息和redis中存储的每个异常日志在设定时间内发生的次数(参数数值)。基于异常日志的堆栈信息的第三个信息对异常日志进行业务分类，便于进行业务与处理人员的规则匹配。其中统计异常日志的次数是为了协助处理人员更好的了解异常日志发生的趋势，例如掌握异常日志出现的频次和时间段，以便做出相对应的决策和措施。本实施例中的异常日志的数据处理方法能够实现将异常日志的堆栈信息和参数数据精准推送到相关业务的技术负责人，提高处理人员的效率以及确保处理异常日志时效性。
[0071]
在一个具体示例中，规则匹配关系如图3所示，提取堆栈信息中唯一标识的前三个信息，前三个信息中的第一个信息和第二个信息可以为获取日志数据的接口类别(如图3所示的com.miniso)，第三个信息可以为业务类别(如图3所示的activity/order/cart/
product)，提取堆栈信息中唯一标识的前三个信息作为用于传输异常日志的接口的分类组(如图3所示的接口分类)，可以在系统/小程序每次产生异常日志时能够准确匹配出日志所归属的业务和对应的处理人员，具体可以是根据堆栈信息中的第三个信息将异常日志、业务类别以及处理人员(或开发人员)进行匹配绑定，实现异常日志与对应处理人员进行对应匹配，方便后续的精确推送，以帮助处理人员提高处理系统/小程序故障或异常的处理效率。
[0072]
实施例二：
[0073]
图4为本发明实施例的异常日志的数据处理系统的框架图。
[0074]
如图4所示，本发明实施例还提供一种异常日志的数据处理系统，应用于系统或小程序上，包括数据获取模块10、格式处理模块20、标识模块30、分配模块40和信息传递模块50；
[0075]
数据获取模块10，用于实时获取异常日志的日志数据；
[0076]
格式处理模块20，用于对日志数据进行格式化处理，得到异常日志的堆栈信息；
[0077]
标识模块30，用于对堆栈信息进行标识，在设定时间内统计该标识的参数数值；
[0078]
分配模块40，用于根据堆栈信息的前三个信息进行业务匹配，得到与日志数据对应的业务类别；
[0079]
信息传递模块50，用于根据业务类别将对应的堆栈信息和参数数值传送至处理人员。
[0080]
在本发明实施例中，格式处理模块20还用于采用循环遍历对日志数据进行处理，得到以预设格式排列的堆栈信息；堆栈信息包括：获取日志数据的方式名称、入参参数和异常描述；
[0081]
标识模块30还用于将标识的堆栈信息作为key，key的初始值为1，并将key存储至存储器中；在设定时间内，若获取相同的日志数据，则更新key的数值，得到在设定时间内统计该标识的参数数值；
[0082]
其中，每获取一次相同的日志数据，key的数值加1。
[0083]
需要说明的是，实施例二系统中的模块对应于实施例一方法中的步骤，实施例一方法的步骤内容已在实施例一中详细阐述了，在此实施例二中不再对模块的内容进行详细阐述。
[0084]
实施例三：
[0085]
本发明实施例提供了一种异常日志的数据处理设备，包括处理器以及存储器；
[0086]
存储器，用于存储程序代码，并将程序代码传输给处理器；
[0087]
处理器，用于根据程序代码中的指令执行上述的异常日志的数据处理方法。
[0088]
需要说明的是，处理器用于根据所程序代码中的指令执行上述的一种异常日志的数据处理方法实施例中的步骤。或者，处理器执行计算机程序时实现上述各系统/装置实施例中各模块/单元的功能。
[0089]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本技术。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
[0090]
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0091]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0092]
存储器可以是终端设备的内部存储单元，例如终端设备的硬盘或内存。存储器也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及终端设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0093]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0094]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0095]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0096]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0097]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0098]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。