一种基于高效分析的服务处理方法与流程
- 国知局
- 2024-10-09 14:40:03
本发明涉及服务处理,具体为一种基于高效分析的服务处理方法。
背景技术:
1、随着互联网技术的日益发展,个人及企业产生的数据量不断增大,进行数据处理服务的难度也越来越大,不仅需要有处理大规模数据的能力,同时还要满足尽量降低数据响应延时。为了提升对大批次数据流服务处理的能力,提升数据传输效率,流处理技术应运而生。流处理和批处理都是处理数据时的常用手段,与流处理相比,批处理通常处理非在线数据、冷数据、大量单次处理数据,处理速度慢于流处理。流处理以在线和实时生成的数据为目标,一次处理的数据量很小,但处理延时更低。流处理技术带来的大规模数据量也给数据中心带来了严峻的计算压力,数据中心往往不能及时产生所需的计算结果,从而严重影响互联网数据处理服务。因此,设计智能控制管理及效率高的一种基于高效分析的服务处理方法是很有必要的。
技术实现思路
1、本发明的目的在于提供一种基于高效分析的服务处理方法,以解决上述背景技术中提出的问题。
2、为了解决上述技术问题,本发明提供如下技术方案:一种基于高效分析的服务处理方法,包括:
3、进行互联网服务处理系统的流量识别及拆分转换处理;
4、对互联网服务处理系统进行回显应答控制;
5、进行互联网服务处理系统的分析控制管理;
6、进行互联网服务处理系统的调查传输处理;
7、所述进行互联网服务处理系统的流量识别及拆分转换处理包括:
8、从以太网数据包中按数据包头部分割流量,剥离数据完成数据流量识别处理后,通过状态机控制数据流的传输处理,状态机的三个状态分别是头部处理、数据转发及数据丢弃,头部处理状态中的数据包含以太网头部信息,在处理时首先会获取以太网头部中的类型字段,若该类型字段为arp,则将tdest信号设置为0,若类型字段为ipv4且ip版本号字段为4,进行协议类型判断,将icmp类型的tdest信号设置为1,tcp类型的tdest设置为2,udp设置为3;
9、在进行流量识别处理过程中,进入头部处理状态后首先判断数据包类型是否为arp,由于arp在处理时需要以太网头部中的mac地址信息,所以arp格式的数据包需要保留以太网头部进行转发,直接进入数据转发状态,其他类型的数据包需要移除以太网头部,处理时直接将以太网头部后的数据存储到转发变量中,并视为数据进行了设定长度的偏移,在头部处理状态的最后要通过数据包的last信号判断是否到达了数据包末尾,若未达到数据包结尾,则下一个状态为数据消除状态,否则重新进入头部处理状态。
10、根据上述技术方案,所述对互联网服务处理系统进行回显应答控制包括:
11、对互联网服务处理系统中数据包进行读取时,从ip字段中读取目的ip地址,从icmp头部读取icmp类型字段、icmp代码字段,并分析得到icmp报文检验和,同时增加ip头部8位一组反向重排操作。
12、根据上述技术方案,所述进行互联网服务处理系统的分析控制管理包括:
13、将互联网服务处理系统的数据表存储在fpga内部,为数据表分配内部ddr4空间,并进一步配置xdma访存方式,通过pcie通道读取fpga内部ddr4空间内的数据,且在fpga建立一个快表,使用端口号后5位构建一个32长度的数据表,存储socket表的表id信息,因此在配置完成后便可以直接通过端口号定位到socket表项,省去了循环遍历操作。
14、根据上述技术方案,所述进行互联网服务处理系统的分析控制管理进一步包括:
15、设计udp内自定义数据段格式,除了原始的udp头外,进一步新增包序号、子包数量、当前子包序号与时间戳字段,在数据发送时,对于超过9000字节的数据包采取分包发送,在分包发送时包序号设置为同一值,子包序号依次递增,并通过使用缓存表进一步完成多包缓存;
16、控制信道从节点主机的nodemanager结构与主节点的控制信息交互通道,完成系统中主从节点间的信息传输。
17、根据上述技术方案,所述进行互联网服务处理系统的调查传输处理包括:
18、在用户使用互联网服务处理系统过程中,向用户发布调查问卷,进行用户意见信息的采集调查;
19、将用户采集调查信息传输至工作台,使系统的后续优化更符合用户需求。
20、根据上述技术方案,一种基于高效分析的服务处理系统,包括:
21、识别处理模块,用于进行互联网服务处理系统的识别处理;
22、分析管理模块,用于进行互联网服务处理系统的分析优化管理;
23、调查传输模块,用于进行用户意见信息的调查传输。
24、根据上述技术方案,所述识别处理模块包括:
25、流量识别模块,用于进行互联网服务处理系统户数流量的识别处理;
26、拆分转换模块,用于进行数据包的拆分转换控制;
27、回显应答模块,用于进行数据包读取的回显应答管理。
28、根据上述技术方案,所述分析管理模块包括:
29、配置处理模块,用于进行互联网服务处理系统的fpga配置处理;
30、多包缓存模块,用于进行互联网服务处理系统的多包缓存控制;
31、传输控制模块,用于进行节点间数据信息的传输控制管理。
32、根据上述技术方案,所述调查传输模块包括:
33、服务调查模块,用于进行用户的意见信息的服务调查;
34、传输处理模块,用于进行数据信息的传输控制处理。
35、与现有技术相比,本发明所达到的有益效果是:本发明,通过设置有识别处理模块、分析管理模块与调查传输模块,使数据传输服务处理更加高效,有效提升数据服务处理准确性与稳定性,同时可提升系统数据分析处理效率,避免分析处理误差的产生,在满足系统的高速数据读取需求下又可以配置为通过pcie的外部访存形式,有效提升系统的运行服务质量。
技术特征:1.一种基于高效分析的服务处理方法,其特征在于:包括:
2.根据权利要求1所述的一种基于高效分析的服务处理方法,其特征在于:所述对互联网服务处理系统进行回显应答控制包括:
3.根据权利要求1所述的一种基于高效分析的服务处理方法,其特征在于:所述进行互联网服务处理系统的分析控制管理包括:
4.根据权利要求1所述的一种基于高效分析的服务处理方法,其特征在于:所述进行互联网服务处理系统的分析控制管理进一步包括:
5.根据权利要求1所述的一种基于高效分析的服务处理方法,其特征在于:所述进行互联网服务处理系统的调查传输处理包括:
6.一种基于高效分析的服务处理系统,其特征在于:包括:
7.根据权利要求6所述的一种基于高效分析的服务处理系统,其特征在于:所述识别处理模块包括:
8.根据权利要求6所述的一种基于高效分析的服务处理系统,其特征在于:所述分析管理模块包括:
9.根据权利要求6所述的一种基于高效分析的服务处理系统,其特征在于:所述调查传输模块包括:
技术总结本发明公开了一种基于高效分析的服务处理方法,包括:进行互联网服务处理系统的流量识别及拆分转换处理;对互联网服务处理系统进行回显应答控制;进行互联网服务处理系统的分析控制管理;进行互联网服务处理系统的调查传输处理;所述进行互联网服务处理系统的流量识别及拆分转换处理包括:从以太网数据包中按数据包头部分割流量,剥离数据完成数据流量识别处理后,通过状态机控制数据流的传输处理,状态机的三个状态分别是头部处理、数据转发及数据丢弃,头部处理状态中的数据包含以太网头部信息,在处理时首先会获取以太网头部中的类型字段。本发明,具有智能控制管理及效率高的特点。技术研发人员:吴俊杰受保护的技术使用者:浙江穹境科技有限公司技术研发日:技术公布日:2024/9/29本文地址:https://www.jishuxx.com/zhuanli/20241009/306032.html
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 YYfuon@163.com 举报,一经查实,本站将立刻删除。
下一篇
返回列表