一种CDN网关回源方法及装置与流程

一种cdn网关回源方法及装置
技术领域
1.本发明涉及测试开发技术领域，具体涉及一种cdn网关回源方法及装置。


背景技术：

2.cdn(content delivery network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。当服务器在响应用户输入的指令时，如果服务器中没有用户输入的指令所指示的文件，通常需要去别的服务器上进行回源。在现有技术中，服务器进行回源的方法通常是根据服务器内部配置好的固定的回源地址，去别的服务器上进行回源。
3.然而，在产品测试开发过程中，需要长期管理回源资源文件和需要花大量时间去配置和寻找真实源文件，并且由于真实源站资源缺乏或由于真实源站的时效性特点，常常会出现回源失败的问题，影响产品测试开发进度。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种cdn网关回源方法及装置，以克服现有技术中cdn网关回源方式需要时间成本和管理成本高，且常常出现回源失败而影响产品开发进度的问题。
5.本发明实施例提供了一种cdn网关回源方法，包括：
6.获取真实资源文件及其对应的回源需求；
7.将所述真实资源文件进行存储，并记录其对应的存储位置；
8.基于所述回源需求，设置所述真实资源文件的回源规则；
9.建立所述存储位置与所述回源规则的映射关系；
10.获取目标cdn网关发送的目标资源文件对应的回源请求，所述回源请求中包括：符合所述回源规则的资源路径；
11.基于所述回源请求及所述映射关系，提取所述目标资源文件，并反馈至所述目标cdn网关。
12.可选地，所述获取真实资源文件，包括：
13.从真实源站获取所述真实资源文件，或者，接收本地上传的用于回源验证的真实资源文件。
14.可选地，所述建立所述存储位置与所述回源规则的映射关系，包括：
15.建立符合所述回源规则的各资源路径；
16.分别建立所述存储位置和每个资源路径的映射关系。
17.可选地，在接收目标cdn网关发送的所述目标资源文件对应的回源请求之前，所述方法还包括：
18.基于所述存储位置和每个资源路径的映射关系生成候选资源访问路径。
19.可选地，在基于所述回源请求及所述映射关系，提取所述真实资源文件之前，所述
方法还包括：
20.获取目标cdn网关发送的回源请求中的当前资源路径；
21.判断所述当前资源路径是否属于所述候选资源访问路径；
22.当所述当前资源路径属于所述候选资源访问路径时，确定所述当前资源路径为符合所述回源规则的资源路径。
23.可选地，在将所述真实资源文件进行存储，并记录其对应的存储位置之后，所述方法还包括：
24.获取所述真实资源文件对应的资源标识；
25.建立所述资源标识与所述存储位置的绑定关系。
26.可选地，所述回源请求还包括：所述目标资源文件对应的目标资源标识，所述基于所述回源请求及所述映射关系，提取所述目标资源文件，包括：
27.基于所述符合所述回源规则的资源路径及所述映射关系，确定所述目标资源文件的存储位置；
28.基于所述目标资源标识及所述绑定关系，从所述存储位置提取所述目标资源文件。
29.本发明实施例还提供了一种cdn网关回源装置，包括：
30.获取模块，用于获取真实资源文件及其对应的回源需求；
31.第一处理模块，用于将所述真实资源文件进行存储，并记录其对应的存储位置；
32.第二处理模块，用于基于所述回源需求，设置所述真实资源文件的回源规则；
33.第三处理模块，用于建立所述存储位置与所述回源规则的映射关系；
34.第四处理模块，用于获取目标cdn网关发送的目标资源文件对应的回源请求，所述回源请求中包括：符合所述回源规则的资源路径；
35.第五处理模块，用于基于所述回源请求及所述映射关系，提取所述目标资源文件，并反馈至所述目标cdn网关。
36.本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供方法。
37.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行本发明实施例提供的方法。
38.本发明技术方案，具有如下优点：
39.本发明实施例提供了一种cdn网关回源方法及装置，通过获取真实资源文件及其对应的回源需求；将真实资源文件进行存储，并记录其对应的存储位置；基于回源需求，设置真实资源文件的回源规则；建立存储位置与回源规则的映射关系；获取目标cdn网关发送的真实资源文件对应的回源请求；基于回源请求及映射关系，提取真实资源文件，并反馈至目标cdn网关。从而通过基于产品研发测试cdn网关所有实际的回源需求，设置回源规则，并通过存储资源文件的位置与回源规则的映射关系，实现cdn网关的回源，从而降低回源文件的时间成本和管理成本，并且不受真实源站的影响，提高了产品测试开发进度。
附图说明
40.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例中的cdn网关回源方法的流程图；
42.图2为本发明实施例中的cdn模拟源站系统的结构示意图；
43.图3为本发明实施例中的cdn模拟源站系统的工作过程示意图；
44.图4为本发明实施例中的cdn网关回源装置的结构示意图；
45.图5为本发明实施例中的电子设备的结构示意图。
具体实施方式
46.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
48.cdn(content delivery network，内容分发网络)是一种通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。当服务器在响应用户输入的指令时，如果服务器中没有用户输入的指令所指示的文件，通常需要去别的服务器上进行回源。在现有技术中，服务器进行回源的方法通常是根据服务器内部配置好的固定的回源地址，去别的服务器上进行回源。
49.然而，在产品测试开发过程中，需要长期管理回源资源文件和需要花大量时间去配置和寻找真实源文件，并且由于真实源站资源缺乏或由于真实源站的时效性特点，常常会出现回源失败的问题，影响产品测试开发进度。
50.基于上述问题，本发明实施例提供了一种cdn网关回源方法，如图1所示，该cdn网关回源方法具体包括如下步骤：
51.步骤s101：获取真实资源文件及其对应的回源需求。
52.其中，获取真实资源文件可以是从真实源站获取真实资源文件，或者，接收本地上传的用于回源验证的真实资源文件，本发明并不以此为限。
53.步骤s102：将真实资源文件进行存储，并记录其对应的存储位置。
54.具体地，将真实资源文件存储至模拟服务中，该存储位置为真实资源文件对应在模拟服务中模拟服务地址，该地址为静态地址，以便于根据该静态地址查找真实资源文件。
55.步骤s103：基于回源需求，设置真实资源文件的回源规则。
56.其中，该回源需求为研发测试人员根据实际的研发测试场景确定的，按照回源需求可以自定义各种回源路径的设置规则，以使得所有满足回源规则的访问路径都可以实现真实资源文件的回源处理，大大提高了回源的灵活性，能够满足不同研发测试阶段的测试需求。
57.步骤s104：建立存储位置与回源规则的映射关系。
58.具体地，通过建立真实资源文件的静态地址与回源规则的映射关系，即可根据该映射关系找到真实资源的存储位置，进而实现cdn回源。
59.步骤s105：获取目标cdn网关发送的目标资源文件对应的回源请求。
60.其中，该目标资源文件为用户希望请求访问的资源文件，该回源请求中包括：符合回源规则的资源路径。
61.步骤s106：基于回源请求及映射关系，提取目标资源文件，并反馈至目标cdn网关。
62.其中，该目标资源文件为上述已经存储至模拟服务中的真实资源文件。
63.通过执行上述步骤，本发明实施例提供的cdn网关回源方法，通过基于产品在研发测试cdn网关所有实际的回源需求，设置回源规则，并通过存储资源文件的位置与回源规则的映射关系，实现cdn网关的回源，从而降低回源文件的时间成本和管理成本，并且不受真实源站的影响，提高了产品测试开发进度。
64.具体地，在一实施例中，上述步骤s104具体包括如下步骤：
65.步骤s201：建立符合回源规则的各资源路径。
66.具体地，可以按照回源规则建立出对应的资源路径，以便于后续直接对比资源路径即可判断其是否为符合回源规则的资源路径。
67.步骤s202：分别建立存储位置和每个资源路径的映射关系。
68.通过将每个可访问的资源路径与真实资源文件存储位置建立映射关系，即可通过该映射关系找到真实资源文件。
69.具体地，在一实施例中，在上述步骤s105之前，本发明实施例提供的cdn网关回源方法还包括如下步骤：
70.步骤s301：基于存储位置和每个资源路径的映射关系生成候选资源访问路径。
71.具体地，候选资源访问路径可以由真实资源文件的存储位置及资源路径进行组合得到，示例性地，候选资源访问路径可以是http：//模拟服务地址/资源路径。
72.具体地，在一实施例中，在上述步骤s106之前，本发明实施例提供的cdn网关回源方法还包括如下步骤：
73.步骤s401：获取目标cdn网关发送的回源请求中的当前资源路径。
74.其中，该当前资源路径为用户通过cdn网关输入的访问路径。
75.步骤s402：判断当前资源路径是否属于候选资源访问路径。在当前资源路径属于候选资源访问路径时，确定当前资源路径为符合回源规则的资源路径。如果其不属于候选资源访问路径，则说明该资源路径不符合回源规则，则拒绝cdn网关的资源访问请求，并反馈给cdn网关资源路径异常提示。
76.具体地，在一实施例中，在上述步骤s102之后，本发明实施例提供的cdn网关回源方法还包括如下步骤：
77.步骤s501：获取真实资源文件对应的资源标识。
78.其中，该资源标识为资源文件对应的唯一识别方式，示例性地，可以通过对资源文件进行编号或者按照资源文件的名称等方式来确定各个资源文件对应的资源标识，本发明并不以此为限。
79.步骤s502：建立资源标识与存储位置的绑定关系。
80.从而通过建立资源标识与存储位置的绑定关系，可以在一个存储位置同时存储多个不同的资源文件。
81.具体地，在一实施例中，上述的回源请求还包括：目标资源文件对应的目标资源标识，上述的步骤s106具体包括如下步骤：
82.步骤s601：基于符合回源规则的资源路径及映射关系，确定目标资源文件的存储位置。
83.步骤s602：基于目标资源标识及绑定关系，从存储位置提取真实资源文件。
84.从而通过资源标识对存储在同一位置的资源文件加以区分，通过配置每个资源标识对应的多样化访问路径，实现生产验证功能等。
85.通过执行上述步骤，本发明实施例提供的cdn网关回源方法，通过基于产品在研发测试cdn网关所有实际的回源需求，设置回源规则，并通过存储资源文件的位置与回源规则的映射关系，实现cdn网关的回源，从而降低回源文件的时间成本和管理成本，并且不受真实源站的影响，提高了产品测试开发进度。
86.下面将结合具体应用示例对本发明实施例提供的cdn网关回源方法进行详细的说明。
87.oss(object storage service)，即对象存储服务是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。
88.flask是一个轻量级的可定制框架，使用python语言编写的轻量级web应用框架，较其他同类型框架更为灵活、轻便、安全且容易上手。它可以很好地结合mvc模式(在经典mvc模式中，m是指业务模型，v是指用户界面，c则是控制器，使用mvc的目的是将m和v的实现代码分离，从而使同一个程序可以使用不同的表现形式)进行开发，开发人员分工合作，小型团队在短时间内就可以完成功能丰富的中小型网站或web服务的实现。另外，flask还有很强的定制性，用户可以根据自己的需求来添加相应的功能。
89.mock是在测试过程中，对于一些不容易构造/获取的对象，创建一个mock对象来模拟对象的行为。其中，mock测试就是在测试过程中，对于某些不容易构造或者不容易获取的对象，用一个虚拟的对象来创建以便测试的测试方法。
90.按照本发明实施例提供的cdn网关回源方法，通过flask框架和oss存储的能力结合mock的测试理念，实现可以支持cdn缓存进行多样化复杂化回源的模拟源站，建立cdn模拟源站系统如图2所示。
91.示例性地，该cdn模拟源站系统的具体过程如图3所示。
92.1.从真实的源站获取资源文件或本地上传需要用于回源验证的文件。
93.2.获取已上传资源的静态地址并在模拟服务中进行配置。
94.3.配置需要模拟回源的资源路径，包括配置相关请求参数，回源规则等。
95.4.配置完成后直接访问http：//模拟服务地址/资源路径即可获取对应的真实资源。
96.5.将模拟服务地址配置在cdn缓存的回源配置中，在cdn网关缓存测试中即可进行模拟回源。
97.本发明所提供的技术方案通过基于flask等底层框架实现模拟服务管理后台、模
拟规则、转发规则服务，实现真实回源和模拟回源自定义规则隔离，同时根据不同的请求条件回源到指定的不同的源站，具有通过资源映射方式实现回源路径多样化的能力，从而实现动态回源。通过oss nginx的技术实现静态文件持久化保存，为源站资源时效性问题和资源分散管理问题提供了统一管理的能力，支持上传下载删除等文件资源管理操作。
98.本发明实施例所提出的方案可实现自定义各种回源路径和根据不同的文件类型、请求参数等进行差异化回源并实时生效，同时提供真实资源文件进行真实或模拟的响应，达到不仅仅可充当真实源站使用的目的，还可提升对接客户需求的覆盖度。
99.本发明实施例还提供了一种cdn网关回源装置，如图4所示，该cdn网关回源装置包括：
100.获取模块101，用于获取真实资源文件及其对应的回源需求。详细内容参见上述方法实施例中步骤s101的相关描述，在此不再进行赘述。
101.第一处理模块102，用于将真实资源文件进行存储，并记录其对应的存储位置。详细内容参见上述方法实施例中步骤s102的相关描述，在此不再进行赘述。
102.第二处理模块103，用于基于回源需求，设置真实资源文件的回源规则。详细内容参见上述方法实施例中步骤s103的相关描述，在此不再进行赘述。
103.第三处理模块104，用于建立存储位置与回源规则的映射关系。详细内容参见上述方法实施例中步骤s104的相关描述，在此不再进行赘述。
104.第四处理模块105，用于获取目标cdn网关发送的目标资源文件对应的回源请求，回源请求中包括：符合回源规则的资源路径。详细内容参见上述方法实施例中步骤s105的相关描述，在此不再进行赘述。
105.第五处理模块106，用于基于回源请求及映射关系，提取目标资源文件，并反馈至目标cdn网关。详细内容参见上述方法实施例中步骤s106的相关描述，在此不再进行赘述。
106.通过上述各个组成部分的协同合作，本发明实施例提供的cdn网关回源装置，通过基于产品研发测试cdn网关所有实际的回源需求，设置回源规则，并通过存储资源文件的位置与回源规则的映射关系，实现cdn网关的回源，从而降低回源文件的时间成本和管理成本，并且不受真实源站的影响，提高了产品测试开发进度。
107.上述各个模块的更进一步的功能描述与上述对应方法实施例相同，在此不再赘述。
108.根据本发明实施例还提供了一种电子设备，如图5所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图5中以通过总线连接为例。
109.处理器901可以为中央处理器(central processing unit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
110.存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理
器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
111.存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
112.一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
113.上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
114.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read－only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid－state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
115.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。