一种芯片随机测试用例回归方法、装置、设备及可读介质与流程

1.本发明涉及芯片测试技术领域，尤其涉及一种芯片随机测试用例回归方法、装置、设备及可读介质。


背景技术：

2.芯片验证在整个芯片设计流程中占据着重要的作用，是保证芯片质量，缩短芯片周期的最重要的一环。随着芯片规模的不断提升，芯片内部的模块也在不断复杂化，为了保证验证的充分性，芯片验证工程师往往会采取随机测试用例的方式去尽可能的覆盖所有可能的激励情况。但与之而来的是随机测试用例所进行随机的情况越复杂，随机激励也就越多。为了保证验证结果的不断进行收敛即尽可能覆盖到所有情况，需要不断的进行回归测试。进行随机测试用例回归的过程往往简单枯燥，但又不得不花费大量的人力物力，因此需要一种简单高效的随机测试用例回归方法，大幅度的降低验证成本、缩短验证周期。
3.目前市面上用于测试用例管理的工具，比如主流eda厂商cadence提供了vmanger工具，它需要预先准备verification feature的csv文件，vsif文件等输入文件，然后通过调用vmanager工具去管理csv文件中定义的回归测试用例，用vsif文件来运行回归测试用例，同时它将这一切都反应到界面中，又集成了各种各样的功能，可以自动化的合并结果，从而查看代码、翻转等覆盖率等。然而目前市面上用于测试用例管理的工具大多数价格昂贵且使用复杂配置繁琐，验证人员需要预先学习使用方法才可以完成自己的需求，验证成本高，使用效率低。


技术实现要素：

4.有鉴于此，本发明实施例的目的在于提出一种芯片随机测试用例回归方法、装置、设备及可读介质，对随机用例进行固定次数的随机测试，无需用户额外学习，操作也相对市面上其他工具来说更简单；输入内容简化清晰，且结果文件明确，在对用例失败后的情况也提出了较好的处理方式。
5.基于上述目的，本发明实施例的一方面提供了一种芯片随机测试用例回归方法，包括以下步骤：设置每个测试用例的随机次数，并将所述每个测试用例生成其对应随机次数个种子用例；基于预设最大运行数量将所述每个测试用例的全部种子用例顺序提交测试；响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试；以及获取测试失败种子用例的失败原因，并基于预设策略对测试失败种子用例再次测试。
6.在一些实施方式中，设置每个测试用例的随机次数，并将所述每个测试用例生成其对应随机次数个种子用例包括：设置不同种类测试用例对应的随机次数；获取每个测试用例的种类，并将所述每个测试用例生成其种类对应随机次数个种子用例。
7.在一些实施方式中，基于预设最大运行数量将所述每个测试用例的全部种子用例顺序提交测试包括：将预设最大运行数量个种子用例提交测试；响应于检测到一个种子用
例测试完成，则提交一个待提交种子用例。
8.在一些实施方式中，方法还包括：将种子用例测试后的状态保存到日志中；若是种子用例测试成功，则直接保存；若是种子用例测试失败，则将所述种子用例的值提取后保存。
9.在一些实施方式中，响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试包括：响应于检测到某个种子用例测试失败，则将其对应测试用例生成的其他未提交的种子用例从待提交种子用例中删除，并将其他测试用例生成的未提交的种子用例提交测试。
10.在一些实施方式中，获取测试失败种子用例的失败原因包括：获取测试失败种子用例的失败原因，并记录所述种子用例的值。
11.在一些实施方式中，基于预设策略对测试失败种子用例再次测试包括：对全部测试失败种子用例进行重新测试；或对指定失败原因的种子用例进行重新测试。
12.本发明实施例的另一方面，还提供了一种芯片随机测试用例回归装置，包括：第一模块，配置用于设置每个测试用例的随机次数，并将所述每个测试用例生成其对应随机次数个种子用例；第二模块，配置用于基于预设最大运行数量将所述每个测试用例的全部种子用例顺序提交测试；第三模块，配置用于响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试；以及第四模块，配置用于获取测试失败种子用例的失败原因，并基于预设策略对测试失败种子用例再次测试。
13.本发明实施例的再一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现方法的步骤包括：设置每个测试用例的随机次数，并将所述每个测试用例生成其对应随机次数个种子用例；基于预设最大运行数量将所述每个测试用例的全部种子用例顺序提交测试；响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试；以及获取测试失败种子用例的失败原因，并基于预设策略对测试失败种子用例再次测试。
14.在一些实施方式中，设置每个测试用例的随机次数，并将所述每个测试用例生成其对应随机次数个种子用例包括：设置不同种类测试用例对应的随机次数；获取每个测试用例的种类，并将所述每个测试用例生成其种类对应随机次数个种子用例。
15.在一些实施方式中，基于预设最大运行数量将所述每个测试用例的全部种子用例顺序提交测试包括：将预设最大运行数量个种子用例提交测试；响应于检测到一个种子用例测试完成，则提交一个待提交种子用例。
16.在一些实施方式中，方法还包括：将种子用例测试后的状态保存到日志中；若是种子用例测试成功，则直接保存；若是种子用例测试失败，则将所述种子用例的值提取后保存。
17.在一些实施方式中，响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试包括：响应于检测到某个种子用例测试失败，则将其对应测试用例生成的其他未提交的种子用例从待提交种子用例中删除，并将其他测试用例生成的未提交的种子用例提交测试。
18.在一些实施方式中，获取测试失败种子用例的失败原因包括：获取测试失败种子
用例的失败原因，并记录所述种子用例的值。
19.在一些实施方式中，基于预设策略对测试失败种子用例再次测试包括：对全部测试失败种子用例进行重新测试；或对指定失败原因的种子用例进行重新测试。
20.本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
21.本发明至少具有以下有益技术效果：对随机用例进行固定次数的随机测试，无需用户额外学习，操作也相对市面上其他工具来说更简单；输入内容简化清晰，且结果文件明确，在对用例失败后的情况也提出了较好的处理方式。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
23.图1为本发明提供的芯片随机测试用例回归方法的实施例的示意图；
24.图2为本发明提供的芯片随机测试用例回归装置的实施例的示意图；
25.图3为本发明提供的计算机设备的实施例的示意图；
26.图4为本发明提供的计算机可读存储介质的实施例的示意图。
具体实施方式
27.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
28.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
29.基于上述目的，本发明实施例的第一个方面，提出了芯片随机测试用例回归方法的实施例。图1示出的是本发明提供的芯片随机测试用例回归方法的实施例的示意图。如图1所示，本发明实施例的芯片随机测试用例回归方法包括如下步骤：
30.001、设置每个测试用例的随机次数，并将每个测试用例生成其对应随机次数个种子用例；
31.002、基于预设最大运行数量将每个测试用例的全部种子用例顺序提交测试；
32.003、响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试；以及
33.004、获取测试失败种子用例的失败原因，并基于预设策略对测试失败种子用例再次测试。
34.在本实施例中，用户在csv中定义想要进行随机测试的用例，并设定random数量(随机次数)即将此用例随机多少次，然后定义用例预设最大运行数量，工具会收集这些信息首先根据随机次数生成相应个数的带有_seed*后缀的种子用例，然后向服务器端提交最大运行数量的用例，后不断检测这些用例的状态，如果其中一个种子用例已运行结束则会
提交下一个种子用例。运行结束的用例会检测其仿真结果，如果是pass(通过)则直接将其报告在结果文件中，如果是fail(失败)则会将其运行时的seed提取出来。用户在看到用例失败后可以选择rerun(重跑)功能，工具将按照上一次运行失败时的seed重新执行以供用户分析，在将错误修改后，也可以使用rerun功能查看代码错误是否已修复。
35.在本发明的一些实施例中，设置每个测试用例的随机次数，并将每个测试用例生成其对应随机次数个种子用例包括：设置不同种类测试用例对应的随机次数；获取每个测试用例的种类，并将每个测试用例生成其种类对应随机次数个种子用例。
36.在本发明的一些实施例中，基于预设最大运行数量将每个测试用例的全部种子用例顺序提交测试包括：将预设最大运行数量个种子用例提交测试；响应于检测到一个种子用例测试完成，则提交一个待提交种子用例。
37.在本实施例中，以预设最大运行数量为5为例。首先提交5个种子用例进行测试。响应于有一个种子用例测试完成，则提交下一个待提交种子用例。即始终保持有5个种子用例进行并行测试，直到所有待提交种子用例全部测试完成。
38.在本发明的一些实施例中，方法还包括：将种子用例测试后的状态保存到日志中；若是种子用例测试成功，则直接保存；若是种子用例测试失败，则将种子用例的值提取后保存。
39.在本发明的一些实施例中，响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试包括：响应于检测到某个种子用例测试失败，则将其对应测试用例生成的其他未提交的种子用例从待提交种子用例中删除，并将其他测试用例生成的未提交的种子用例提交测试。
40.在本发明的一些实施例中，获取测试失败种子用例的失败原因包括：获取测试失败种子用例的失败原因，并记录种子用例的值。
41.在本发明的一些实施例中，基于预设策略对测试失败种子用例再次测试包括：对全部测试失败种子用例进行重新测试；或对指定失败原因的种子用例进行重新测试。
42.在本实施例中，重新测试至少有两种模式，一是根据指定的错误类型或者固定用例进行重新测试，二是直接进行全部重新测试。
43.下面根据具体实施例进一步阐述本发明的具体实施方式。在property函数中，定义当前模块的功能描述，是否随机，用例最大运行数量等关键信息。在feature函数中定义每个验证目标的详细名称及描述，测量方法等。csv文件如下：
[0044][0045][0046]
由上面csv文件中所定义的参数，工具会提取出以下信息，需随机测试用例种类为两种，其中aa_size_test需随机测试10次，bb_size_test需随机测试5次，同时提交最大运行数量为5，则工具会生成从aa_size_test_seed0至aa_size_test_seed9、bb_size0_test_seed0至bb_size0_test_seed4、bb_size1_test_seed0至bb_size1_test_seed4这两种测试用例三个不同测试用例分别生成10、5、5个种子用例。输出结果文件中主要包含测试用例的回归结果以及在用例失败时所使用的seed，具体如下：
[0047]
aa_size_test_seed0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0048]
aa_size_test_seed1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0049]
aa_size_test_seed2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0050]
aa_size_test_seed3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0051]
aa_size_test_seed4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0052]
aa_size_test_seed5
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0053]
aa_size_test_seed6
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
fail
ꢀꢀꢀꢀꢀꢀꢀ
seed＝4356219
ꢀꢀꢀꢀꢀ
aaa_error
[0054]
bb_size0_test_seed0
ꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0055]
bb_size0_test_seed1
ꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0056]
bb_size0_test_seed2
ꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0057]
bb_size0_test_seed3
ꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0058]
bb_size0_test_seed4
ꢀꢀꢀꢀꢀꢀꢀꢀ
pass
[0059]
bb_size1_test_seed0
ꢀꢀꢀꢀꢀꢀꢀꢀ
fail
ꢀꢀꢀꢀꢀꢀꢀ
seed＝6490236
ꢀꢀꢀꢀꢀ
aaa_error
[0060]
bb_size1_test_seed1
ꢀꢀꢀꢀꢀꢀꢀꢀ
fail
ꢀꢀꢀꢀꢀꢀꢀ
seed＝7854327
ꢀꢀꢀꢀꢀ
bbb_error
[0061]
在测试随机用例的过程中，如果检测到上一个seed随机成功，则单纯在结果文件中记录pass，然后测试本用例下一个seed；如果检测到上一个seed出现了错误，则会执行以下操作：
[0062]
停止继续测试这个随机用例的其余seed情况，如aa_size_test_seed6测试失败后本来应该运行的aa_size_test_seed7不再进行测试，而是开始bb_size0_test的随机测试过程，直至它全部pass，再开始进行bb_size1_test的用例随机测试；在用例运行的结果文件中取出本次运行的seed值，如aa_size_test_seed6测试fail，seed值记录4356219；根据结果文件分析出本次用例仿真失败的大概原因供用户查看。
[0063]
如果随机用例测试失败，需要解决以下两个问题：一是怎样才能快速复现出来供测试人员分析失败的原因，二是在清楚失败的原因并作出相关修改后，快速知道修改是否正确，是否解决问题以及是否引入新的问题；这两个问题都与seed值息息相关，在有固定seed后，本发明支持快速rerun功能。
[0064]
重跑功能有两种模式，一是根据指定的错误类型或者固定用例进行重新测试，二是直接进行全部重新测试。以上述结果为例，指定重新测试因为bbb_error类型的原因失败的用例后，就会按照seed＝7854327进行测试bb_size1_test_seed1，且只会测试这一条用例；如果选择直接全部重新测试，则三个失败的用例都会按照自己失败的seed进行测试。
[0065]
需要特别指出的是，上述芯片随机测试用例回归方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于芯片随机测试用例回归方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在实施例之上。
[0066]
基于上述目的，本发明实施例的第二个方面，提出了一种芯片随机测试用例回归装置。图2示出的是本发明提供的芯片随机测试用例回归装置的实施例的示意图。如图2所示，本发明实施例的芯片随机测试用例回归装置包括如下模块：第一模块011，配置用于设置每个测试用例的随机次数，并将每个测试用例生成其对应随机次数个种子用例；第二模块012，配置用于基于预设最大运行数量将每个测试用例的全部种子用例顺序提交测试；第三模块013，配置用于响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试；以及第四模块014，配置用于获取测试失败种子用例的失败原因，并基于预设策略对测试失败种子用例再次测试。
[0067]
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图3示出的是本发明提供的计算机设备的实施例的示意图。如图3所示，本发明实施例的计算机设备包括如下装置：至少一个处理器021；以及存储器022，存储器022存储有可在处理器上运行的
计算机指令023，指令由处理器执行时实现实现方法的步骤包括：设置每个测试用例的随机次数，并将每个测试用例生成其对应随机次数个种子用例；基于预设最大运行数量将每个测试用例的全部种子用例顺序提交测试；响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试；以及获取测试失败种子用例的失败原因，并基于预设策略对测试失败种子用例再次测试。
[0068]
在本发明的一些实施例中，设置每个测试用例的随机次数，并将每个测试用例生成其对应随机次数个种子用例包括：设置不同种类测试用例对应的随机次数；获取每个测试用例的种类，并将每个测试用例生成其种类对应随机次数个种子用例。
[0069]
在本发明的一些实施例中，基于预设最大运行数量将每个测试用例的全部种子用例顺序提交测试包括：将预设最大运行数量个种子用例提交测试；响应于检测到一个种子用例测试完成，则提交一个待提交种子用例。
[0070]
在本发明的一些实施例中，方法还包括：将种子用例测试后的状态保存到日志中；若是种子用例测试成功，则直接保存；若是种子用例测试失败，则将种子用例的值提取后保存。
[0071]
在本发明的一些实施例中，响应于检测到某个种子用例测试失败，则停止将其对应测试用例生成的其他未提交的种子用例提交测试包括：响应于检测到某个种子用例测试失败，则将其对应测试用例生成的其他未提交的种子用例从待提交种子用例中删除，并将其他测试用例生成的未提交的种子用例提交测试。
[0072]
在本发明的一些实施例中，获取测试失败种子用例的失败原因包括：获取测试失败种子用例的失败原因，并记录种子用例的值。
[0073]
在本发明的一些实施例中，基于预设策略对测试失败种子用例再次测试包括：对全部测试失败种子用例进行重新测试；或对指定失败原因的种子用例进行重新测试。
[0074]
本发明还提供了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示，计算机可读存储介质031存储有被处理器执行时执行如上方法的计算机程序032。
[0075]
最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，芯片随机测试用例回归方法的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(rom)或随机存储记忆体(ram)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
[0076]
此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
[0077]
此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
[0078]
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进
行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
[0079]
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(dsl)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、dsl或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
[0080]
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
[0081]
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
[0082]
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
[0083]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0084]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。