在读文章前,曾经有没有思考过“如何让有限的测试具有代表整体的测试覆盖率”?据专业人士报道,性能测试工具还会有很大的上升期,市场业务也在不断的扩大,未来一定会越做越大的。
在测试工作中,经常会遇到这样的场景:一个软件功能有多个输入项,每个输入项有多个可选项;一个接口有多个参数,每个参数有多个值。这样的情况在平时非常常见,如果按照排列组合,得到的测试用例数目非常庞大。
举个直观的例子就很容易明白了。有一个接口函数,该函数有3个参数,每个参数又可以取值4个,那如果要验证所有参数传入情况的话则需要测试4*4*4=64种情况。如果参数和取值状态更多话,那将是一个灾难。
有没有一种更好的办法,少做一些测试,同时可以满足测试覆盖率呢?答案是有的,就是我们今天要讲的“因子组合测试覆盖pairwise”,下面先来简单的介绍一下什么pairwise。
pairwise是llthurstone(29 may1887–30 september 1955)在1927年首先提出来的。他是美国的一位心理统计学家,pairwise也正是基于数学统计和对传统的正交分析法进行优化后得到的产物。
pairwise基于如下2个假设:每一个维度都是正交的,即每一个维度互相都没有交集;根据数学统计分析,73%的缺陷(单因子是35%,双因子是38%)是由单因子或2个因子相互作用产生的,19%的缺陷是由3个因子相互作用产生的。因此,pairwise基于覆盖所有2因子的交互作用产生的用例集合性价比最高而产生的。
软件测试分为黑盒测试和白盒测试,pairwise算法是针对软件测试中的黑盒测试提出来的一个行之有效的测试方法。
概念往往是晦涩难懂的,下面举一个简单的例子,看完你就明白pairwise算法是怎么挑选测试case的。
现有接口s,有三个输入变量x、y、z,取值分别为:d(x) = {x1, x2}; d(y) = {y1, y2}; d(z) = {z1,z2},如下图:
pairwise算法过程:从表的最后一行开始,如果这行的两两组合值能够在上面的行或此表中找到,那么这行就可从用例集中删除。
例如,tc8包含的两两组合值为(x2-y2,x2-z2,y2-z2),x2-y2在tc7中存在,x2-z2在tc6中存在,y2-z2在tc4中存在,则此行删除;
tc7包含的两两组合值为(x2-y2,x2-z1,y2-z1),x2-y2在此表中已找不到重复的值,所以保留。依此方法,最后得到的测试用例集如上面的右图。很明显,经过pairwise过程,测试用例数减少了一半。
那么如果每次都要进行手工计算除了非常浪费时间外,也容易出错,一旦参数多起来的话手工也无能为力了。那是不是可以开发一个自动化程序,让它自动输出结果。这个想法非常好,但是不需要我们在重复造轮子了,市面上已经有了非常好用的工具,那就是pict工具。
pict(pairwise independent combinatorial testing)工具原是微软内部使用的一款自动生成成对组合测试用例的命令行工具,生成pairwise testing所需的测试用例,并且可以将结果导出到excel,该工具可以从互联网上下载到。
关于pict工具的使用,将在下一篇文章中进行介绍。