[发明专利]一种面向测试过程的软件可信性度量与评估方法

摘要

一种面向测试过程的软件可信性度量与评估方法，包括四大步骤：管理可信性度量与评估、过程可信性度量与评估、产品可信性度量与评估和综合评估软件产品的可信性。本发明从管理可信、过程可信和最终产品可信及其之间相互影响的关系来对软件可信性进行度量与评估，保证了最终评估结果的真实性，为相关人员做出进一步的决策提供可靠的参考。

主权项

1、一种面向测试过程的软件可信性度量与评估方法，其特征在于包括：管理可信性度量与评估、过程可信性度量与评估、产品可信性度量与评估和综合评估软件产品的可信性四个步骤：步骤一：测试管理可信度量与评估，包括评审指标、可追踪指标和管理可信指标的评估：(1)评审指标如果测试需求、计划和用例3个部分是经过评审的，则认为该指标提升软件可信度；以Treq表示测试需求，Tplan表示测试计划Tcase表示测试用例，则具体方法如下：如果测试需求经过评审，则Treq＝1；若没有经过评审，则Treq＝0；同样，Tplan和Tcase赋值策略同Treq，最终评估值为：IsAssessed＝(Treq+Tplan+Tcase)/3 (1)IsAssessed取值范围为[0，1]，且指标值越大，说明测试过程中的质量保证工作做的越好；(2)可追踪指标如果测试需求、测试计划、测试用例、测试活动，测试结果和软件问题6个部分是受管理和可追踪的，则同样认为该指标提升软件可信度，具体方法如下：如果测试需求可追踪，则Treq＝1，否则Treq＝0；同样，Tplan，Tcase，Tactiv，Tresult，Spr赋值策略同Treq，最终评估值为：IsTraced＝(Treq+Tplan+Tcase+Tactiv+Tresult+Spr)/6 (2)其中：Treq表示测试需求，Tplan表示测试计划，Tcase表示测试用例，Tactiv表示测试活动，Tresult表示测试结果，Spr表示软件问题，IsTraced取值范围为[0，1]，且指标值越大，说明测试过程中所控制和管理的对象越多、范围越广；(3)管理可信指标综合评审指标和可追踪性两个指标，其中MAX{IsAssessed+IsTraced}＝2，定义管理可信评估指标IndexManagement：IndexManagement＝(IsAssessed+IsTraced)/2 (3)IndexMagement取值范围为[0，1]，且指标值越大，说明管理越可信；步骤二：过程可信性度量与评估，该部分从测试过程是否稳定的角度对过程可信性进行度量和评估，具体方法如下：(1)统计每个工作周期T时间内，测试需求变更次数-CTReqi，测试计划变更次数-CTplani和测试活动变更次数-CTactivi，其中i为测试项目的工作周期，一般为周、月等时间单位，i＝1，2…n；(2)利用统计过程控制图XmR分别绘制三个指标的单点值和移动值域图；(3)根据判断过程是否稳定的原则，分析三个指标的XmR图，判断三个指标在测试过程中的变化是否处于稳定状态，分别用测试需求变更稳定指标IndexReq、测试计划变更稳定指标IndexPlan及测试活动变更稳定指标IndexActiv来表示，若过程稳定则相应的指标值为1，否则值为0；(4)最终过程可信评估指标IndexProcess定义如下：IndexProcess＝(IndexReq+IndexPlan+IndexActiv)/3 (7)IndexProcess取值范围[0，1]，且指标越大，过程越稳定；步骤三：软件产品的可信性增长评估，该部分从可信性增长的角度，以测试用例为依托进行评估，具体方法如下：(1)首先定义测试用例对被测产品覆盖程度TC如下：TC＝RB/BS (8)RB表示测试用例或测试用例集实际执行所覆盖的执行覆盖块数，BS表示被测软件的执行覆盖块总数；对一个测试用例集来说，该测试用例集的TC值越大，即越接近1，它的可信性就越高；(2)定义可信判断度Ri为：Ri＝ΔPEi/ΔTCi，i＝1，…，M-1 (9)序列：R1，R2，…，RM (10)这里，M为测试周期的个数，ΔTCi表示两个测试周期Pi+1，Pi中用例的代码覆盖度增量，PE表示软件问题当量数，ΔPEi为两个周期软件问题当量数的增量，软件问题的当量数定义如下：$\mathrm{PE}=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\mathrm{ci}*\mathrm{Ni}$其中Ni表示软件问题中严重程度为i级的软件问题的个数。m为软件问题严重程度的分级数，通常为3-5级。ci表示严重程度为i级的软件问题在计算软件问题当量数PE时所占的权重；如果序列(10)的趋势是下降的，说明随着测试的不断进行，单位增量的测试用例所发现的软件问题在减少，软件产品的质量和可信度在提高；(3)根据序列(10)，得出可信判断度Ri的最大值MaxR以及评估周x，即距离开始测试的第x周的可信判断度Rx，则软件产品的可信指标定义为：IndexProduct＝(MaxR-Rx)/MaxR (11)该指标取值范围为[0，1]，且指标越大，软件产品可信性越高；步骤四：综合评估软件可信性，步骤如下：(1)定义对应5个等级的隶属度函数f1(x)＝exp-(x)2； (12)f2(x)＝exp-(x-0.25)2：(13)f3(x)＝exp-(x-0.50)2；(14)f4(x)＝exp-(x-0.75)2；(15)f5(x)＝exp-(x-1.00)2；(16)x取值范围为[0，1]；(2)将步骤一、步骤二和步骤三得出的管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct指标分别带入5个隶属度函数得出度量指标对应可信性五个等级的隶属度；(3)运用D-S合并理论，将管理可信IndexManagement，过程可信IndexProcess和软件产品可信IndexProduct对应的5个等级隶属度进行合并，最终得到软件可信性的评估指标。