关于杀毒软件评测认证的争议

如何测试杀毒软件的检测能力一直存在着争议，目前只有极少数测试者和测试机构能够得到该领 域其他反病毒研究机构的认可。 

被广泛认可的具备测试资格的机构有： 

AV Comparatives (http://www.av-comparatives.org/) 

AV-Test.org (http://www.av-test.org/) 

ICSA Labs (http://www.icsalabs.com/) 

SC Magazine/West Coast Labs (http://www.westcoastlabs.org/) 

Virus Bulletin (http://www.virusbtn.com/) 

Virus Research Unit， University of Tampere (http://www.uta.fi/laitokset/virus) 

Virus Test Center， University of Hamburg  (http://agn-www.informatik.uni-hamburg.de/vtc/naveng.htm.) 

（注意：近来，最后两个测试机构不是很活跃。）  

不像测试者与反病毒研究机构没有任何联系，这些机构得到了反病毒研究机构的普遍信任（虽然未必都是该机构中的成员），被认为在有能力、安全、合乎职业 道德的前提下，严守中立地对杀毒软件的检测能力进行测试。这种被信任的身份， 使得他们通常可以得到经过正式鉴定的病毒样本，例如由 WildList国际组织 （http://www.wildlist.org/，一个与绝大多数主要反病毒厂商的研究人员、许多大 公司及教育机构之间都有合作的组织）收集、测试和正式鉴定的病毒样本。 

反病毒团体认为，绝大多数由行业认可的测试机构以外的测试是无效的，或者换句话说是不适宜的。原因是：无法判定其测试能力，因此，也就不能判定 

――其测试方法是否适当 

――其是否遵守安全技术规章，行业的道德规章和标准 

由于存在这些问题，反病毒研究机构的成员们出于职业道德层面的考虑，是不能将病毒样本与未经 认可的测试者共享的。因此，测试者是不能假定测试样本的来源及其可靠性的。通常，那些无权使 用反病毒机构样本库的测试者，会通过病毒交流网站和其它途径（可能有争议的）来获得样本。通 过这些途径获得的样本可能包含各种各样的非病毒样本（如垃圾文件，未遂病毒，尸文件等等）。 如果评论媒体委托一个认可的机构来进行测试，一些问题就能够得到解决。（例如，AV-Test为杂 志评论专栏所做的几种类型的测试。） 

奇怪的是，这些困难达成了（但不是引起）这样一种状况：关注杀软检测未知病毒能力的测试者， 早在启发式技术这一名称正式出现并拥有―21世纪的能力∥之前，就已经通过制造变种的方式，对其 进行测试了。遗憾的是，这一般都使用了不可靠的病毒生成器和不恰当的病毒模拟器，而且随意的 放置或掩盖病毒代码和文本串等等。 

当然，测试一款杀毒软件的启发式能力是一项很有意义的工作（特别是现在扫描器具有了启发式检

测能力）。但是合理安全地进行这种测试，与检测已知病毒有着同样重要的意义。在缺乏妥善管理 的测试病毒库的情况下，不能保证用于测试的都是有效的，具有活性的病毒。那些由于缺少与反病 

毒研究机构的直接接触，其能力受到质疑的测试者，如果不公开他们的测 试方法，尤其是样本的有效性，会给他们自己以及依赖于其测试结果的人 们带来更多的误解。 

我们认为有效性是指被测试代码是否的确是恶意的――也就是说病毒必须 具备自我复制的能力，蠕虫必须能以某种方式传播等等。通常，如果测试 者在测试时没有遵循这些有效性，很多代码就会在事后被证实并不是恶意 的，而是错误地使用了一些遭到破坏的或本身就合法的文件进行测试。 

在最近的一个例子中，有人间接性地建议委托机构，使用病毒生成机完成测试。这直接导致反病 毒研究者们怀疑测试者的能力，因为众所周知，病毒生成器在产生活动病毒时是极其不可靠的。因 为没有描述详细的测试方法，所以也就不知道他们是否验证，以及如何验证了所使用样本的有效性。 

病毒测试样本中，如果含有一些或全部的非病毒文件，就会使测试无效。既如此，那么最高的病毒 检测率未必等于最佳的性能，因为即使被测试的杀毒软件都采用了一致设置的情况下，也产生了大 量的误报。

反病毒行业不愿宽恕那些制造新的恶意软件或病毒代码的行为，即使仅仅是为了测试。这有很多原 因：大多数研究者坚持严格的道德规范，担心新的病毒落入缺乏经验的测试者手中造成安全问题， 有效性验证方面的困难等等。尽管如此，测试扫描器的启发式能力，实际上是不必制造病毒的。 

―回溯测试∥就是用经过验证的恶意软件（这些恶意软件是在被测试的扫描器最后一次更新后才出现 的）对一段时间（一般选择三个月）没有更新的扫描器进行测试。这就合理的保证了测试的是启发 式能力，而非特征码算法检测已知病毒的能力。这样的测试，在没有减少有效性需求的基础上，避 免了为测试而制造新病毒，带来的的道德层面上和实践过程中的困难。然而，这并不意味着不需验 证病毒样本和认真进行有意义的测试。  

几乎所有的主流反病毒厂商，每天（或者更频繁地）都提供病毒库的更新，所以测试一个过期三个 月的扫描器，并不能说明它当前的病毒检测能力。一个更有效的方法可能是采用不同的时间表测试 其能力，或者是抽取一个病毒测试各杀软首次检测到的时间。显然，扫描器在恶意软件被纳入病毒 库之前就能够检测到是很值得注意的。