趋势科技叫板VB100认证 WildList有失公正

主流杀毒厂商与杀毒软件评测机构于上周就如何评测杀毒软件产生重大分歧.趋势科技于上周宣布抵制主流的评测认证VB100.
趋势科技CTO Raimund Genes于上周五告诉SecurityFocus,趋势科技将不再寻求VB100的认证.由杀毒产业观察者VirusBulletin管理的VB100 认证是测试杀毒软件能否检测到被称为WildList(在野病毒列表)并不会误认非病毒的程序为恶意.WildList是一个由安全专家们在互联网上收集到的一个病毒的较小的样本集合.

Genes说,该测试的问题在于一是目前最重要的威胁不是病毒,而是木马程序、肉鸡软件;其二在于杀毒软件均是透过互联网更新,而该测试称由于安全的原因而不允许有网络连接;其三也是问题最大的,目前杀毒厂商每年都必须处理大量的新的威胁,比如2007年各大杀毒厂商平均统计显示恶意软件的变种至少有50万,而该测试仅检测不到1000种威胁.Genes还表示,如果测试是针对100万种威胁而非700个过期的恶意软件,那才是真正比较理想公正的方法.

针对趋势的声明,VirusBulletin则强调VB100认证的目的不在于针对大量恶意软件来衡量一个产品的效果和性能,而在于对杀毒软件设定一个通常能超越的基准线.VB技术顾问John Hawes在一个访谈中告诉媒体:“我们的测试非常简单,就是要求检测出所有WildList内的病毒而不误报.通过对一个产品一段时间的观察,我们从测试结果应该可以了解到厂商的竞争力和可靠程度……如果WildList中的任意一个病毒样本未被检测到或者有任意一个非恶意软件被误报为病毒,该产品就未通过测试从而就不能获得认证.通常厂商有时会漏过一个狡猾的特征码或错误地标记一个无害文件为病毒.持续地通过测试就意味着产品被很好地维护……”

这种通过--失败的方式在一定程度上激怒了软件厂商,熊猫卫士自2002年起就不再参加任何认证.趋势科技在过去的三次测试中均未通过:2007年8月由于一个误报,之后是漏报三个病毒,最近2008年4月是两次误报.

对评测机构的不满使得相关的激辩成为去年冰岛雷克雅未克一次会议的热议主题.之后今年1月,安全厂商、独立人士和媒体的评测实验室共同发起组建一个产业团体:反恶意软件测试标准组织(AMTSO),以致力于建立测试和评估杀毒软件的最佳实践和标准.

杀毒厂商Eset技术教育总监Randy Abrams针对这样的讨论评论标示,这样的顾虑并不是一件新鲜的事情,对杀毒软件的评测到了超越WildList的时间了.在 VirusBulletin2007年6月刊中在他指出“从保护用户的角度来看一致的观点是WildList评测结果基本起不到衡量的作用;从测试者而言,WildList提供了一种相对可重复和可信的标准.然而测试的敏感性和针对该测试的“应试型”研究使得WildList终将走向消亡.”测试和真实世界实际效果的相关性由于今年恶意软件问题规模的急剧增长而日益降低.VirusBulletin也表示打心眼里接受杀毒业界的批评并将改进其评测机制,加入木马样本;但VirusBulletin同时也表示由于组织规模小和工作量的巨大,此项工作的进展会非常缓慢.