NSS Labs测试标准

　　安全有效性测试：

　　NSS Labs的安全有效性测试包括上千个测试用例，这些测试用例有以下特点：

　　· 每个测试用例都基于可度量的实际攻击程序，选自2005至2010年的重点漏洞，按照多个维度进行分类，维度的定义都基于用户选择的考虑，例如，攻击向量维度把所有的攻击分为攻击者发起的和目标发起的，NSS会给出攻击者发起的攻击(攻击服务器)的阻断率和目标发起的攻击(攻击客户端)的阻断率，之所以这样分类的原因是用户在考虑购买IPS产品时会考虑是作为网关处部署来防护对客户端攻击还是在服务器区部署来防护服务器，不同的采购目的会有不同的选择，NSS会以用户为中心给用户更多的产品适用范围的信息，其他的分类维度还有很多，读者可以参考NSS网站上的测试报告。

　　· 所有的这上千个测试用例是保密的，厂商人员无法得到这些测试用例的详细信息，避免了参测厂商针对这些测试用例来进行相应的准备以提高检测率这种情况的发生。

　　反规避测试：

　　从上世纪90年代开始就出现了针对IDS/IPS的规避技术，通过各种手段尝试使攻击躲避IDS/IPS的检测，所以反规避测试在安全测试领域日益重要起来，目前NSS测试方案中的反规避测试是业界最全面的IPS产品反规避测试，包括五大类几十小项，使用目前所有技术手段来检测产品的抗规避能力，通过难度极高。而产品要获得最高级别的“推荐”认定则必须所有项100%通过，非常考验厂商产品的技术能力，目前为止只有极少数顶尖厂商的产品可以通过全部的反规避测试。

　　性能：

　　对安全产品的性能评估一直都存在争议，在国内被广泛用于评估IPS性能的RFC2544实际上只是一个网络设备的基准测试指标，无法反映出IPS设备在实际环境下的性能，为解决这个问题，NSS推出了业界首个“Real World”性能测试方案，整套测试方案基于网络实际流量来对设备的性能进行准确而真实的评估，NSS将会根据IPS设备在网络中的两种实际部署位置：边界和核心来分别设定测试流量，测试流量都由各种常见协议按照一定的比率混合构成，而且每种协议的流量都截取自真实的网络流量，例如HTTP流量就选自几个著名的网站google,yahoo等的真实访问流量。

　　稳定性：

　　稳定性测试主要评估设备在长时间工作时的稳定可靠性，将进行一天的测试，NSS会把攻击流量和正常流量进行混合，要求在测试的过程中正常流量不允许被阻断，攻击不允许被放过，一旦出现任何原因导致(包括软件和硬件因素)的攻击被放过或正常流量被阻断的现象，测试即时中断并视为测试无法通过。

　　稳定性测试还包括fuzzing测试，通过协议发包仪发送大量的协议畸形报文，要求设备必须保持稳定工作，不能出现异常状态(意味着正常流量不能阻断，攻击流量不能放过)。

　　TCO：

　　NSS在v6.0版本的测试方案中引入了TCO的概念，对于产品的总体拥有成本进行评估，也就是我们常说的性价比，价格越低，维护时间越短，安全有效性和性能越高，则TCO越高，这里涉及一个重要的因素：维护时间。NSS的专家团队评估产品的易用度并推算出产品需要的维护工作量，那么如何评估易用度?

　　NSS认为易用度无法通过确定的标准来衡量，而要和其他竞争对手相比较而得出结论，就是和其他同类产品相比较看你的易用度处于一个什么样的程度，根据易用度可以推论出产品在其生命周期(一般为3年的时间)内的维护成本，一个经验丰富的工程师在1年和3年的时间内需要为产品维护花多长时间，根据平均维护成本 75美金/小时折算成产品的年均维护费用。也就是说，易用性越差的产品，用户需要花在维护上的时间越长，其维护成本也越高。