亲历世界顶级NSS Labs IPS测试

　　摘要：今年3月，绿盟科技入侵防御产品(NSFOCUS IPS)顺利通过NSS Labs的严格测试，荣获NSS Labs Approved认证，并且被NSS Labs认定为最高级别——“Recommended”，由此，绿盟科技自主研发的IPS产品成为国内安全厂商中惟一获得该权威机构认证的产品。本文为您详细讲述测试流程以及严格的测试内容，全方位了解IPS NSS测试的全过程。

　　今年3月，作为项目经理，我有幸带领团队代表绿盟科技参与了NSS IPS测试项目，并通过了这个被公认为业界最高级别的IPS测试，取得了最高级别的“推荐”级别认定，这个成绩无论对我、公司，还是整个中国网络安全界来说，都是一个令人振奋的认可，它表明我们中国企业已经打破长期以来被欧美厂商垄断的技术壁垒，我们中国人一样能做出世界第一流的安全产品!下面详细介绍下NSS实验室IPS测试的情况。

　　NSS实验室测试综述

　　NSS实验室成立于1991年，提供完全独立的测试服务，包括网络、通讯、安全硬件和软件，并逐步成为在全球安全界有相当权威性的网络安全产品测试中心。

　　NSS提供很多类别安全产品的测试，提供包括终端防病毒产品、下一代防火墙、IDS/IPS设备、HIPS、UTM、WAF、漏洞评估产品、浏览器、PKI在内的各类产品的评估及认证。在这些安全产品测试方向中，NSS的IPS产品测试尤为著名，被认为是业界最权威的IPS产品测试方案。NSS在全球第一个提出完备的IPS测试方案，并随着IPS市场的不断扩张和产品的不断升级而更新自己的测试方案，现已成为该领域的业界标准，只有顶级厂商的产品能通过该项严格的测试。

　　分级的测试结果评定

　　NSS的测试结果又称为NSS Awards，在2009年之前共分为三类：NSS Tested、NSS Approved、NSS Gold Award。 awards的等級刚好和所写的順序相反,以 NSS Gold Award 为最高等級，NSS Labs会根据产品的功能、性能、稳定性和成本几个方面综合给出评定，在2009年，NSS Labs修改了测试方案，加入了产品的对比评定，这个对比评定将直接描述NSS Labs专家团队对该产品的采购建议，分为三等：

　　n 推荐 ---- NSS Labs认为用户应该优先考虑该产品

　　n 中立 ---- NSS Labs认为用户在预算不足时可以考虑该产品，

　　n 谨慎 ---- NSS Labs认为用户需要自己承担采购该产品带来的后果

图1 对比评定的金字塔模型

　　测试理念

　　NSS Labs的测试理念是为最终用户采购产品提供专家意见，因此整个测试方案的设计都围绕用户需求来进行，对产品的测试结果评定也可以直接作为用户采购产品的重要参考意见。那么如何进行不同厂家的产品评定?关键在于一个“比”字，测试结果的评定并非仅仅确认产品是否遵循某个固定的规范或标准，而是依赖于和其他厂家的横向对比，NSS Labs认为，提交NSS测试的产品必定满足通用规范的要求，否则根本无法在市场上销售，而且仅仅看是否满足规范不足以向用户说明这个产品在该功能上的实现优劣程度，所以NSS的整个测试方案和国内常见的测试方案相比，摒弃了很多华而不实的测试项，直接切入安全设备的核心点，很值得IPS相关领域的测试人员学习和研究。

　　测试环境

图2 NSS测试的部分合作伙伴

　　NSS Labs的测试环境秉承它的一贯核心理念，"贴近真实环境"，因此在很多合作伙伴公司的协助下，NSS Labs建立了业界最复杂最真实的IPS测试环境-由虚拟机集群搭建的攻击环境，在目标区的大量虚拟机中安装有存在漏洞的应用软件或操作系统，从客户端集群使用真实的攻击程序发起攻击，并对目标服务器的系统或应用造成可度量的影响(溢出成功开放shell或使其停止响应)，并由专门开发的脚本系统来确认攻击是否成功，每个攻击都可重现和确认，这样确保整个测试的正确性。相比之下国内的很多测试大量使用cap文件，很难保证每个cap文件都是正确的。而且攻击用例的覆盖度相当全面，超过1100个以上的攻击样本涵盖从2005年以后所有的重要网络漏洞。

图3 测试拓扑

图4 测试环境

　　测试流程

　　NSS Labs的测试非常严格，在测试启动之前，厂商有一次机会来对设备进行调整，把设备从出厂配置调整为优化配置，在这次调整之后就不允许再对设备进行改动了，厂家工程师必须离开现场，NSS Labs的测试工程师启动测试系统对产品进行全封闭测试!整个测试过程(一星期)完全禁止厂家的人在现场，禁止对设备做任何改动!

　　测试内容

　　NSS Labs将IPS的相关测试内容划分为以下几类： 安全有效性测试，反规避测试，性能测试，稳定性测试和TCO。

　　测试类型测试内容

　　下面我们分类详细看看各类测试。

　　安全有效性测试：

　　NSS Labs的安全有效性测试包括上千个测试用例，这些测试用例有以下特点：

　　1. 每个测试用例都基于可度量的实际攻击程序，选自2005至2010年的重点漏洞，按照多个维度进行分类，维度的定义都基于用户选择的考虑，例如,攻击向量维度把所有的攻击分为攻击者发起的和目标发起的，NSS会给出攻击者发起的攻击(攻击服务器)的阻断率和目标发起的攻击(攻击客户端)的阻断率，之所以这样分类的原因是用户在考虑购买IPS产品时会考虑是作为网关处部署来防护对客户端攻击还是在服务器区部署来防护服务器，不同的采购目地会有不同的选择，NSS会以用户为中心给用户更多的产品适用范围的信息，其他的分类维度还有很多，读者可以参考NSS网站上的测试报告。

　　2. 所有的这上千个测试用例是保密的，厂商人员无法得到这些测试用例的详细信息，避免了参测厂商针对这些测试用例来进行相应的准备以提高检测率这种情况的发生。

　　反规避测试

　　从上世纪90年代开始就出现了针对IDS/IPS的规避技术，通过各种手段尝试使攻击躲避IDS/IPS的检测，所以反规避测试在安全测试领域日益重要起来，目前NSS测试方案中的反规避测试是业界最全面的IPS产品反规避测试，包括五大类几十小项，使用目前所有技术手段来检测产品的抗规避能力，通过难度极高。而产品要获得最高级别的“推荐”认定则必须所有项100%通过，非常考验厂商产品的技术能力，目前为止只有极少数顶尖厂商的产品可以通过全部的反规避测试。

　　性能测试-关注真实性能

　　对安全产品的性能评估一直都存在争议，在国内被广泛用于评估IPS性能的RFC2544实际上只是一个网络设备的基准测试指标，无法反映出IPS设备在实际环境下的性能，为解决这个问题，NSS推出了业界首个“Real World”性能测试方案，整套测试方案基于网络实际流量来对设备的性能进行准确而真实的评估，NSS将会根据IPS设备在网络中的两种实际部署位置： 边界和核心来分别设定测试流量，测试流量都由各种常见协议按照一定的比率混合构成，而且每种协议的流量都截取自真实的网络流量，例如HTTP流量就选自几个著名的网站例如google,yahoo等的真实访问流量。

　　稳定性测试

　　稳定性测试主要评估设备在长时间工作时的是否稳定可靠，将进行一天的测试，NSS会把攻击流量和正常流量进行混合，要求在测试的过程中正常流量不允许被阻断，攻击不允许被放过，一旦出现任何原因导致(包括软件和硬件因素)的攻击被放过或正常流量被阻断的现象，测试即时中断并视为测试无法通过。

　　稳定性测试还包括fuzzing测试，通过协议发包仪发送大量的协议畸形报文，要求设备必须保持稳定工作，不能出现异常状态(意味着正常流量不能阻断，攻击流量不能放过)。

　　TCO

　　NSS在v6.0版本的测试方案中引入了TCO的概念，对于产品的总体拥有成本进行评估，也就是我们常说的性价比，价格越低，维护时间越短，安全有效性和性能越高，TCO也越高，这里涉及一个重要的因素维护时间，NSS的专家团队评估产品的易用度并推算出产品需要的维护工作量，那么如何评估易用度?NSS认为易用度无法通过确定的标准来衡量，而要和其他竞争对手相比较而得出结论，就是和其他同类产品相比较看你的易用度处于一个什么样的程度，根据易用度可以推论出产品在其生命周期(一般为3年的时间)内的维护成本，一个经验丰富的工程师在1年和3年的时间内需要为产品维护花多长时间，根据平均维护成本 75美金/小时折算成产品的年均维护费用。

　　也就是说，易用性越差的产品，用户需要花在维护上的时间越长，其维护成本也越高。

　　作为最顶级的IPS产品测试，从厂商们的测试报告列表中可以看到，IPS领域所有具有影响力的安全厂商的产品基本都参与了该测试，虽然测试结果各自不同，但NSS Labs公正公开的测试方法和业界超前的测试理念都被业内人士广泛认可，作为第一家通过该测试并拿到最高级别“推荐”认定的中国厂商，我们衷心希望越来越多的民族安全企业走出国门，在世界的舞台上展示来自东方的中国力量!