太一星晨：实现高性能Web扫描，负载均衡一马平川

随着网站越来越多元化，内容或资讯都会不定期更新，但每个新增的页面或连接，都有可能带来新的漏洞。因此，网站的安全性检测不论在上线前或是每次更新时，都必须进行网站漏洞检测工作。

然而对大型网站来说，手工网站检测，对使用者是极大的负担，尤其是目前网站动辄数百至数千页，以人工方式对每一页进行彻底的安全检测近乎不可能，此时，方便、自动化的Web检测工具就粉墨登场了。

但是，随着网站规模日益扩大，细致的遍历扫描与web扫描器的性能成为了先天性的矛盾：网站内容越多，扫描时间越长，对扫描器的性能也要求越高。

那么若想提升Web扫描器的性能同时又不放弃精度，原始做法主要有两个：一是无限制的升级扫描器的硬件，但这种做法既不经济也不可能；二是实现Web扫描的分布式部署，但子节点的负载分布不均又成了问题。

既然原始做法已经不好用了，谁可以担此大任呢？太一星晨产品总监于振波指出，要实现高性能Web扫描，依靠负载均衡技术与分布式扫描部署相结合，这已成为了安全圈里的主流趋势。

为此，太一星晨技术工程师们还以一套经典的5W1H分析法，解析了负载均衡技术如何在兼顾资源最优化的同时扭转乾坤的。

Who

在Web安全战役中，关键主角自然是Web扫描器与负载均衡！

When

Web扫描器开始扫描工作时，最核心的工作模块是web扫描引擎，它作为一个支持多任务的服务运行，与产品端通过网络通信进行互动。产品通过向web扫描引擎发送一条消息来创建、暂停、停止或者续扫一个任务，而web扫描引擎则通过消息告诉外界自己的状态，已经爬取得链接和已经检测到的漏洞。

当需要对多个大规模的web网站定时扫描时，一台独立的Web 扫描器负载太多容易导致分配不均，无法满足扫描性能要求，外来威胁容易趁虚而入，此时就需要引入负载均衡技术，实现多站点任务的批量扫描。

What

在这一场战役中，首先要清楚这场战争目的是什么：负载均衡技术帮助Web扫描器在对站点进行漏洞检测和评估时，达到最大化资源的使用率，促使Web扫描器在短时间内完成扫描任务，从而保障Web站点的安全。

Why

分布式部署：这是最常用也是最靠谱的解决办法，利用多台Web扫描器同时分担扫描任务。但是在实际部署环境中，子节点的扫描器性能差异，却往往导致父节点管理的多个子节点在某一时刻经常负载不均衡。

此时通过专业的负载均衡产品可以替代父节点，解决这个弊端。

* ADC可依赖多种健康检查方法以及负载分担算法，帮助父节点有效监控子节点的工作状态，并随时调控。

* 对于子节点来说，不同型号乃至不同品牌的Web扫描器都可以共同使用，最大的节约了以往资源。

Where

Web扫描器的分布式部署方案中，父节点统筹管理子节点，并将多个扫描任务分配至各子节点执行，并收集子节点进行状态和任务扫描报告等。

在父节点和子节点之间加入负载均衡设备，一旦某子节点出现故障或者超出负荷，父节点可以绕过故障子节点，不再给其分配任务，利用其它正常子节点继续执行任务。

How

前面的5W把前因后果全弄清楚后，下面就可以让负载均衡发挥它的作用了！

主要步骤如下：

1.任务获取：收集产品端分配的各个扫描任务的相关信息（扫描策略、执行时间等）。

2. 引擎状态反馈：收集和维护各扫描引擎节点的资源使用情况（CPU、内存及任务进度等）。

3. 任务调度：根据各扫描引擎节点的负载情况，计算各节点的权重，将产品端分配的扫描任务划分成不同的子任务，按照权重分配给不同的节点。

4. 任务信息反馈：回收各扫描引擎执行扫描任务的结果，汇总后转交至产品端。 

毫无疑问，在复杂的攻击形态以及层出不穷的新安全威胁面前，负载均衡技术有效地配合Web扫描器的分布式部署，解决了在大规模web站点下扫描器无法独立完成的问题，真正实现了“急速扫描、立体防御”！