科技行者

行者学院 转型私董会 科技行者专题报道 网红大战科技行者

知识库

知识库 安全导航

至顶网安全频道四阶段演绎反垃圾邮件进程

四阶段演绎反垃圾邮件进程

  • 扫一扫
    分享文章到微信

  • 扫一扫
    关注官方公众号
    至顶头条

我们处在信息时代,网络化成为我们的一种生活方式。然而网络化生存环境中,病毒和垃圾邮件是最让人无奈的两件事。垃圾邮件已经成为网络的第二大杀手。据有关数据统计,网络流量的40%被垃圾邮件占用,而其增长率也达到75%。人们浪费在处理垃圾邮件上的时间越来越多,去之而后快成为人们对垃圾邮件的共同夙愿,反垃圾邮件技术由此产生。

来源:论坛整理 2009年2月22日

关键字: 过滤防护 反垃圾邮件 垃圾邮件

  • 评论
  • 分享微博
  • 分享邮件

我们处在信息时代,网络化成为我们的一种生活方式。然而网络化生存环境中,病毒和垃圾邮件是最让人无奈的两件事。垃圾邮件已经成为网络的第二大杀手。据有关数据统计,网络流量的40%被垃圾邮件占用,而其增长率也达到75%。人们浪费在处理垃圾邮件上的时间越来越多,去之而后快成为人们对垃圾邮件的共同夙愿,反垃圾邮件技术由此产生。

总体来看,反垃圾邮件的技术大致经历了以下四个阶段。

反病毒垃圾邮件技术

虽然邮件系统是互联网最早的应用,但是垃圾邮件产生的历史其实并不是很长。早期,互联网只是人们获取信息的一个平台,充当第四媒体的作用。那时,电子商务的模式并不明朗,像求职信、爱虫、尼姆达这样的邮件蠕虫大量泛滥。

早期垃圾邮件的主体是这些病毒发送的病毒垃圾邮件,而那时对这类垃圾邮件的过滤都交由杀毒软件公司代劳,它们直接将邮箱及邮件格式进行分析,对其中的病毒附件进行扫描和清除。当时的技术重点有两方面,一方面是对邮件病毒样本进行收集和分析,提取相应的病毒特征码;另一方面是要对邮件格式进行解析,对基于BASE64的邮件编码进行解码,并且对POP3和SMTP的邮件收发协议进行剖析,以便可以在协议层对病毒邮件中的病毒直接进行监控和剥离。

过滤技术

随着互联网的纵深发展,电子商务开始繁荣,出现了B2B、B2C、C2B、C2C等商业模式。在进行商业拓展的过程中,各种商业团体开始大量使用邮件群发软件来向用户推送各种广告信息。这些大量的、相对无用的邮件成为了垃圾邮件的主体,一直延续到今天。这些垃圾邮件是真正以内容来进行垃圾邮件的判断,不属于反病毒的范畴。因此,反病毒公司并没有对这类垃圾邮件进行处理。而那时,由于垃圾邮件是一个新兴的事物,也没有专门的商业公司来对垃圾邮件进行处理。垃圾邮件的处理都是由邮箱的服务商提供的,他们提供了三种过滤的技术。

一是内容过滤。即让用户自行设置过滤内容,用户可以根据经常出现的垃圾邮件的标题有哪些典型的关键字来进行过滤,发现含有过滤器中设定的关键字的邮件就予以删除或移动到垃圾邮件箱中。

二是黑白名单过滤。这是由用户对每一封邮件的地址进行黑白名单的归类,用户可以把熟悉的邮件地址放入白名单中,把能明确知道是垃圾邮件的地址放入到黑名单中,这样经历过一段时间,就能够建立起一个黑白名单库,就可以有效地过滤已知的垃圾邮件了。

三是规则过滤。除了内容过滤和黑白名单判定外,邮箱服务商又提供了一个更加灵活的过滤方式,即用户可以对更多的因素,如是否允许有附件、拒取附件尺寸在一个范围内的邮件等这类判定规则。当时,许多企业为了省事儿都会直接过滤掉带附件的邮件,因此企业在招聘的时候总会发布不要将简历以附件的形式发送这样的声明。

这三种过滤方式的优点是实现简单,只用很少的代码就能实现,但是使用起来却很复杂:第一需要用户的大量手工配置,第二需要一个长时间的积累,另外,由于这些规则太过于粗糙,以至于会经常过滤掉正常的邮件。

垃圾邮件的大量增多产生反垃圾邮件的需求。于是,一些专业的公司开始进入反垃圾邮件的市场,专门致力于反垃圾邮件,带来了一些更加专业的反垃圾邮件技术—算法过滤。

算法过滤

在算法过滤中,应用最广泛的就是我们常说的贝叶斯算法。贝叶斯算法是一种基于统计的,利用概率和人工智能原理对垃圾邮件进行分析,通过学习得出垃圾邮件的统计规律,从而对垃圾邮件进行识别和过滤的技术。

贝叶斯过滤器也是一种基于评分的过滤器。但它不仅仅是简单地计算分数,而是从根本上来识别。它采用自动建立特征表的方式。原理上,首先分析大量的垃圾邮件和大量的正常邮件,算法分析邮件中多种特征的出现概率。当新邮件到达的时候,就通过贝叶斯过滤器分析,使用各个特征来计算邮件是垃圾邮件的概率。通过不断的分析,过滤器也不断地获得自更新。这样,贝叶斯过滤器就有了自适应能力,既能自动进行,也可以用户手工操作,因而更能适应单个用户的使用。而垃圾邮件发送者要获得这样的适应能力就很难,因此也就更难逃过滤器的过滤了。

虽然贝叶斯过滤器还存有评分过滤器的部分缺陷,但是它更优化了。实践证明,贝叶斯过滤器在客户端和服务器中的效果是非常明显的,优秀的贝叶斯过滤器能够识别超过99.9%的垃圾邮件。大多数目前应用的反垃圾邮件产品都采用了这样的技术。

一般来讲,商业公司提供的贝叶斯垃圾邮件过滤器都是在学习了大量垃圾邮件的基础上开发的,因此在一开始就会有很好的垃圾邮件的识别能力。而如果遇到不能识别的邮件之后,只要进行简单的学习即可,因此在实际应用中效果非常不错。

不过,这种算法过滤技术只能识别商业垃圾邮件,由于没有邮件病毒的样本采集渠道,对于病毒垃圾邮件的识别是不行的。为了能够同时解决病毒垃圾邮件和商业垃圾邮件的问题,反垃圾邮件的第四个阶段——混合技术阶段出现了。

混合技术

混合技术就是现在市场上推出的各种反垃圾邮件的网关。这种网关以硬件作为载体,能够同时以贝叶斯方法过滤掉普通的垃圾邮件和以病毒识别的方式过滤掉病毒邮件。用硬件实现能够具备更高的过滤速度,适用于有大量流量的企业网络。而个人用户,目前可以安装有邮件病毒过滤功能的杀毒软件和有贝叶斯过滤功能的邮件客户端就行了。

然而,无论什么样的反垃圾邮件技术,都是试图从垃圾邮件的末端来进行判断和拦截。很明显,虽然用户最终没有或者更少地受到垃圾邮件的骚扰,但是垃圾邮件还是浪费了大量的网络带宽。在这种情况,只有更好地控制垃圾邮件的发端,才能真正解决垃圾邮件的问题。

控制发端模式就是要通过相应的行政手段来从源头上进行控制。我国经过几年的努力,《互联网电子邮件服务管理办法》已经于去年3月份开始实施,也取得了一定的效果。而江苏省今年又公布了规范网络经营的十大举措。相信这些动作,就像一些病毒作者被捕的消息会对一些病毒爱好者产生警示作用一样,虽然不能根除垃圾邮件,但是肯定会对垃圾邮件起到一定的扼制作用。

垃圾邮件是一个社会话题,因此,除了技术上的保障外,更多的是整个社会的参与,还有网络经营更加规范化的管理。

电子垃圾邮件增长率

小贴士

以下是一些个人用户防范垃圾邮件的方法,实践证明,它们非常有效,需要用户加以综合使用:

1.尽量避免在新闻组、聊天室、网站、论坛等公共场所公开自己的电子邮件地址。

2.在个人主页等需要公开邮箱地址的地方,可以采取对邮件地址进行替换的方法,这种方法可以让自动采集邮箱地址的程序失效。

3.用户在申请邮箱地址的时候,需要综合使用字符、数字,这样就增大了自己的地址被猜中的难度。

4.不要回复垃圾邮件。

5.使用免费邮箱提供的垃圾邮件过滤功能。

6.将发送比较频繁的垃圾电子邮件转发至政府或行业管理部门,予以举报。

7.充分利用反垃圾邮件客户端的过滤功能。

    • 评论
    • 分享微博
    • 分享邮件
    邮件订阅

    如果您非常迫切的想了解IT领域最新产品与技术信息,那么订阅至顶网技术邮件将是您的最佳途径之一。

    重磅专题
    往期文章
    最新文章