反垃圾邮件技术简介

现在很多反垃圾邮件技术方案都不会只采用一种技术,而是多种技术的综合体。目前的反垃圾邮件产品所采用的技术主要还是黑白名、关键词过滤、HASH技术、贝叶斯过滤、智能过滤、DNS识别、速率控制、OCR识别和分析、病毒扫描、全面信誉系统、基于规则的评分系统和数据挖掘等技术（除数据挖掘技术外那些过滤技术属于事后防备型）。这里不再进行赘述，在此我们主要对国内、国外主流的电子邮件服务提供商的反垃圾邮件技术进行介绍：

一、国内电子邮件服务提供商

        国内电子邮件服务提供商包括网易等通常采用的技术如下：

1.1采用基于多个rbl dns查询的综合评分策略

        网易目前与国际知名的几个RBL组织，包括spamhaus/surbl/uribl等组织都建立良好合作关系，并为其提供了在国内的公益性dns查询镜像服务。而在判定标准上，并不仅仅基于某一个单一的反垃圾策略，同时也将一次邮件会话过程中所能提供的所有“证据”作为整体评价，包括了连接、频率、内容过滤等方方面面，最终按照系统制定以及用户自己的策略，来决定拒绝还是接收。以RBL为例：假如某个IP被spamhaus收录了，我们系统并未因此而拒绝此IP，但如果同时被spamhaus, surlbl, uibl等收录了，那么这封邮件被拒收的可能性就非常大。

1.2 应用了图片指纹相似度技术、图片bayes技术及图片像素特征分析技术

        在2007年年中，从国外涌入了大量的图片垃圾邮件，单靠过往的技术无法有效抵御，因为传统的反垃圾技术对图片垃圾邮件无效，很难对其进行内容过滤。网易从发现图片垃圾邮件开始，便第一时间着手研发有针对性的反击技术。最终应用了图片指纹相似度技术、图片bayes技术及图片像素特征分析技术，有效地抵御了本次图片垃圾邮件狂潮，并为日后做好了充分的准备。前段时段，还曾出现过基于PDF格式，FLASH格式的垃圾邮件，都被网易通过有效、精准的技术手段拦截下来。

1.3 建立了基于发送者信誉的海量数据库系统

        通过邮件服务提供商之间的互通互盈，加强对垃圾邮件的监控。发送者信誉机制就是一种先进的思路，服务商会动态评估独立IP和域名的历史发送情况，结合RFC标准的SPF发送者验证技术，建立不同的信誉值，纳入综合评分体系。

1.4 建立了切实有效的用户反馈举报系统

        任何单一的技术手段都无法实现100%的捕捉率和正确率，所以设立用户反馈机制。在服务器对话中遇到问题，可以链接到WEB页面查明原因，也可以直接电话联系网易的24小时客服系统。在WEB邮箱中，用户可以对漏进来的垃圾邮件或被误判的正常邮件进行申诉，反垃圾过滤系统能不断调整过滤策略，提高过滤效率，降低误判发生的几率。

1.5 用户个性化反垃圾设置

        提供基于用户个性化的反垃圾系统，按照用户自己的使用习惯，历史行为，性格喜好来判断是否为垃圾邮件。为了提高用户级别的反垃圾质量，网易除了提供用户反馈渠道外，还提供精度更高的用户级别内容过滤策略。用户往来的邮件特征可以被系统收集，从而形成个性化的使用习惯；邮件系统会优先使用用户级的数据来进行过滤。例如某用户订阅了一份电子杂志，被系统误投入了垃圾箱，用户只需要简单地从垃圾箱移动到收件箱，就可以保证以后此类邮件都可以正常地进入到收件箱。另外，也提供传统的用户黑白名单，以及可定制的反垃圾克星等。

1.6 与各大邮件运营商建立了稳定良好的日常沟通联络

        包括与GMAIL和AOL都建立了互相举报垃圾邮件的spam feedback系统。

二、国际电子邮件运营商

        Domainkeys 是由雅虎公司推出的一项确保电子邮件来源的真实性和内容的完整性的技术，它能让电子邮件服务商确定某封信是否真实的来自某个域和帮助他们的用户免受“钓鱼欺诈邮件“的损害，比如用户常收到伪造这些机构的诈骗邮件，然后索取用户的信用卡卡号和密码。而对于金融机构等公司也有保护用户的交易信息，提高用户满意度，减少客服咨询处理量和品牌保护的作用。

        Domainkey的工作原理是：发信域的负责人首先生成一对公私钥用于对它发出的邮件进行签名，公钥需要部署到公共的DNS 服务器上供所有收信方查询。而私钥则用于加密自己发出的信。这样只有含有用这个私钥加密后的字符串的邮件才是该域发出的邮件。收信方在收到邮件时，可以通过公用DNS查询它的公钥，然后用该域的公钥来解密验证收到的邮件。如果验证是正确的，这封信就被投递到用户的邮箱里；如果验证失败，邮件将会被丢弃或者标志。这样用户在所收到的邮件就能确保邮件确实是该域发出。

        Domainkey的验证过程：例如user@a.com发送给user@b.com,a.com的mta会在每封发出的邮件里根据私钥生成一个签名.当b.com的mx服务器在接收邮件时会根据发送方邮件头里的签名查出selector(即s字段,用于签名.例如dk)，则b.com的mx会查找dk._domainkey.b.com的txt记录得到公钥.然后使用公钥对签名进行核实。

    DomainKeys的实现过程：

发送服务器经过两步：

1、建立。域所有者需要产生一对公/私钥用于标记所有发出的邮件（允许多对密钥），公钥在DNS中公开，私钥在使用DomainKey的邮件服务器上。

2、签名。当每个用户发送邮件的时候，邮件系统自动使用存储的私钥来产生签名。签名作为邮件头的一部分，然后邮件被传递到接收服务器上。

接收服务器通过三步来验证签名邮件：

1、准备。接收服务器从邮件头提取出签名和发送域（From:）然后从DNS获得相应的公钥。

2、验证。接收服务器用从DNS获得的公钥来验证用私钥产生的签名。这保证邮件真实发送并且没有被修改过。

3、传递。接收服务器使用本地策略来作出最后结果，如果域被验证了，而且其他的反垃圾邮件测试也没有决定，那么邮件就被传递到用户的收件箱中，否则，邮件可以被抛弃、隔离等。

        DomainKeys技术通过防止邮件地址欺骗来解决困扰整个互联网的垃圾邮件问题,可以有效地阻止了各种各样经过改头换面的垃圾邮件; Domainkey是在接收方邮件运营商支持的情况下才有效，否则对接收双方是没有意义的，因此从本质上来说,也不能鉴定一个邮件是否是垃圾邮件。

三、微软Hotmail

        2004年，Gates曾信誓旦旦地预言微软能够在未来消灭垃圾邮件，他所期望的就是Sender ID技术，但是，最近他则收回了他的预言。这也就是标准之争，微软希望IETF能够采用Sender ID技术作为标准，并且得到了大量支持，比如Cisco, Comcast, IBM, Cisco,Port25,Sendmail,Symantec,VeriSign等，也包括后来又倒戈的AOL的支持，但是在开源社区，微软一直没有得到足够的支持，IETF最终否决了微软的提议。

        SMTP协议本身是一个简化的邮件递交协议,缺乏必要的身份认证,这是造成垃圾邮件泛滥的原因之一。针对这种情况,人们提出了一系列方法,如SPF(发件人策略框架)、CallerID(呼叫者身份认证)等等。

SenderID技术是由微软公司提出的,就是CallerID技术和SPF技术的结合体。顾名思义SenderID技术就是根据发送方所提供的表明来源的信息来决定接收与否。事实上,这种技术并不直接判断某封邮件是否是垃圾邮件,而是判断邮件的来源是否与其标称相符。也就是说,它不是用来阻止垃圾邮件的发送,而是正确回答“谁发送了邮件”这个基本问题,从而使得垃圾邮件的判定更加简单。

        SenderID的工作流程大致分为四步:

第一步,发信人使用自己的PC机撰写一封邮件;

第二步,撰写完毕,P机通过SMTP协议,路由发送该邮件到接收邮件服务器;

第三步,接收邮件服务器通过SenderID技术对发信人所声称的身份进行检查(该检查通过DNS的特定查询进行);

第四步,如果通过检查,发现发信人所声称的身份和其发信地址相匹配，那么接收该邮件,否则对该邮件采取特定操作,比如直接拒收该邮件。

        SenderID技术主要包括两个方面:发送邮件方的支持和接收邮件方的支持。其中发送邮件方的支持主要有三个部分:发信人对其DNS的修改,增加特定的DNS资源记录以表明其发信身份;发信人在其外发邮件服务器的发信通信协议中增加SUBMITTER扩展;发信人根据情况在其邮件中增加Re-sent-Sender、Resent-From、Sender和From等信头。接收邮件方的支持有:收信人对收到的邮件通信信息进行DNS查询,通过特定的DNS资源记录检查其发信身份。这些检查的通讯信息包括EHLO/HELO信息、MAIL FROM信息、信头中特定的字段信息等。

        SenderID技术抓住了垃圾邮件发送的一个重要特征,那就是垃圾邮件总是想方设法地掩盖其发送来源,通过这一点可以避免被阻挡、追踪和逃避法律责任。因此,广泛实施的SenderID技术可以对垃圾邮件的生存造成致命的打击。

        当然SenderID也有缺陷:其一,因为SenderID技术只是一个解决垃圾邮件发送源的技术,从本质上来说,并不能鉴定一个邮件是否是垃圾邮件。比如,垃圾邮件发送者可以通过注册廉价的域名来发送垃圾邮件,从技术的角度来看,一切都是符合规范的;还有,垃圾邮件发送者还可以通过别人的邮件服务器的漏洞转发其垃圾邮件,这同样是SenderID技术所不能解决的。其二,SenderID技术需要对DNS机制进行扩充,实施比较难。

        DomainKey和SenderID技术解决的问题是邮件地址是否合法有效，这样一则可拒绝邮件地址和签名不一致的邮件，二则可辅助“白名单”和“黑名单”进行过滤。这两项技术的缺陷是需要对现在所有的邮件服务器进行升级改造，需要业界的共同行动。

※关于网际思安: 

        北京网际思安科技有限公司（Safenext Technology）是专注于网络信息安全领域的高科技企业，是下一代邮件生态环境安全的保障者，新时期电子邮件安全合规的护航者，拥有包括邮件安全网关、邮件防火墙、邮件防泄密、邮件归档管理等一系列邮件信息安全产品。网际思安目前已拥有数千家遍布各行各业的典范客户，随着近几年云计算领域的崛起，网际思安也推出了包括云邮件网关、海外邮件中继、海外邮件加速入站等一系列基于云计算技术的邮件增值应用服务。网际思安将以“安邮天下、邮我护航、畅邮未来、邮我保障”作为其发展动力和社会使命，将始终坚持打造邮件信息安全生态圈，为国内的政府机关、企事业客户的邮件信息安全保驾护航。

咨询电话：400-099-6608，或访问网际思安官网http://www.safenext.com。