垃圾邮件过滤python 垃圾邮件过滤系统

转载

字节墨海星 2023-12-12 14:16:25

文章标签 垃圾邮件过滤python 运维操作系统垃圾邮件 IP 文章分类 Python 后端开发

拓波软件公司根据上千个客户使用案例，自主研发并改进的九层反垃圾邮件内嵌式引擎，自动更新垃圾邮件规则库，V4.1.0至最新的V4.3.0各版本均具有98%以上的垃圾邮件拦截率。

Turbomail采用九层反垃圾过滤技术，根据不同垃圾邮件特点采用不同技术，综合分析垃圾邮件，同时为每种特征打上垃圾分值，根据综合评分判断是否为垃圾邮件，真正做到准确率高，误杀率低。

垃圾邮件过滤python 垃圾邮件过滤系统_运维

Turbomail系统同时支持发信认证(smtp-auth)、黑名单和系统级垃圾邮件过滤功能，为用户邮箱提供三重保护功能。用户可以随时从国内外反垃圾邮件组织获得黑名单列表文件，导入邮件系统。从而使邮件管理员从被动变为主动。Turbomail系统黑名单功能支持模糊匹配，可以屏蔽一个域如@usa.com ,也可以只屏蔽域内的一个用户如spam@usa.com 。提供多种方式的垃圾邮件过滤功能，避免邮件服务器成为垃圾邮件中转站。

第一层: 网络控制层

经验分析，发送垃圾邮件的服务器一般都会同时大批量的向某些域的多个帐号发送垃圾邮件，对于这些发送垃圾邮件方式，可通过设定一定网络访问频率控制进行有效的阻隔，Turbomail提供了两种设置方式对付这种***，并可自动把发送垃圾邮件的IP归为垃圾IP（SpamIP）列表。

通过smtp 服务层把明显的发送垃圾邮件的smtp 连接拒绝，大大减轻后台投递系统和反垃圾引擎的负载。

通过统计分析，我们发现很多发送垃圾邮件的smtp 连接具有以下特点。

1、同一IP同时的smtp连接数非常大。

2、同一IP一段时间，smtp连接频率非常大。

一般出现这两种情况，都表示源发件人非常有可能发送垃圾邮件。

通过设置以下这两个参数可控制这类型的smtp连接，从而截断发送垃圾邮件的源头：

1、系统设置－》SMTP服务－》一分钟内同一IP允许访问次数

同时设置：

系统设置－》SMTP服务－》启用智能反垃圾IP功能参数，把符合以上两个条件的IP地址自动加入系统的智能反垃圾IP

列表中（SmartSpamIP），当以后系统碰到这些IP的连接的时候，直接拒绝。

可通过：

系统监控－》智能反垃圾IP列表

查看系统目前智能反垃圾IP 列表

注意：

当互联网是经过反垃圾网关再接入邮件系统的情况，由于邮件系统的所有smtp连接都来自反垃圾网关，所以基于Smtp服务反垃圾不再起作用，这是需要把以上两个参数设为-1，以免系统smtp服务故障。

第二层：来源分析

根据垃圾邮件发送者IP的地理位置，与 APNIC 的IP信息库核对结果，看来源是否真实，如果真实则通过，否则可能为可疑邮件，由于IP 来源无法伪装，所以这个反垃圾策略比较有效。

第三层: 黑名单

通过黑名单, turbomail系统设置屏蔽任何一个IP,一个网段；也可以屏蔽任何一个发信人，一个域。

实时黑名单(RBL)主要通过利用互联网公开的rbl 资源判断垃圾邮件的可能性。目前RBL 一般都通过DNS 查询的方式提供对某个IP或域名是否是垃圾邮件发送源的判断。另外，由于国外大多数rbl 都对来自中国的ip 有“歧视”，所以我们并不能完全依靠rbl 来判断一封邮件是否是垃圾邮件，只能根据rbl 查询结果判断邮件是否垃圾邮件的可能性。可设置以下参数定制rbl:

垃圾邮件过滤python 垃圾邮件过滤系统_垃圾邮件过滤python_02

RBL 服务器，指定RBL 查询域名后缀。

DNS 查询类型，根据具体的RBL 要求指定DNS 查询记录类型。

匹配表达式，指定RBL 查询结果的匹配模式，表达式格式采用perl 正则表达式，如果为空，则表示如果可查到RBL结果，就表示符合条件。

目前所知比较有效的RBL服务器为：

xbl.spamhaus.org

bl.spamcop.net

cbl.anti-spam.org.cn

cdl.anti-spam.org.cn

第四层: 灰名单

灰名单技术源于： http://www.greylisting.org/ 。

灰名单技术其基本假设是：病毒和垃圾邮件，通常都是一次性的，如果遇到错误，不会重试。

一些发垃圾邮件的软件，这些软件基本上都不会对邮件服务器返回的错误做出任何重试，而只是简单的在日志里记录发送失败而已。而病毒引发的邮件风暴则更加不会识别邮件服务器返回的错误，因为这些病毒仅仅是简单的发送邮件，发送时根本不理会服务器的状态。

Greylist的设计大体上是基于一种重试的原则，即第一次看到某个IP要想给某个收件人发信，那么它将简单的返回一个临时错误（4xx），并拒绝此请求，正常的邮件服务器都会在一段时间内（如半小时）重发一次邮件。greylist发现还是刚才同样的ip地址和收件人，认为此ip是来自合法服务器的，予以放行。如果是非正常的邮件，那么或者将永远也不再进行重试，或者会疯狂重试，但由于间隔太近，而遭拒绝。因此，greylist只要设置一个合适的放行间隔，就可以在很大程度上对这类垃圾邮件有着良好的免疫能力。greylist的一大特点就是不会丢信，正规的邮件服务器认为4xx错误只是临时性、软性的错误，会隔一段时间重试，因此邮件还是可以投递成功。但greylist的一大缺点即使延迟（delay），延迟从几分钟到几个小时不等。对于一些对邮件及时性很强的客户，greylist可能不是一个很好的选择。

第五层: 趋势分析

趋势分析原理为，所有垃圾邮件都有目标指向，比如：卖药广告邮件都会在邮件内容里指定卖药的电话、邮件或网站，如果不指定这些信息，发送垃圾邮件也就没有意义了。趋势分析法就是通过分析邮件里的电话、邮件或网站链接内容，通过匹配判断他的指向从而判断邮件是否是垃圾邮件。

第六层: 邮件来源判断

主要通过分析邮件的来源，如：发件人ip ，发件人，发件域，等内容，来判断垃圾邮件的可能行。

第七层: SpamFilter内容过滤

通过邮件内容关键字分析，可为符合内容分析结果的邮件打上相应的垃圾邮件评分。这类规则的判断条件类似系统的过滤规则。可参考过滤规则设定来设定过滤评分内容，同时我们也会通过收集客户反馈的垃圾邮件特点整理成规则内容，定期通知客户更新。

第八层: SpamAssassin引擎

SpamAssassin 是一个由Apache 开发的一个著名的反垃圾引擎，turbomail邮件系统完整的集成了SpamAssassin反垃圾引擎。

邮件系统提供了一个名为SA-Server 的SpamAssassin反垃圾服务器，邮件系统通过把需要进行反垃圾分析的邮件提交给SA-Server 进行分析。

SA-Server 在Windows 平台上可通过 SA_Server 服务启动，在Unix/Linux 平台上可通过 sa/sa_server.sh 脚本启动。

SA-Server 默认端口为8700，可通过直接修改 sa/sa_server.pl 修改这个端口。

可通过邮件管理系统中的，反垃圾\反病毒－》反垃圾引擎设置中的SpamAssassin中的相关设置进行SA-Server 的服务配置。