采集内容过滤流程--过滤干扰码、快速回复等

admin

爱飞软件采集内容过滤处理如下图：



通过上图看到，有三个地方可以设置内容过滤：

一、采集规则：采集规则可以抓取需要的字段，支持多种方式过滤；

二、辅助规则：辅助规则是对采集规则的补充，注意，是在 采集源（被采集网站）个性设置--网站信息--辅助规则 内设置，主要针对本网站一些特定的HTML区块过滤；
  （进入采集源个性设置：打开被采集网站网页，右键点击网页，选择个性设置即可。）

三、处理方案：处理方案侧重“通用过滤”，针对被采集的内容进行多种方式过滤；


软件支持的主要“过滤方式”如下：
其中html代码部分请参考 爱飞采集规则基础教程，HTML代码入门教程。

A、 html常用代码过滤
可以快速过滤常见的html代码，如

1. <a  超链接（包括附件链接）
   
2. <font 字体、颜色等
   
3. <img 图片

复制代码

B、html块过滤
相比过滤常见html代码，html块过滤更精准，侧重于定位具有特征字符的html块，比如 干扰码、快速回复、发帖机遇等（在 采集源（被采集网站）个性设置--网站信息--辅助规则--html过滤  内设置，一行一个），实际上块过滤也可以支持过滤 html常用代码过滤，有一些特殊的应用比如过滤gif图片，就是利用网址中带有.gif 特征，下面整理一些常见的论坛过滤字段
在 采集源（被采集网站）个性设置--网站信息--辅助规则--html块过滤  设置完成后，可以即刻预览对应的网页（ctrl+b），来分析是否成功

1. 特征字符  说明
   
2. <a    过滤整个<a字段，包括中间的关键词
   
3. <img  过滤所有图片
   
4. .gif       过滤gif图片，如头像、附件图标等
   
5. class="pr"   dz论坛的广告位
   
6. class="jammer"   论坛干扰码之一
   
7. id="vfastpost"     快速回复框
   
8. class="bdlikebutton  百度喜欢“顶”
   
9. class="psth      发帖际遇
   
10. id="dot"     大脚印

复制代码

技巧：我们在爱飞软件浏览页面上，框选要过滤的区域，利用右键功能查看网页代码，即可以快速的分析对应源代码了，找出特征字段。

C、正则（变动字符）过滤
正则过滤处理的是 UBB代码，主要针对有规律、变动的一句或者一段字符，详细用法请参考 爱飞软件正则表达式入门。

D、同义词（固定字符）过滤
同义词过滤处理的是 UBB代码，主要针对 相同的字符，用法比较简单，写法为：

1. aaa=bbb   aaa替换为bbb
   
2. aaa=     aaa替换为空，即删除aaa

复制代码

五、敏感词过滤
支持敏感词替换、过滤，或者是不采集（删除本条采集任务）

E、包含词和禁止词过滤
包含词和禁止词是针对任务的过滤，比如包含某个词才采集，包含禁止词则不采集（删除本条采集任务）。

ziyunlaolang

..........................

t123tzx

谢谢你的提示，我再做一次