设为首页收藏本站

爱飞SEO软件 -- 助站长腾飞!!!

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

从这里开始1.注册账号-->2.下载软件-->3.查看教程-->4.求助咨询 免费使用全部功能 官方qq群:爱飞seo软件交流

搜索
查看: 2409|回复: 3

[教程] 采集内容过滤流程--过滤干扰码、快速回复等

[复制链接]

64

主题

975

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

签到天数: 31 天

[LV.5]常住居民I

151****1798

社区QQ达人 宣传达人

发表于 2012-10-30 16:41:27 |显示全部楼层
爱飞软件采集内容过滤处理如下图:



通过上图看到,有三个地方可以设置内容过滤:

一、采集规则:采集规则可以抓取需要的字段,支持多种方式过滤;

二、辅助规则:辅助规则是对采集规则的补充,注意,是在 采集源(被采集网站)个性设置--网站信息--辅助规则 内设置,主要针对本网站一些特定的HTML区块过滤;
  (进入采集源个性设置:打开被采集网站网页,右键点击网页,选择个性设置即可。)

三、处理方案:处理方案侧重“通用过滤”,针对被采集的内容进行多种方式过滤;


软件支持的主要“过滤方式”如下:
其中html代码部分请参考 爱飞采集规则基础教程,HTML代码入门教程。

A、 html常用代码过滤
可以快速过滤常见的html代码,如
  1. <a  超链接(包括附件链接)
  2. <font 字体、颜色等
  3. <img 图片
复制代码
B、html块过滤
相比过滤常见html代码,html块过滤更精准,侧重于定位具有特征字符的html块,比如 干扰码、快速回复、发帖机遇等(在 采集源(被采集网站)个性设置--网站信息--辅助规则--html过滤  内设置,一行一个),实际上块过滤也可以支持过滤 html常用代码过滤,有一些特殊的应用比如过滤gif图片,就是利用网址中带有.gif 特征,下面整理一些常见的论坛过滤字段
采集源(被采集网站)个性设置--网站信息--辅助规则--html块过滤  设置完成后,可以即刻预览对应的网页(ctrl+b),来分析是否成功
  1. 特征字符  说明
  2. <a    过滤整个<a字段,包括中间的关键词
  3. <img  过滤所有图片
  4. .gif       过滤gif图片,如头像、附件图标等
  5. class="pr"   dz论坛的广告位
  6. class="jammer"   论坛干扰码之一
  7. id="vfastpost"     快速回复框
  8. class="bdlikebutton  百度喜欢“顶”
  9. class="psth      发帖际遇
  10. id="dot"     大脚印
复制代码
技巧:我们在爱飞软件浏览页面上,框选要过滤的区域,利用右键功能查看网页代码,即可以快速的分析对应源代码了,找出特征字段。

C、正则(变动字符)过滤
正则过滤处理的是 UBB代码,主要针对有规律、变动的一句或者一段字符,详细用法请参考 爱飞软件正则表达式入门

D、同义词(固定字符)过滤
同义词过滤处理的是 UBB代码,主要针对 相同的字符,用法比较简单,写法为:
  1. aaa=bbb   aaa替换为bbb
  2. aaa=     aaa替换为空,即删除aaa
复制代码
五、敏感词过滤
支持敏感词替换、过滤,或者是不采集(删除本条采集任务)

E、包含词和禁止词过滤
包含词和禁止词是针对任务的过滤,比如包含某个词才采集,包含禁止词则不采集(删除本条采集任务)。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博账号登陆

[发帖际遇]: 一个袋子砸在了 admin 头上,admin 赚了 6 铜钱. 幸运榜 / 衰神榜
踩过的脚印
已有 1 人评分铜钱 收起 理由
系统奖励 + 2 发帖收益,回帖人越多收益越高

总评分: 铜钱 + 2   查看全部评分

回复

使用道具 举报

48

主题

0

好友

2052

积分

禁止发言

签到天数: 43 天

[LV.5]常住居民I

183****3575

发表于 2012-11-2 10:53:08 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

1

主题

0

好友

92

积分

新手上路

Rank: 1

签到天数: 4 天

[LV.2]偶尔看看I

152****0350

社区QQ达人

发表于 2012-11-8 10:16:48 |显示全部楼层
..........................
回复

使用道具 举报

18

主题

1

好友

3078

积分

高级会员

Rank: 4

签到天数: 201 天

[LV.7]常住居民III

发表于 2013-1-21 11:04:18 |显示全部楼层
谢谢你的提示,我再做一次
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

在线客服
视频演示
我的任务

申请友链|手机版|百度|爱飞科技 ( 苏ICP备12032809号 )  

GMT+8, 2020-9-24 01:05 , Processed in 0.243330 second(s), 46 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

更多