设为首页收藏本站

爱飞SEO软件 -- 助站长腾飞!!!

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

从这里开始1.注册账号-->2.下载软件-->3.查看教程-->4.求助咨询 免费使用全部功能 官方qq群:爱飞seo软件交流

搜索
查看: 693|回复: 3

[原创] 什么是Robots.txt

[复制链接]

19

主题

0

好友

440

积分

注册会员

Rank: 2

签到天数: 1 天

[LV.1]初来乍到

发表于 2015-1-16 16:33:59 |显示全部楼层
本帖最后由 wl960511 于 2015-1-16 16:35 编辑

一、什么是Robots.txt

robots.txt实际是英文搜索引擎爬虫协议(Robots Exclusion Protocol),他的作用主要是告诉搜索引擎那些事网页和内容是可以抓取的,那些是不可以抓取的。通常robots文件都存放在web根目录下,在地址栏目的域名后加/robotx.txt就可以查看到自己的robots.txt文件信息。



二、为什么要写robots协议

1.有助于蜘蛛的抓取速度

2.屏蔽不必要抓取的内容

3.提高网站安全性能



三、robots文件都写了啥

robots命令

User-agent: * (定义)

Disallow: / (禁止命令)

Allow:/ (允许命令)

基础写法

User-agent: * (注意 " : " 后面要有一个英文空格)

Allow: / (允许所有搜索引擎抓取所有网站内容)

Disallow: /*.jpg$ (禁止抓取网站所有为jpg结尾的图片)

Disallow: /*.png$ (禁止抓取网站所有为png结尾的图片)

Disallow: /news/ (禁止抓取网站news这个目录)

Disallow: /news (屏蔽网站所有带news的链接)

Disallow: /*?* (屏蔽网站所有的动态连接。这里只适合静态页面的网站和伪静态的网



四、橘子的robots都写了啥

橘子的robots.txt地址:http://seo.honjv.cn/robots.txt

User-Agent: *

Disallow: /wp-includes/(屏蔽这个目录下的文件)

Disallow: /wp-admin/(屏蔽了登陆页面)

Disallow: /wp-content/(屏蔽这个目录下的文件)

Disallow: /wp-login(屏蔽注册表)

Disallow: /?s=*/(屏蔽所有搜索产生的动态链接)

Sitemap: http://seo.honjv.cn/sitemap.html(网站地图)

Sitemap: http://seo.honjv.cn/sitemap.xml(蜘蛛地图)

点评

544851492  www.miss56.net/XiaoShuo/27047/ 我的美女老师  发表于 2015-3-6 11:45
踩过的脚印
回复

使用道具 举报

无效楼层,该帖已经被删除
无效楼层,该帖已经被删除
无效楼层,该帖已经被删除
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

在线客服
视频演示
我的任务

申请友链|手机版|百度|爱飞科技 ( 苏ICP备12032809号 )  

GMT+8, 2019-5-24 05:31 , Processed in 0.538259 second(s), 44 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

更多