WordPress建站Robots.txt协议写法

WordPress是一款非常优秀的开源程序,因此使用WordPress的人居多,在WordPress建站中Robots.txt协议也是一项网站优化小技能,它可以明确的告诉网络蜘蛛,哪些文件允许抓取,哪些文件不允许抓取。

WordPress建站Robots.txt协议写法

当蜘蛛访问网站的时候,它首先会检查根目录有没有robots.txt文件,如果网站根目录有robots.txt,蜘蛛会按照robots协议抓取文件,如果根目录没有robots.txt,蜘蛛则会抓取根目录所以的文件并收录。

它首先会检查根目录有没有robots.txt文件

在网站优化中。有些系统程序文件不需要抓取收录,所以我们需要使用robots协议屏蔽蜘蛛抓取收录,因此可以节约资源,让蜘蛛更好的抓取收录网站。

WordPress站点robots.txt标准写法

1、User-agent: *

允许所以网络蜘蛛抓取本网站

2、Disallow: /wp-admin/         
Disallow: /wp-content/         
Disallow: /wp-includes/

定义:告诉蜘蛛(搜索引擎)禁止抓取网站后台程序wp-admin的所有文件

3、Disallow: /*/comment-page-*
Disallow: /*?replytocom=*

定义:禁止蜘蛛(搜索引擎抓)取评论分页等相关链接。

4、Disallow: /category/*/page/
Disallow: /tag/*/page/

定义:禁止蜘蛛(搜索引擎抓)抓取收录网站分类和tag标签的分页。

5、Disallow: /*/trackback

定义:禁止蜘蛛(搜索引擎)抓取收录trackback等网站垃圾信息/6

6、Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

定义:禁止蜘蛛(搜索引擎)抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

7、Disallow: /?s=*
Disallow: /*/?s=*\

定义:禁止蜘蛛(搜索引擎)抓取站内搜索结果,搜索功能用于方便搜索答案,所以不需要抓取收录。

8、Disallow: /*?*

定义:禁止蜘蛛(搜索引擎)抓取所以包含?的动态页面。

9、Disallow: /attachment/

定义:禁止蜘蛛抓取附件页面,比如毫无意义的图片附件页面。

做网站难免会发生一些小问题,例如网站改版、目录删除、文章删除等造成众多死链接,从而影响网站收录排名,所以我们需要使用robots.txt协议写法直接不允许蜘蛛抓取收录某页面。

未经允许不得转载:吴越同舟 » WordPress建站Robots.txt协议写法

偏门哥(微信:dd523688 )欢迎一起交流一起分享  

赞 (0)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址