织梦dede建站robots.txt写法

在使用织梦dede建站的时候,每一位新站长都要学习并掌握robots.txt写法,因为在robots协议中也是一项网站优化技能,当网站发生一些突然事件,我们可以利用robots.txt文件,简单快速的告诉蜘蛛,网站哪些文件可以抓取收录,哪些文件不允许抓取收录

织梦dede建站robots.txt写法

织梦robots.txt写法

1、User-agent: * 定义:允许所以网络蜘蛛抓取网站

2、Disallow: /data/ 定义:禁止抓取根目录下data(网站数据文件夹目录)文件夹的所以文件

3、Disallow: /dede/ 定义:禁止抓取根目录下dede(织梦网站后台登录地址)文件夹的所以文件

4、Disallow: /include/ 定义:禁止抓取根目录下include(织梦程序核心文件目录)文件夹的所以文件

5、Disallow: /plus/ 定义:禁止抓取根目录下plus(织梦插件及辅助功能目录)文件夹的所以文件

6、Disallow: /special/ 定义:禁止抓取根目录下special文件夹的所以文件

7、Disallow: /templets/ 定义:禁止抓取根目录下templets(网站模板目录)文件夹的所以文件

8、Disallow: /*?* 定义:禁止抓取收录网站动态页面(URL包含?的动态页面)

9、Disallow: /*.js$ 定义:禁止抓取网站js文件,js文件不需要收录,所以一般站长都屏蔽抓取收录

10、Disallow: /*.css$ 定义:禁止抓取根目录下抓取收录css文件,网站样式文件,不需要收录,所以屏蔽抓取收录

11、Sitemap: 定义:网站地图位置,利于蜘蛛去抓取。

以上为织梦网站robots.txt写法,如果需要改动的地方请自己手动修改,每一个网站程序都有它自己独立的robots协议写法,根据网站程序的不同写法则不同,针对后台网站变化而变化。

未经允许不得转载:吴越同舟 » 织梦dede建站robots.txt写法

偏门哥(微信:dd523688)来-钱-快  

赞 (1)

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址