标签:robots协议

SEO教程

什么是robots协议?

吴越同舟 发布于 2020-02-20

robots协议:也称robots.txt、网络蜘蛛、机器人等,利用robots.txt协议告送搜索引擎(网络蜘蛛)哪些页面允许抓取,哪些页面不允许抓取。 当蜘蛛访问一个网站的时候,它首先会检查根目录下是否有robots.txt的存在,如果网站有robots协议,蜘蛛则按照rob...

阅读(135)评论(0)赞 (0)