免费《新手做网站视频教程》,在线观看,如果你想从零开始自己做网站,点击开始吧!

robots.txt 禁止所有搜索引擎蜘蛛爬取任意页面

  1. 首页
  2. »
  3. 图文教程
  4. »
  5. 网站搜索引擎优化SEO知识
  6. »
  7. robots.txt 禁止所有搜索引擎蜘蛛爬取任意页面

文章目录

在网站根目录下新建一个名为 robots.txt 的文件,填写下面信息并保存。

 

User-agent: *
Disallow:/

 

其中,User-agent: 代表蜘蛛名称,星号代表全部。

Disallow: 代表禁止爬取的目录,/ 代表根目录。

推荐阅读

联系我