robots.txt 禁止所有搜索引擎蜘蛛爬取任意页面

在网站根目录下新建一个名为 robots.txt 的文件,填写下面信息并保存。

 

User-agent: *
Disallow:/

 

其中,User-agent: 代表蜘蛛名称,星号代表全部。

Disallow: 代表禁止爬取的目录,/ 代表根目录。