robots.txt 禁止所有搜索引擎蜘蛛爬取任意页面

在网站根目录下新建一个名为 robots.txt 的文件，填写下面信息并保存。

 

User-agent: *
Disallow:/

 

其中，User-agent: 代表蜘蛛名称，星号代表全部。

Disallow: 代表禁止爬取的目录，/ 代表根目录。