robots.txt 禁止所有搜索引擎蜘蛛爬取任意页面
在网站根目录下新建一个名为 robots.txt 的文件,填写下面信息并保存。
User-agent: *
Disallow:/
其中,User-agent: 代表蜘蛛名称,星号代表全部。
Disallow: 代表禁止爬取的目录,/ 代表根目录。
当前位置:首页 / 网站搜索引擎优化SEO知识
更多栏目
robots.txt 禁止所有搜索引擎蜘蛛爬取任意页面
在网站根目录下新建一个名为 robots.txt 的文件,填写下面信息并保存。
User-agent: *
Disallow:/
其中,User-agent: 代表蜘蛛名称,星号代表全部。
Disallow: 代表禁止爬取的目录,/ 代表根目录。
相关阅读
云主机AMH6.0 如何开启ssl、WordPress如何启用ssl
521人 阅读过WordPress:文章页(single.php)获取当前文章所属分类的所有子分类
214人 阅读过GoDaddy的域名解析在哪?GoDaddy如何进行域名解析?(图文教程)
792人 阅读过