SEO怎么禁止百度蜘蛛爬某个文件夹?

2024-02-29 11:10 小编

禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:


User-agent: Baiduspider


Disallow: wenjianjia/


这里简单解释下几个字段概念:


Baiduspider:这个是百度搜索引擎蜘蛛;


Disallow:这表示禁止,不需要蜘蛛抓取;


wenjianjia/:这里替换你要禁止百度蜘蛛爬行的文件夹名,这里要注意下,如果在文件夹名称的后面加了 / ,就表示禁止抓取文件夹下面的页面,比如说www.test.com/wenjianjia/abc.html,但是www.test.com/wenjianjia/这个栏目页面还是会被抓取的。所以,想要www.test.com/wenjianjia/也不被抓取的话,就要去掉后面的 / ,也就是下面这样的代码:


User-agent: Baiduspider


Disallow: wenjianjia


关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题,本文就简单的介绍到这里,总之使用robots文件是比较方便的,大家可以使用上面的代码,修改成自己的文件夹名称即可。如果要禁止两个文件夹,那就多复制一行,比如:


User-agent: Baiduspider


Disallow: wenjianjia_one/


Disallow: wenjianjia_two/


Tag: 百度 怎么 seo
在线咨询 拨打电话

电话

13363039260

微信二维码

微信二维码