如何禁止掉搜索引擎蜘蛛的访问（robots.txt）？

答：在根目录下面建立robots.txt（小写）文件，通过这个文件禁止掉搜索引擎蜘蛛的访问。具体方法：

例如要禁止百度蜘蛛访问

User-agent: *

Disallow:

User-agent: baiduspider

Disallow: /

首先是User-agent，每个搜索引擎都有自己的User-agent，比如Google的为Googlebot，百度的为baiduspider ，可能区分大小写，其他相对应的应该到搜索引擎的帮助页面去查询一下。* 是一个通配符，通配所有的搜索引擎，Disallow: 项目表示禁止访问的位置，第一个Disallow:后面为空，表示没有禁止访问的项目，也就是允许所有的搜索引擎收录。但如果要添加例外，还可以添加一行User-agent: baiduspider，表示下面的规则仅适合百度蜘蛛，百度蜘蛛的规则是Disallow: / ，也就意味着禁止收录该域名下所有的网页。

特别提示：一般情况下不建议禁止搜索引擎蜘蛛的访问，禁止蜘蛛访问后您的网站可能被百度等取消收录，这会导致你的网站访问量减少，损失潜在的客户。