Lugir

　　如果网站上有一些页面不想被别人从搜索引擎搜索到，我们可以通过编写 robots.txt 文档来对搜索引擎的行为进行控制。

　　robots.txt 是业界的标准，它让网站能够所有者控制搜索引擎访问他们的网站。通过定义 robots.txt 的内容，可以实现不同层次地控制访问，比如让搜索引擎只访问单个目录，特定类型的网页，或者某一网页。

　　有效地使用 robots.txt 能让你更好地控制对你的网站的搜索。

如何使用 robots.txt 文件控制搜索引擎对网站的访问和索引？

在网站根目录下创建一个 robots.txt 文档，将以下内容写入其中
　　User-Agent: Googlebot
　　Disallow: /logs/

　　User-Agent 行指明该文档只针对为 Googlebot，当然你也可以使用 User-Agent: *，这样所有主要搜索引擎都会阅读并遵循你放在 robots.txt 的规则。只要你愿意，还可以为不同的搜索引擎指定不同的规则。
　　Disallow 行告诉 Googlebot 不能访问和索引 logs 目录。这样一来，你放在logs目录中的内容将不会显示在谷歌搜索结果中。

更多关于 robots.txt 文档的语法和规则请访问 http://www.robotstxt.org/