标签： robot

其实robots.txt就是一个记事本文件(txt格式文件),存放在网站根目录下。

那么robots.txt语法到底有哪些呢？

robots.txt语法有三个语法和两个通配符。

三个语法：

1.首先要定义网站被访问的搜索引擎是那些。

User-agent：（定义搜索引擎）
语法：User-agent: * 或 搜索引擎的蜘蛛名称

例子：User-agent：Googlebot （定义谷歌，只允许谷歌蜘蛛爬取）
User-agent：Baiduspider （定义百度，只允许百度蜘蛛爬取）
User-agent：*（定义所有搜索引擎）

2：屏蔽搜索引擎爬去语法

Disallow:（禁止语法） 用来定义禁止蜘蛛爬取的页面或目录。

写法：DisAllow:/文件夹目录/ （表示禁止蜘蛛爬取网站的其中一个目录）
或 DisAllow:/文件名称 （表示禁止蜘蛛爬取网站的其中一个页面）

例如:Disallow:/ (禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下)
Disallow:/admin (禁止蜘蛛爬取admin目录)
Disallow:/abc.html (禁止蜘蛛爬去abc.html页面)
Disallow:/help.html (禁止蜘蛛爬去help.html页面)

整套语法示范:
User-agent: *
Disallow:/目录1/ （禁止所有搜索引擎的蜘蛛爬取站点的目录1）
Disallow:/目录2/ （禁止所有搜索引擎的蜘蛛爬取站点的目录2）

3：允许搜索引擎爬去语法

Allow:（允许语法） 用来定义允许蜘蛛爬取的页面或子目录

例如: Disallow:/ (禁止蜘蛛爬取网站的所有目录)
Disallow:/admin (禁止蜘蛛爬取admin目录)
Allow:/admin/abc.html(“/” 表示根目录下，允许蜘蛛爬去admin目录中的abc.html页面）

两个通配符：

匹配符”$”和 “*”
$ 通配符：匹配URL结尾的字符； * 通配符：匹配0个或多个任意字符；

例子1：
允许所有搜索引擎蜘蛛抓取以某个扩展名为后缀的网页地址，代码如下:
User-agent: *
Allow: .htm$ 说明(其中“.htm”，表示充许搜索引擎蜘蛛抓取所有”.htm”为后缀的文件，注意，这里并不包括以”.html”为后缀的文件)

例2：
设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，代码如下:
User-agent: *
Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有以”.htm”为后缀的文件，注意，这里并不包括以”.html”为后缀的文件)

如果您不想让 Google 或其他搜索引擎访问您网站中的某些内容，请用 robots.txt 文件指定搜索引擎抓取您的网站内容的方式。这是google管理员工具对robots.txt功能的一个描述。
robots.txt文件说白了就是告诉爬虫哪些网址是可以被收录那些是禁止收录的。对于大多数wordpress博主来说很少注意robots.txt，认为他无关紧要，其实不然，robots.txt在wordpress优化，网站seo方面有着很重要的作用。robots.txt不光可以保护网站隐私链接不被搜索到，而且可以控制网站内容的重复和抓取错误。下面我就写几种wordpress常用的robots.txt规则。

最简单的robots.txt规则:

User-agent: *
Disallow:

这是开放式的写法，Disallow:留空，是让搜索引擎收录所有链接。

安全性的robots.txt书写规则：

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-
Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.cgi$
Disallow: /?s=

有利于seo的robots.txt书写规则：(以本站为例)

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: */rss.xml
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: */trackback/
Disallow: */feed/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.cgi$
Disallow: /*?*
Disallow: /?s=
Sitemap: http://www.example.com/sitemap.xml

先说所我为什么这么设置。google管理员工具在分析我网站抓取错误信息的时候，发现大量链接是http://www.example.com/xxxx/rss.xml的形式，为了减少抓取错误，我就让搜索不爬这些链接，Disallow: */rss.xml  ，如果你没遇到和我一样的问题这一条你可以不用加。同样，如果你的网站有大量抓取错误的无效链接，你可以在这里指定不抓取。

再有就是网站元重复太严重（标题重复，描述重复，关键词重复），这严重影响搜索引擎排名，我看中的是文章页排名，所以像标签页，作者文章归档，月份存档页，分页这些我选择Disallow。因为我的文章页面在google中的权重很高，流量几乎都是文章页面的，所以才这么设置。这个根据自己网站实际情况选择性的设置。

feed和trackback的条款是一定要的，可以说wordpress 80%以上的补充材料都是和它们有关。

wordpress官方robots.txt书写规则（国外）

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

对于自己网站情况还不太清楚的博主，我推荐用这种，没有风险，安全，有利于seo。具体内容请参考：wordpress codex

在你修改robots.txt文件时，可以用Google网站管理员工具检测一下robots.txt是否符合规范。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。