Robots.txt完整写法

　　Robots.txt具体解释如下：

1、Disallow: /wp-admin/、Disallow: /inc/和Disallow: /other/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: page/和Disallow: /tag trackback

禁止搜索引擎抓取收录trackback等垃圾信息

3、Disallow: /feed、Disallow: ?s=*\

禁止搜索引擎抓取站内搜索结果

4、Disallow: /attachment/

禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。

完整的WordPress站点robots.txt文件内容如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /inc/

Disallow: /other/

Disallow: page/

Disallow: /tag trackback

Disallow: /feed

Disallow: ?s=*\

Disallow: /attachment/

Sitemap: http://www.thefox.cn/sitemap.xml

具体使用的时候，请把Sitemap换成贵站的sitemap完整地址！