Robots.txt完整写法

作者 : 慕源网 本文共523个字,预计阅读时间需要2分钟 发布时间: 2021-09-21 共280人阅读

Robots.txt完整写法

  Robots.txt具体解释如下:

 

1、Disallow: /wp-admin/、Disallow: /inc/和Disallow: /other/

 

用于告诉搜索引擎不要抓取后台程序文件页面。

 

2、Disallow: page/和Disallow: /tag trackback

 

禁止搜索引擎抓取收录trackback等垃圾信息

 

3、Disallow: /feed、Disallow: ?s=*\

 

禁止搜索引擎抓取站内搜索结果

 

4、Disallow: /attachment/

 

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

 

完整的WordPress站点robots.txt文件内容如下:

 

User-agent: *

 

Disallow: /wp-admin/

 

Disallow: /inc/

 

Disallow: /other/

 

Disallow: page/

 

Disallow: /tag trackback

 

Disallow: /feed

 

Disallow: ?s=*\

 

Disallow: /attachment/

 

Sitemap: http://www.thefox.cn/sitemap.xml

 

具体使用的时候,请把Sitemap换成贵站的sitemap完整地址!

 


慕源网 » Robots.txt完整写法

常见问题FAQ

程序仅供学习研究,请勿用于非法用途,不得违反国家法律,否则后果自负,一切法律责任与本站无关。
请仔细阅读以上条款再购买,拍下即代表同意条款并遵守约定,谢谢大家支持理解!

发表评论

开通VIP 享更多特权,建议使用QQ登录