WordPress robots.txt文件写法

WordPress博客的robots.txt文件写法,随手Google一下就会有很多搜索结果可以参考。当然你也可以选择去参考那些知名网站的robots.txt文件写法,查看方法很简单,直接输入http://目标域名/robots.txt,回车即可。每个网站都有自己的特色,只有了解了robots.txt文件的原理和概念之后,才能总结出一套适合自己网站的robots.txt文件写法。

下面,分享下robots.txt文件的写法:
User-agent: *
Disallow: /wp-
Disallow: /?
Disallow: /feed/
Disallow: */feed/
Disallow: */trackback/
User-agent: Baiduspider
Disallow: /page/
Disallow: /category/*/page/
Disallow: /tag/*/page/
Sitemap: http://429006.com/sitemap.xml

个人认为,上面的robots.txt文件写法是很合理的,下面详细解释下每行规则的含义:

User-agent: * 对所有搜索引擎开放收录
Disallow: /wp- 禁止搜索引擎收录所有包含“wp-”字样的url,如wp-admin、wp-content、wp-includes、wp-login.php等
Disallow: /? 禁止搜索引擎收录所有包含“?”字样的url
Disallow: /feed/ 禁止搜索引擎收录RSS订阅页面
Disallow: */feed/ 禁止搜索引擎收录所有分类目录、TAG、文章的RSS订阅
Disallow: */trackback/ 禁止收录所有分类目录、TAG、文章的trackback
User-agent: Baiduspider 以下规则仅针对百度蜘蛛
Disallow: /page/ 禁止百度收录首页分页,防止首页权重过于分散
Disallow: /category/*/page/ 同理,禁止百度收录分类目录分页
Disallow: /tag/*/page/ 同理,禁止百度收录TAG标签分页
Sitemap: http://429006.com/sitemap.xml WordPress robots.txt文件增加Sitemap链接方法

原文地址:
http://www.xp-sem.com/wordpress-robots-txt-writing/

Related Posts

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.