WordPress博客的robots.txt文件写法，随手Google一下就会有很多搜索结果可以参考。当然你也可以选择去参考那些知名网站的robots.txt文件写法，查看方法很简单，直接输入http://目标域名/robots.txt，回车即可。每个网站都有自己的特色，只有了解了robots.txt文件的原理和概念之后，才能总结出一套适合自己网站的robots.txt文件写法。
下面，分享下robots.txt文件的写法：
User-agent: *
Disallow: /wp-
Disallow: /?
Disallow: /feed/
Disallow: */feed/
Disallow: */trackback/
User-agent: Baiduspider
Disallow: /page/
Disallow: /category/*/page/
Disallow: /tag/*/page/
Sitemap: http://429006.com/sitemap.xml
个人认为，上面的robots.txt文件写法是很合理的，下面详细解释下每行规则的含义：
User-agent: * 对所有搜索引擎开放收录
Disallow: /wp- 禁止搜索引擎收录所有包含“wp-”字样的url，如wp-admin、wp-content、wp-includes、wp-login.php等
Disallow: /? 禁止搜索引擎收录所有包含“?”字样的url
Disallow: /feed/ 禁止搜索引擎收录RSS订阅页面
Disallow: */feed/ 禁止搜索引擎收录所有分类目录、TAG、文章的RSS订阅
Disallow: */trackback/ 禁止收录所有分类目录、TAG、文章的trackback
User-agent: Baiduspider 以下规则仅针对百度蜘蛛
Disallow: /page/ 禁止百度收录首页分页，防止首页权重过于分散
Disallow: /category/*/page/ 同理，禁止百度收录分类目录分页
Disallow: /tag/*/page/ 同理，禁止百度收录TAG标签分页
Sitemap: http://429006.com/sitemap.xml WordPress robots.txt文件增加Sitemap链接方法
原文地址：
http://www.xp-sem.com/wordpress-robots-txt-writing/