robots.txt 可以告诉搜索引擎您的网站哪些页面可以被收录，哪些页面不可以被收录

如果不想让搜索引擎收录您网站的某些内容，请用 robots.txt 文件指定搜索引擎在您网站上的抓取范围

最简单的严格写法

1
2
3
4
5
6
7
8
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

最合理的写法

1
2
3
4
5
6
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=