был у меня когда то нормальный robots.txt для wordpress но я его похерил. После как то получилось что то собрать по кускам и вот решил выложить для общественности. Не судите строго, все как есть.
Кстати, может кому не подойдет….извиняйте если что…
Держите полностью настроенный роботс для Word Press: (закрывает все дубли страниц)
User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /tag Disallow: /archive Disallow: /wp-trackback.php Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/ Disallow: /?feed= Disallow: /?s= Disallow: /?attachment_id= Disallow: */author/ Host: site.ru User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content Disallow: /tag Disallow: /archive Disallow: /wp-trackback.php Disallow: */trackback/ Disallow: */author/ Disallow: */feed/ Disallow: */comments/ Disallow: /?attachment_id= Disallow: /?feed= Disallow: /?s= Sitemap: http://site.ru/sitemap.xml