Создаем Robots.txt для Wordpress
Воскресенье, 06 июня 2010 13:18
Robots.txt - служебный файл, он закрывает любые страницы вашего сайта от Поисковых роботов, тем самым не допуская дубликации материала и направляет робота на нужные страницы.
Итак, вдаваться технические подробности не станем, просто создаем в деректории сайта на wordpress текстовый файл, копируем туда следующее:
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ruUser-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */commentsSitemap: http://yourdomain.ru/sitemap.xml
Вместо yourdomain.ru – вписываем ваш домен.
Продолжая статью о том, как установить wordpress на денвер скажу, что, лучше создать robots.txt сейчас, и кинуть в папку с движком на локалхосте.А потом все это и перенести на интернет-хостинг.
Все, стандартный robots.txt для сайта на wp создан.
снежный человек пишет:
18 июня 2010 в 8:40
Часто в стандартный robots.txt для сайта на wordpress еще входит закрытие тэгов, которые, раз – дублируют контент и два – тайтлы у них не очень хорошо отображаются. Поэтому многие советуют их тоже закрывать. Единственный их плюс – это дополнительные страницы второго уровня для сапы-))