Блог Понтика Максима
Как создать правильный файл robots.txt для WordPress
Привет мои уважаемые читатели!
Свою сегодняшнюю статью мне бы хотелось посвятить очень важному и крайне необходимому файлу robots.txt. Я отвечу на вопрос, который сам задавал несколько месяцев назад: Как создать правильный файл robots.txt для wordpress.
Дело в том, что каждый второй начинающий блоггер совершает одну и ту же ошибку, он не придает особого значения этому файлу, как из-за своей неграмотности, так и непонимания той роли, которую он в себе несет.
Разберем сегодня следующие вопросы:
- Зачем нужен файл robots.txt;
- Как создать robots.txt для wordpress;
- Пример правильного файла;
- Проверка robots.txt в Яндекс Вебмастер;
Зачем нужен файл robots.txt?
Я для создания своего блога решил использовать
движок WordPress
, так как он очень удобный, простой и многофункциональный.
Однако не бывает чего-то одного идеального. Дело в том, что cms wordpress устроена таким образом, что при написании статью происходит ее автоматическое дублирование в архивах, рубриках, результатах поиска,
rss-ленте
. То есть получается, что ваша одна статья будет иметь несколько точных копий на сайте, но с различными url-адресами.
В итоге вы сами себе, не желая, заполняете проект неуникальным контентом, а за такой дублированный материал поисковые системы по головке не погладят и в скором времени загонят такой некачественный на их взгляд сайт под
фильтр АГС
.
Лично я в этом убедился на своем собственном примере. Когда я только начинал вести этот блог естественно я не имел никакого понятия про то, что есть какой-то там файл робота и тем более каким должен быть robots.txt для wordpress.
Для меня было самым главным это побольше написать статей, чтобы в будущем с них продать ссылки в бирже
sape.ru
. Хотелось быстрых и
легких денег
, но не тут-то было…
Мной было написано около 70 статей, однако в панели Яндекс Вебмастер показывалось, что всего проиндексированных 275. Конечно, я подозревал, что не может быть так все хорошо, однако никаких действий не предпринял, плюс добавил блог в
sape.ru
и стал получать 5 р. в сутки…
А уже через месяц на мой блог был
наложен фильтр АГС
, из индекса выпали все страницы и тем самым прикрылась моя доходная лавочка…
СОВЕТ. Если вы только создали свой блог, он еще совсем зеленый и к нему нет доверия поисковиков, не стоит спешить выкачивать с него бабло. Подождите определенное время, выйдите на посещаемость 300 уников в сутки и
зарегистрируйтесь в РСЯ
. Поверьте, ваш доход будет в разы больше с
ЦОП Profit-Partner
, чем
Sape.ru
.
Поэтому вам нужно указать роботам поисковых систем, какие страницы, файлы, папки и др. необходимо индексировать, а какие обходить стороной.
Robots.txt это файл, который дает команду поисковым машинам, что на блоге можно индексировать, а что нет.
Этот файл создается в обычном текстовом редакторе (блокноте) с расширением txt и располагается в корне вашего ресурса.
В файле Robots.txt для wordpress можно указать:
- Какие страницы, файлы или папки необходимо исключить из индексации;
- Каким поисковым машинам полностью запретить индексировать проект;
- Указать путь к файлу sitemap.xml (карта сайта);
- Определить какой у вас будет основное и дополнительное зеркало сайта (с www или без www);
Как создать robots.txt для wordpress?
Итак, сейчас мы приступаем к самому сложному и очень важному. Давайте разберем самые основные команды и директивы, которые необходимо прописывать в фале robots.txt для wordpress.
1) User-agent
В этой директиве вы указываете, какому именно поисковику будут адресованы нижеприведенные правила (команды).
Например, если вы хотите, чтобы все правила были адресованы конкретно сервису Яндекс, тогда прописывает:
User-agent: Yandex
Если необходимо задать обращение абсолютно всем поисковым системам, тогда прописываем звездочку * результат получится следующий:
User-agent: *
2) Disallow и Allow
Disallow запрещает индексацию указанных разделов, папок или страниц блога;
Allow соответственно разрешает индексацию данных разделов;
Сначала вам необходимо указывать директиву Allow, а только затем Disallow. Также запомните, что не должно быть пустых строк между этими директивами, как и после директивы User-agent. Иначе поисковый робот подумает, что указания на этом закончились.
Например, вы хотите полностью открыть индексацию сайта, тогда пишем так:
Allow: /
или
Disallow:
Если хотим наложить запрет на индексацию сайта Яндексу, тогда пишем следующее:
User-agent: Yandex
Disallow: /
Теперь давайте запретим индексировать файл rss.html, который находится в корне моего сайта.
Disallow: /rss.html
А вот как будет выглядеть этот запрет на файл, расположенный в папке posumer.
Disallow: /posumer/rss.html
Теперь давайте запретим директории, которые содержат дубли страниц и ненужный мусор. Это значит, что все файлы, находящиеся в этих папках не будут доступны роботам поисковиков.
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Таким образом, вам нужно запретить роботам ходить по всем страницам, папкам и файлам, которые могут негативно повлиять на развитие сайта в будущем.
3) Host
Данная директива позволяет определить роботам поисковиков, какое зеркало сайта необходимо считать главным (с www или без www). Что в свою очередь убережет блог от полного дублирования и как результат убережет от наложения
фильтра
.
Вам необходимо прописать эту директиву, только для поисковой системы Яндекс, после Disallow и Allow.
Host: seoslim.ru
4) Sitemap
Этой командой вы указывает, где у вас расположена карта сайта в формате XML. Если кто-то еще не создал у себя на проекте XML карту сайта, я рекомендую воспользоваться моей статьей
XML карта сайта для блога
, где я все подробно расписал, как ее создать.
Здесь нам необходимо указать адреса двух карт, которые созданы на сайте в формате xml.
Sitemap: http://seoslim.ru/sitemap.xml
Sitemap: http://seoslim.ru/sitemap.xml.gz
Посмотрите коротенькое видео, которое очень доходчиво объяснит принцип работы файла robots.txt для wordpress.
Пример правильного файла robots.txt для wordpress
Вам необязательно знать все тонкости настройки файла robots.txt. Мой wordpress блог отлично индексируется поисковиками и в индексе нет никаких дублей и ненужного мусорного материала.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */comments
Disallow: /comments
Disallow: /y/
Disallow: /file/
Disallow: /img/
Disallow: /kr/User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */comments
Disallow: /comments
Disallow: /page/
Disallow: /y/
Disallow: /file/
Disallow: /img/
Disallow: /kr/
Host: seoslim.ru
Sitemap: http://seoslim.ru/sitemap.xml
Sitemap: http://seoslim.ru/sitemap.xml.gz
Если хотите, можете использовать в качестве примера именно его, только не забудьте изменить имя моего сайта на свой.
Проверка robots.txt в Яндекс Вебмастер
После того, как вы создали правильный файл robots.txt для wordpress и закинули его в корень своего сайта. Можно выполнить простую проверку его работоспособности в панели Вебмастер от Яндекс.
Для этого переходим в панель Яндекс Вебмастер по этой
ссылке
. Если ты там еще не зарегистрирован, так я тебе рекомендую это сделать, так как сервис очень нужный и крайне полезный. В следующей статье я подробно расскажу про его возможности и работу, поэтому
подпишись на обновление блога
, и ты будешь в курсе всех событий.
Далее выбираем в левой панели настроек вкладки Настройка индексирования далее Анализ robots.txt.
Перед вами появится окно, в котором нажимаем Загрузить robots.txt с сайта, а затем нажимаем Проверить.
Если вы увидите примерно такой вариант как у меня, значит, у вас проблем с файлом никаких нет. В любом случае если Яндексу что-то не понравится в вашем wordpress файле robots.txt, он обязательно об этом сообщит.
Еще можно проверить, не закрыта от индексации какая-нибудь страница сайта. Для этого кликаем по ссылке Список URL добавить и указываем проверяемую страницу, далее нажимает Проверить.
Если все хорошо и страница не запрещена от индексации, вы увидите следующее сообщение.
Заключение
В завершении поста хочу сказать, что если вы сделаете какие-либо изменения в фале robots.txt, то они вступят в силу только через несколько месяцев. Для того чтобы алгоритмы поисковиков приняли решение об исключении какой-то страницы им нужно обдуманное решение не принимает же он их туда просто так.
Хочу, чтобы вы отнеслись серьезно к созданию правильного файла robots.txt для wordpress, так как от него будет зависеть дальнейшая судьба блога. Лично я считаю, что правильный robots.txt сыграл не маловажную роль, в выходе моего блога из-под фильтра АГС. Об этом я рассказывал в статье
Как выйти из АГС за 11 месяцев
.
На этом у меня все, если тебе понравилась статья, обязательно поделись ей с друзьями в социальных сетях и
подпишись на обновление страниц блога
.
До скорой встречи!
Если есть какие-либо вопросы давайте их вместе решать. Оставьте комментарий и он никогда не останется без ответа.
Добавить комментарий