Каким должен быть правильный robots txt для wordpress

Юрий

Приветствую Вас! Я обычный человек из обычного города, обычной страны. На страницах своего блога я буду делится с вами тем что в первую очередь интересно мне — заработоке с помощью блога и социальных сетей, информацией о жизни блогосферы, о нашем сообществе «Блогеры круглого стола» и конечно же о всяких полезностях и моем родном городе Харькове.

Читайте также:

комментария 34

  1. Спасибо, Юрий. Всё четко и просто, без лишнего «запудривания». Только одно не понял, что за закрытая двадцатка Disallow: /20* ?

    • Ольга:

      Меня тоже заинтересовала эта строка)) Ни разу ее не встречала.

    • Пожалуйста, Валерий. Насколько я понял эта директива отвечает за запрет индексации страниц определенного уровня (типа http://site.ru/201*/*/*/*/), а вот какого именно сказать не могу так как сам нашел эту информацию в интернете без пояснений. Пока оставлю так — надеюсь проблем с индексацией не возникнет.

  2. Юрий Бараковский:

    :mail: Юрий, статья мне очень понравилась, сейчас буду делать файл robots.txt для своего сайта, спасибо за информацию.

  3. я бы двадцатку лучше убрал, так как сразу запрещаются к индексу ВСЕ картинки к статьям. Посмотрите на ссылку любого фото на блога и поймете почему 🙂

  4. 🙂 Я с этой двадцаткой год назад столкнулся, после обращения фотоблогера, который никак не мог понять почему его авторские фото не в поиске. Долго голову ломали по этому поводу.

    • Да уж. Бывает. Опыт — великое дело.
      Фотками в выдаче не стоит пренебрегать. Даже если они не уникальны определенный трафик все же они несут.

  5. Да, действительно двадцатка лишняя. WordPress дублирует страницы по дате создания. Но это можно закрыть в настройках плагина Seo by Yoast. Вобще великолепный плагин с кучей полезных настроек. Мне нравится. Кстати, у вас же на сайте есть его описание.

  6. Александр Каратаев:

    Юрий, отличная статья — всё доходчиво и ничего лишнего. Правда у меня robors.txt немного отличается… Плюс ещё для Google инструкции писал. Гугл-бот может не воспринять общие. Вот можно по ссылке глянуть на мой: http://blog.ddw.kz/robots.txt

  7. Нормальный, лаконичный файл robots.txt Сейчас многие начинающие блоггеры копируют такие файлы у опытных, например у Борисова. У него там какие-то непонятные свои разделы есть на сайте, а другие тупо копируют его директивы, не имея таких разделов на своем сайте.
    Файлы wp-trackback, wp-feed, wp-comments имеют расширение php, поэтому их закрывает одна команда Disallow: /*.php.

  8. Анна:

    Спасибо Юрий за статью)
    Вот у меня такой вопрос с подвохом, а вы не когда не задумывались, почему гугл не реагирует на эти правила page feed и пр..? Прочла такую инфу, что нужно такие урлы делать редиректом в .htcces. Что думаете? Как бороться с гуглом?

    • Ань, ну роботс это ж рекомендации для поисковых роботов, которым они могут и не последовать. Редирект естественно в таком случае надежнее. Только ка настроить правильно эти редиректы, без ущерба для блога это вопрос.

  9. Анна:

    Hi, конкурентам как поживаете? ! :bye:
    Проверяла сейчас позиции сайта и увидела, что мы с тобой по этой теме стоим рядышком бок о бок 🙂

  10. name nika:

    Добрый вечер. А зачем в роботсе два раза прописана одна и та же карта? Подскажите пожалуйста в чем разница /wp-includes/ /wp-includes . Я имею ввиду с / и без него. Вы не могли бы посмотреть мой роботс. По моему я что-то намудрила сним.

  11. Для самого полного счастья вы забыли добавить вот такую строчку Allow: /wp-content/uploads/

  12. Старенькая статейка 🙂
    Сегодня открыл Гуглу всё из-за мобильных требований

  13. Гугл теперь понижает в выдаче неоптимизированные под мобильные девайсы сайты.
    Проверить можно тут https://www.google.com/webmasters/tools/mobile-friendly/
    Проверять лучше и главную и др. страницы. В целом в гугл вебмастере видно, какие не нравятся боту.

  14. Виталий Охрименко:

    Блин, вот сколько разной, а главное противоречивой информации по поводу этого роботса уже нашел. В итоге запутался.

    Юр, подскажи пожалуйста, если не трудно, у меня роботся в порядке или надо что-то заменить

  15. Спасибо огромное за информацию, выручили просто!

Добавить комментарий

%d такие блоггеры, как: