Сб, 18.08.2018, 21:08:08
Приветствую Вас Гость
Последние сообщения · Участники · Правила форума · Поиск · RSS
  • Страница 1 из 1
  • 1
Форум » Интернет » Вебмастеру » robots.txt для Wordpress
robots.txt для Wordpress
ingvarr
(65535) Вне сайта
Дата: 27.04.2012, 16:59:24 | Сообщение № 1
admin
Репутация: 731
Награды: 116
User-agent: *
Allow: */uploads
Disallow: /cgi-bin
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php


В строке Allow: */uploads мы разрешаем индексировать ссылки, в которых встречается /uploads. Это правило обязательно, т.к. ниже мы запрещаем индексировать ссылки начинающихся с /wp-, а /wp- входит в /wp-content/uploads. Поэтому, чтобы перебить правило Disallow: /wp- нужна строчка Allow: */uploads, ведь по ссылкам типа /wp-content/uploads/... у нас могут находиться картинки, которые должны индексироваться, так же там могут быть какие-то загруженные файлы, которые, опять же, незачем скрывать от поисковиков. Allow: нужно ставить перед правилами Disallow:.

Для Yandex, Allow: должна идти перед директивой Disallow:, которая перекрывает её правила, а не после.
А Google понимает Allow: и вверху и внизу секции.

А остальные строчки запрещают роботам "ходить" по ссылкам, которые начинаются с: /cgi-bin (каталог скриптов на сервере), /feed (RSS фид блога), /trackback и /comments. Или где встречаются "?s=" *?s= (страница поиска).
Ответить



Форум » Интернет » Вебмастеру » robots.txt для Wordpress
  • Страница 1 из 1
  • 1
Поиск:



             Рейтинг@Mail.ru   HotLog