Как правильно использовать директиву Crawl-delay?


Как правильно использовать директиву Crawl-delay?
Рейтинг: 5.0/2
Просмотров: 95 | Добавил: (18.01.2022) (Изменено: 18.01.2022)
Всего ответов: 2
Обсуждение вопроса:
Всего ответов: 2
Аватар
0

18.01.2022 оставил(а) комментарий:
С 22 февраля 2018 года Яндекс перестал учитывать директиву Crawl-delay. И теперь скорость обхода регулируется только в Яндекс Вебмастер в разделе «Индексирование — Скорость обхода».

В Google данная директива тоже не используется о чем было сказано в 2017 году.

Crawl-delay — это очень давняя директива в Google. И нужна она была вебмастерам, чтобы указать период между запросами для снижения нагрузки на сервер, которые делает краулер (робот поисковой системы).

Сама по себе идея была хорошей и разумной для того времени. Но дальше стало понятно, что серверы сегодня довольно мощные, так что смыла устанавливать определенный период между запросами попросту нет.

Посредством директивы мы просим роботов обходить страницы нашего веб-ресурса не чаще, чем один раз в три, пять и т.п. секунд. То есть, правило задает роботу поисковой системы промежуток времени, измеряющийся в секундах, между концом загрузки одной веб-страницы и началом загрузки последующей.

User-agent: *
Crawl-delay: 1.0 # тайм-аут посещения всеми роботами – не чаще, чем 1 раз в 1 секунду

Есть поисковики, которые работают с форматом дробных чисел, являющихся параметром директивы Crawl-delay.
Аватар
0

18.01.2022 оставил(а) комментарий:
Crawl-delay - директива файла robots.txt, позволяющая задать задержку сканирования страниц для снижения входящей пиковой нагрузки на сервер в момент обхода сайта поисковым роботом.

Формат записи - в секундах, допустимы десятичные дроби

Пример:

Crawl delay: 3 - задержка в три секунды.
Crawl delay: 0.5 - задержка в половину секунды.

В случае, если в момент обхода поисковиками производительность вашего сайта падает, будет полезно попробовать поставить задержку обхода в две-три секунды.

Полезным будет большое значение директивы на слабых тарифах хостингов, чтобы сайт не упал в неподходящий момент. Иногда сервера на небольших тарифах просто не в состоянии обрабатывать в секунду столько запросов, сколько от них требует бот поисковой системы.
avatar