Что за бот ia_archiver?


Что за бот ia_archiver?
Рейтинг: 4.3/3
Просмотров: 90 | Добавил: (18.01.2022) (Изменено: 18.01.2022)
Всего ответов: 2
Обсуждение вопроса:
Всего ответов: 2
Аватар
0

18.01.2022 оставил(а) комментарий:
Это робот поисковой системы Alexa. Охарактеризовать его можно как агрессивного «паука» с большим «аппетитом», вызываемым новой информацией, но, несмотря на это, очень любезным и обходительным. Он полностью выполняет команды и указания robots.txt файлов.
Аватар
0

18.01.2022 оставил(а) комментарий:
ia_archiver — робот Alexa.
ia_archiver-web.archive.org — робот Alexa.

Роботы Alexa полезны тем, что индексируют сайты для web.archive.org.
avatar