[ Обновленные темы · Новые сообщения · Участники · Правила форума · Поиск · RSS ]

  • Страница 1 из 1
  • 1
Форум » Интернет » Всё для создания WEB сайта » Google » Мэтт Катс объяснил, зачем нужен файл robots.txt
Мэтт Катс объяснил, зачем нужен файл robots.txt
ingvarr
(65535) Вне сайта
Дата: 08.09.2011, 14:23:07 | Сообщение № 1
admin
Репутация: 734
Награды: 117
Очередной видеоролик от Google был посвящен вопросу использования файла robots.txt. В формате обучающего видео Мэтт Катс (Matt Cutts) ответил на следующий вопрос пользователя Corey S. из Пенсильвании: "Что лучше: создать пустой файл robots.txt или содержащий User-agent: *Disallow? А, может быть, можно и восе обойтись без файла robots.txt?" Заметим, что речь идет о том случае, когда вебмастер не желает закрывать информацию при сканировании роботом.

По мнению ведущего программиста Google, в данном случае подойдет любой из двух первых перечисленных вариантов. Кроме того, Мэтт Катс не советует вебмастерам пренебрегать файлом robots.txt, поскольку при его отсутствии веб-хост может выдавать страницу 404, что влечет нежелательные последствия. Однако паниковать не следует, потому что Google уже научился выявлять подобные явления и свел риск к минимуму. "Казусы" возможны лишь в 1% случаев.

Сам же Катс отметил что предпочитает, использовать вариант с User-agent: *Disallow - который позволяет поисковой системе определить, что вебмастер сознательно позволяет роботу индексировать все данные, имеющиеся на сайте. Пустой же файл поисковый робот может расценить как то, что данные были удалены разработчиком по ошибке.
Ответить



Форум » Интернет » Всё для создания WEB сайта » Google » Мэтт Катс объяснил, зачем нужен файл robots.txt
  • Страница 1 из 1
  • 1
Поиск:

Рейтинг@Mail.ru HotLog