Важность robots.txt в продвижении сайта

K_E_V_in    Новости     google, robots, бот, веб, индексация, поисковик, робот, сайт, файл, Яндекс

Ведущий программист Google Matt Cutts ответил на вопрос о важности использования файла robots.txt в продвижении сайтов. Вопрос звучал примерно так: “Что предпочтительнее сделать: создать пустой файл robots.txt или с текстом User-agent: *Disallow? Или вообще можно обойтись без этого файла robots.txt?” Конечно, речь идет только о том случае, когда владелец сайта не хочет закрывать страницы от индексации поисковиками.

По словам Мэтта, первый и второй вариант идентичны. Правда, использовать robots.txt необходимо обязательно, ведь в противном случае веб-хост может выдавать ошибку 404, а это ой как нехорошо! С другой стороны, Гугл уже научился выявлять подобные штуки, и не налагает никаких санкций. А вот насчет Яндекса пока неизвестно, поэтому перестраховка не повредит.

Сам Катс, тем не менее, сказал, что лично ему больше нравится использовать роботс с  содержимым User-agent: *Disallow. Ведь такая инструкция напрямую дает поисковику понять, что владелец сайта позволяет ему индексировать данные. Пустой файл робот может трактовать двояко: и как то, что индексация разрешена, и как то, что вебмастер просто ошибся, и удалил данные. А там, где есть два варианта, всегда будут непонятки!

А давайте будем смотреть фильмы онлайн в хорошем качестве, а не в “бегающих квадратиках”!

Понравилась заметка? Поделись!