Как запретить поисковикам индексировать сайт

K_E_V_in    Создание сайтов     html, robots, бот, заказ, поисковик, поисковики, робот, сайт, сервер, файл

На самом деле задача отнюдь не нова, да и встречаться может много где. Одно из наиболее частых применений запрета поисковикам индексировать сайты – это либо удаление дубликатов страниц (если рассматривать не полный сайт, а его часть), либо предоставление готовой работы заказчику на тестовом сервере. Действительно, зачем нужно, чтобы поисковики учитывали сайт, который проживет совсем короткое время, а затем будет перенесен на другой сервер. Именно запретом индексации мы сегодня и займемся.

далее

Технологическая основа для оптимизации сайта-2

K_E_V_in    SEO     html, pr, robots, адрес, бот, веб, поисковик, поисковики, сайт, сервер, страница, теги, файл

В этой статье был поднят вопрос о технологической основе для оптимизации сайтов. Тут мы продолжим рассмотрение этой интересной темы.

далее

Перенос сайта на новый домен без трудностей

K_E_V_in    Создание сайтов     google, htacces, php, pr, robots, адрес, блог, бот, деньги, домен, перенос, продвижение, робот, сайт, сервер, создание сайта, файл, Яндекс

На некоторых сайтах нередко можно увидеть надпись: “Мы переехали туда-то туда-то”.  Естественно, в этом ничего страшного нет, но позиции в индексе терять не хочется. Что же делать в таком случае?

Конечно, причин переезда может быть много: нашли более созвучный имени компании домен (ведь иногда можно перехватить освободившееся доменные имена буквально за копейки), или открыли новый филиал своей компании, или хотите продавать недвижимость в новом регионе, и так далее.

далее

Важность robots.txt в продвижении сайта

K_E_V_in    Новости     google, robots, бот, веб, индексация, поисковик, робот, сайт, файл, Яндекс

Ведущий программист Google Matt Cutts ответил на вопрос о важности использования файла robots.txt в продвижении сайтов. Вопрос звучал примерно так: “Что предпочтительнее сделать: создать пустой файл robots.txt или с текстом User-agent: *Disallow? Или вообще можно обойтись без этого файла robots.txt?” Конечно, речь идет только о том случае, когда владелец сайта не хочет закрывать страницы от индексации поисковиками.

далее

Robots+wordpress+воровство

K_E_V_in    WordPress     pr, robots, wordpress, блог, бот, контент, робот, сервер, скачать, файл

Сегодня на повестке дня вопросы воровства контента. Как видите, на моем блоге практически каждая запись уникальна, поэтому мне хочется закрыть доступ всяким автоматическим “воровайкам” и прочей нечисти. К тому же все эти ворюги, кроме того, что воруют уникальный контент, ещё и нагружают сервер. Прямо как полипы, которые жизни не дают! Причем ладно, если бы сервер нагружался незначительно. У меня был момент, когда потребление оперативки одним блогом достигало 200(!) мегабайт. Про загрузку процессора вообще лучше промолчать!

далее