Robots+wordpress+воровство
Сегодня на повестке дня вопросы воровства контента. Как видите, на моем блоге практически каждая запись уникальна, поэтому мне хочется закрыть доступ всяким автоматическим “воровайкам” и прочей нечисти. К тому же все эти ворюги, кроме того, что воруют уникальный контент, ещё и нагружают сервер. Прямо как полипы, которые жизни не дают! Причем ладно, если бы сервер нагружался незначительно. У меня был момент, когда потребление оперативки одним блогом достигало 200(!) мегабайт. Про загрузку процессора вообще лучше промолчать!
Robots.txt для Vbulletin
Необходимо было в срочном порядке создать файлик robots.txt для движка форума Vbulletin. Немного покопавшись в глубинах Инета нашёл такой файлик, коим и воспользовался. Вам тоже рекомендую:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 | User-agent: * Disallow: /clientscript/ Disallow: /cpstyles/ Disallow: /customavatars/ Disallow: /customprofilepics/ Disallow: /customgroupicons/ Disallow: /signaturepics/ Disallow: /images/ Disallow: /includes/ Disallow: /install/ Disallow: /archive/ Disallow: /ajax.php Disallow: /announcement.php Disallow: /attachment.php Disallow: /calendar.php Disallow: /converse.php Disallow: /cron.php Disallow: /editpost.php Disallow: /global.php Disallow: /group_inlinemod.php Disallow: /groupsubscription.php Disallow: /faq.php Disallow: /infraction.php Disallow: /inlinemod.php Disallow: /joinrequests.php Disallow: /login.php Disallow: /member_inlinemod.php Disallow: /misc.php Disallow: /moderation.php Disallow: /moderator.php Disallow: /newattachment.php Disallow: /newreply.php Disallow: /newthread.php Disallow: /online.php Disallow: /payment_gateway.php Disallow: /payments.php Disallow: /picture_inlinemod.php Disallow: /posthistory.php Disallow: /postings.php Disallow: /printthread.php Disallow: /private.php Disallow: /profile.php Disallow: /register.php Disallow: /report.php Disallow: /reputation.php Disallow: /search.php Disallow: /sendmessage.php Disallow: /subscription.php Disallow: /threadrate.php Disallow: /usercp.php Disallow: /usernote.php |
ROBOTS.TXT для DLE
Источник – spyer.ru
В этой записи я расскажу о том, как сделать правильный robots.txt для своего сайта на Даталайф.
Откуда проблемы?
Имея кучу сайтов на DLE, сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), конечно же, Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “my-dle-site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента.
Вообще, причины вспомнить о robots.txt могут быть разными, к примеру, в этом заветном файле можно передать Sitemap Google’у и Яндексу не заходя в панель вебмастера.
Типичные ошибки сайтов
Постоянно наблюдаю на сайтах одни и те же ошибки, значительно затрудняющие продвижение сайтов в сети интернет. Ниже привожу список, надеюсь, это будет полезно владельцам ресурсов.
