Все записи по тегу ‘robots’

Robots.txt для Vbulletin

Необходимо было в срочном порядке создать файлик .txt для движка форума . Немного покопавшись в глубинах Инета нашёл такой файлик, коим и воспользовался. Вам тоже рекомендую:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
User-agent: *
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /customgroupicons/
Disallow: /signaturepics/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /archive/
Disallow: /ajax.php
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php
Disallow: /converse.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /global.php
Disallow: /group_inlinemod.php
Disallow: /groupsubscription.php
Disallow: /faq.php
Disallow: /infraction.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member_inlinemod.php
Disallow: /misc.php
Disallow: /moderation.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /picture_inlinemod.php
Disallow: /posthistory.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php

Читать полностью »

ROBOTS.TXT для DLE

Источник – spyer.ru

В этой записи я расскажу о том, как сделать правильный .txt для своего сайта на Даталайф.

Откуда проблемы?
Имея кучу сайтов на , сталкиваешься с одинаковыми проблемами: к примеру, Яндекс проиндексировал печатные версии страниц (url вида print:…), конечно же, Сапа не видит их. А Яндексу они приятнее, так как всякого мусора на них меньше: только контент. Или же Яндекс индексирует ссылки вида “my--site/user/ya-spamer”, на которых куча внешних ссылок в профилях и никакого контента.
Вообще, причины вспомнить о .txt могут быть разными, к примеру, в этом заветном файле можно передать Sitemap Google’у и Яндексу не заходя в панель вебмастера.

Читать полностью »

Типичные ошибки сайтов

Постоянно наблюдаю на сайтах одни и те же ошибки, значительно затрудняющие продвижение сайтов в сети интернет. Ниже привожу список, надеюсь, это будет полезно владельцам ресурсов.

1. Отсутствие файла .txt

Читать полностью »

Наталья Подольская шаблоны wordpress Энциклопедия животного мира. Фото и статьи. Заказать свадебный макияж в Минске, пробный макияж бесплатно!