*
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Не получили письмо с кодом активации?
06 Февраля 2012, 22:36:04


Последние темы

Миничат

Последние 25 сообщений:

minus34c

08 Августа 2011, 07:47:56
 :D

birg77out

04 Июля 2011, 11:14:11
4-2*2=: Пишу 0, пишет в ответ, что не правильно. Это на вашем форуме хотел создать тему.
 

Mavn

11 Апреля 2011, 18:03:20
вопросы на форуме задавайте
 

KIN

08 Апреля 2011, 06:57:30
Как можно из миничата убрать показ аватар пользователей?

brizan

23 Декабря 2010, 07:26:33
Хотел запостить вопрос, но почти тут же нашел ответ в FAQе. Спасибо, Mavn!

saks

27 Октября 2010, 13:10:18
ага. привет :)
 

Mavn

21 Октября 2010, 09:14:38
привет

maramm

20 Октября 2010, 16:53:13
всем привет

50 последних

Автор Тема: Продолжение темки о robots.txt  (Прочитано 3393 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн garry

  • Новичок
  • *
  • Сообщений: 1
  • Карма: 0
Продолжение темки о robots.txt
« : 17 Октября 2008, 13:08:33 »
Если вы удалили из кода тег "noindex"
По просьбам выкладываю новый(не окончательный вариант)
Напишу вкратце, что бы было понятно.

1 Убираем принт и мобайл
2 Убираем экшен, к сожалению из за не очень качественной генерации "дружественных урлов", в данной версии пришлось сделать два разрешения. Не очень красиво но в скором времени поправлю. Разрешаем запрещаем под себя.
Разрешаем экшен форум
Allow: /*forum3 Пока тестирую наиболее ролевентные урлы постов и топиков, некоторые msg дубли будут в индексе.
Но яндекс выдает по запросу всё равно только один урл с уником, по этому беды большой нет.

Отрабатывает файлик не плохо, в индексе не появляеться мусора, двойной контент и мета уходят.
Захватывает уник. топиков и постов.
Не забываем использовать карту сайта добавленную в панели.
По возможности лучше подстраховаться и заперетить мета тегами принт версию.

Так как индексация в ПС не каждый день тестирование достаточно не быстрый процесс. Возможны бажки и в этой версии.
По ходу дела будут устраняться.
Или вы заметите явный баг, прошу отписать.
Для форумов в корне убираем директорию /forum

robots.txt
User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new

Повторюсь, идёт тест.
« Последнее редактирование: 17 Октября 2008, 14:18:27 от garry »