Тема: Продолжение темки о robots.txt

[garry]

Если вы удалили из кода тег "noindex"
По просьбам выкладываю новый(не окончательный вариант)
Напишу вкратце, что бы было понятно.

1 Убираем принт и мобайл
2 Убираем экшен, к сожалению из за не очень качественной генерации "дружественных урлов", в данной версии пришлось сделать два разрешения. Не очень красиво но в скором времени поправлю. Разрешаем запрещаем под себя.
Разрешаем экшен форум

Код: [Выделить]

Allow: /*forum3 Пока тестирую наиболее ролевентные урлы постов и топиков, некоторые msg дубли будут в индексе.
Но яндекс выдает по запросу всё равно только один урл с уником, по этому беды большой нет.

Отрабатывает файлик не плохо, в индексе не появляеться мусора, двойной контент и мета уходят.
Захватывает уник. топиков и постов.
Не забываем использовать карту сайта добавленную в панели.
По возможности лучше подстраховаться и заперетить мета тегами принт версию.

Так как индексация в ПС не каждый день тестирование достаточно не быстрый процесс. Возможны бажки и в этой версии.
По ходу дела будут устраняться.
Или вы заметите явный баг, прошу отписать.
Для форумов в корне убираем директорию /forum

robots.txt

Код: [Выделить]

User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new
Повторюсь, идёт тест.