Закрою вопрос с работой над индексацией форума SMF.
Мною достаточно долго проводился эксперимент связанный с улучшением индексации форумов на основе SMF. Рассматривались и проверялись всевозможные варианты и подходы.
На данный момент я пришёл к выводу и однозначному, тот подход, что был выбран при использовании robots.txt был верным и удачным.
Индексация полностью соответствует аналогичным скриптам и убран весь мусор и дубли из выдачи. Очень удобно регулируется доступ к модулям. И абсолютно простая и понятная структура самого файла robots.txt . Далее опишу порядок действий, всё очень легко и справится сможет любой.
1. В файле Themesindex.template.php
Ищем :
| Код |
1
| <meta name="robots" content="noindex" /> |
Меняем на :
| Код |
1
| <meta name="robots" content="index, follow" /> |
Этим мы разрешаем индексировать сам контент, закрытый от индексации разработчиками, что способствует улучшению ситуации с индексированием контента и упрощает продвижение сайтов. Таким образом был закрыты дубли постов. Но на практике боты не шли дальше заголовков.
2. Закидываем в корень сайта robots.txt
| Код |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
| User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
User-agent: Slurp
Crawl-delay: 100 |
Верхние строчки показывают как можно разрешить определённый модуль. Проверяем в панелях ПС и настраиваем если нужно под себя, но в большинстве случаев этот подходит. Через некоторое время вы увидите в панелях ПС увеличение файлов запрещённых в robots.txt, это нормально. Туда перетекут именно те файлы с которыми мы и боролись. Включая принт и мобильные версии.
Директория /forum нужна тем у кого стоит в корне сайт.
3. Устанавливаем мод SMF Sitemap
Добавляем в панели ПС, отлично съедается и индексируется.
В принципе это всё, но можно сделать ещё небольшие модификации дабы совсем уж было всё в шоколаде. 
4. В display.template.php
Ищем :
| Код |
1
| // Done with the information about the poster... on to the post itself. |
И там убираем ссылку с иконки и из названия. Темки у всех разные но думаю разберётесь как убрать ссылки.
<a href=
Этим мы уберём кучу дублей ссылки из топика. Достаточно негативно сказывалось на индексацию.
Для того что бы получить отдельный пост и было удобно пользователям ссылаться на него, ставим мод.
View Single Post Это мод добавит ссылку на отдельный пост, как в других скриптах форумов.
5. Ускоряем и улучшаем индексацию. Тег rel=“canonical”
Читаем Тут как сделать для форума SMF
Собственно если ни чего не забыл, то это всё. Темка с хронологией развития. Почищена мной от не нужных постов.
Топик
Создание качественного форума.
SEO-Оптимизация
Ссылка на источник обязательна: https://www.yworld.ru
