Наш проект Yworld.ru "Всё для сайтов и веб-мастеров", уже довольно давно использует в качестве форума, SMF Simple Machines .
Но, к сожалению, ввиду своих технических особенностей, он не очень качественно индексируется поисковыми системами.
Так как форум нас устраивает своим функционалом и возможностью расширятся, пытаемся привести его индексацию к более правильному виду.
Убраны версии для печати и
мобильные версии запрещены к индексации. Поисковики их индексировали в первую очередь. И в выдаче появлялось куча мусора и дублей.
Что в свою очередь плохо сказывалось на индексации.
В этой ветки нашего форума, приведено как это сделать.
Были убраны из файлов форума теги
В системе они отвечали за вывод из индекса дублей топиков и постов.
К сожалению на практике боты яндекса натыкаясь на него уходили с форума. И в выдаче был мусор.
Тут размещено решение этой проблемы с тегом noindex .
И наконец сделан файл robots.txt, дабы удалить из индекса не нужный мусор и запретить не нужные action.
Идёт тест и пробные версии файла можно посмотреть на нашем форуме.
Так как в SMF есть функция "дружественные урлы" и она довольно востребована у пользователей, добавлены правила и для неё. Механизм генерации видимо не очень проработан и ПС видят оба варианта.
Данный robots.txt будет дорабатываться и совершенствоваться. Пока идут тесты, но уже картина ясна и последние апдейты ПС показывают, что мы на правильном пути и индексация улучшается.
Так же мы обсуждаем и другие аспекты связанные с работой и обслуживанием SMF.
Надеюсь в ближайшее время появится окончательный вариант
robots.txt.
На данный момент первостепенное это качественная индексация и как следствие более простое продвижение сайтов использующих этот форум.
Параллельно будем заниматься и другими проблемами.
Надеемся это будет Вам полезно.
Ссылка на источник обязательна: https://www.yworld.ru
|
