0 Пользователей и 2 Гостей просматривают эту тему.

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« : 05 Октябрь 2008, 00:04:03 »
Для более полной индексации начал тестировать новый роботс. :)

Подготавливаем форум к его использованию.
В файле Themes\index.template.php
Убираем
Код: Вы не можете просматривать ссылки. Регистрация или Вход
<meta name="robots" content="noindex" />
Или заменяем на
Код: Вы не можете просматривать ссылки. Регистрация или Вход
<meta name="robots" content="index, follow" />


Тем самым попробуем заставить ботов ползать по форуму не попадая в noindex не захватывая контент.

Сам robots.txt

Код: Вы не можете просматривать ссылки. Регистрация или Вход
# Google, StackRambler, Yandex, Aport - Важные боты для нас.
# К сожалению их останавливает тег noindex.
# Если вы удалили noindex коснтрукцию то это должно пригодиться.
# Для всех ботов
User-agent: *
# Папки
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
# Убираем мобильные версии
Disallow: /forum/index.php?*;wap
Disallow: /forum/index.php?*;wap2
Disallow: /forum/index.php?*;imode
# Не нужно нам и это индексировать, собственно что закрывал тег noindex
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php?*.new
# Всё что связано с ; уберём
Disallow: /forum/index.php?*;*
# Действия
Disallow: /forum/index.php?action=activate
Disallow: /forum/index.php?action=admin
Disallow: /forum/index.php?action=calendar
Disallow: /forum/index.php?action=emailuser
Disallow: /forum/index.php?action=findmember
Disallow: /forum/index.php?action=help
Disallow: /forum/index.php?action=helpadmin
Disallow: /forum/index.php?action=login
Disallow: /forum/index.php?action=logout
Disallow: /forum/index.php?action=mlist
Disallow: /forum/index.php?action=modifykarma
Disallow: /forum/index.php?action=pm
Disallow: /forum/index.php?action=post
Disallow: /forum/index.php?action=printpage
Disallow: /forum/index.php?action=profile
Disallow: /forum/index.php?action=recent
Disallow: /forum/index.php?action=register
Disallow: /forum/index.php?action=reminder
Disallow: /forum/index.php?action=search
Disallow: /forum/index.php?action=theme
Disallow: /forum/index.php?action=unread
Disallow: /forum/index.php?action=unreadreplies
Disallow: /forum/index.php?action=verificationcode
Disallow: /forum/index.php?action=who
Disallow: /forum/index.php?theme
Disallow: /forum/index.php?struct=on&data=on&action=dumpdb
# Моды, по желанию и необходимости
Disallow: /forum/archive.php
Disallow: /forum/index.php?action=chess
Disallow: /forum/index.php?action=sitemap
Disallow: /forum/index.php?action=viewkarma
Disallow: /forum/index.php?action=viewers
Disallow: /forum/index.php?action=arcade;favorites
Disallow: /forum/index.php?action=arcade;sa=highscore
Disallow: /forum/index.php?action=arcade;sa=play;random
Disallow: /forum/index.php?action=arcade;category
Disallow: /forum/index.php?action=arcade;sort
Disallow: /forum/index.php?action=arcade;stats
Disallow: /forum/index.php?action=stats;expand
Disallow: /forum/index.php?action=stats;collapse

# Yahoo - Сканит во много потоков
# Наложим ограничение
# Ограничим его, меняйте под себя
User-agent: Slurp
Crawl-delay: 150

Если будите использовать, рекомендую комменты мои удалить и естественно если это отдельный форум удалить директорию /forum

Вот ещё гадкие боты которых можно грохнуть

Код: Вы не можете просматривать ссылки. Регистрация или Вход
# Боты вредные и не нужные
# Могут проигнорировать запрет
User-agent: Twiceler
Disallow: /

User-Agent: W3C-checklink
Disallow: /

Некоторые форумы просто нагибает вот этот гад Twiceler, если он игнорирует запрет то прописываем в .htacceess

Код: Вы не можете просматривать ссылки. Регистрация или Вход
order allow,deny
deny from 38.99
deny from 64.1.215
deny from 208.36.144
allow from all
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler-0\.9.*$ [NC]
RewriteRule ^.* - [F]

Прошу дополнить robots.txt, исправить и тд.
Повторюсь версия экспериментальная.
« Последнее редактирование: 07 Октябрь 2008, 02:57:42 от garry »
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #1 : 07 Октябрь 2008, 03:12:11 »
Немного переделанная и по моему улучшенная версия.

Убраны строки с запретом мобильных версий. если нужны разрешения, легко сделать по шаблону ниже.
Убраны пути в экшенах.
Это всё заменяет запрет
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Disallow: /forum/index.php?*;*

Добавлены разрешения для карты сайта в виде примера( по этому шаблону легко сделать разрешения для любых отдельных экшенов)
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Allow: /forum/index.php?action=sitemap;xml
Allow: /forum/index.php?action=sitemap;*

Добалены правила для сайтиков с включёнными стандартными красивыми урлами в админке.
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php/*.msg
Disallow: /forum/index.php?*.new
Disallow: /forum/index.php/*.new


Теперь закрыты все тех ссылки форума, единственно не менял список action.
Может ещё что забыл. Вспомню напишу или сделаю.
Если будите использовать не забывайте, что это ещё не окончательное решение.
Пока идёт тест.

Собственно сам файл.
Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/index.php?action=sitemap;xml
Allow: /forum/index.php?action=sitemap;*
Disallow: /forum/index.php?*;*
Disallow: /forum/index.php?*.msg
Disallow: /forum/index.php/*.msg
Disallow: /forum/index.php?*.new
Disallow: /forum/index.php/*.new
Disallow: /forum/index.php?PHPSESSID
Disallow: /forum/index.php?action=activate
Disallow: /forum/index.php?action=admin
Disallow: /forum/index.php?action=calendar
Disallow: /forum/index.php?action=emailuser
Disallow: /forum/index.php?action=findmember
Disallow: /forum/index.php?action=help
Disallow: /forum/index.php?action=helpadmin
Disallow: /forum/index.php?action=login
Disallow: /forum/index.php?action=logout
Disallow: /forum/index.php?action=mlist
Disallow: /forum/index.php?action=modifykarma
Disallow: /forum/index.php?action=post
Disallow: /forum/index.php?action=pm
Disallow: /forum/index.php?action=printpage
Disallow: /forum/index.php?action=profile
Disallow: /forum/index.php?action=recent
Disallow: /forum/index.php?action=register
Disallow: /forum/index.php?action=reminder
Disallow: /forum/index.php?action=search
Disallow: /forum/index.php?action=shop
Disallow: /forum/index.php?action=unread
Disallow: /forum/index.php?action=unreadreplies
Disallow: /forum/index.php?action=verificationcode
Disallow: /forum/index.php?action=who
Disallow: /forum/index.php?struct=on&data=on&action=dumpdb
Disallow: /forum/index.php?action=viewkarma

Отправленный на: 07 Октябрь 2008, 02:58:00
Проверил в панелях в яндексе и гугле, вроде работает :unsure:
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #2 : 07 Октябрь 2008, 16:04:44 »
Новый мего простой
Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*wap
Disallow: /forum/*wap2
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/*.new

заркрывает все action, нет смысла огород городить. И не будет предупреждений в панели в яндексе при проверке карты.
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Disallow: /forum/*=*

Все модули которые желаете открыть для ПС прописываем на примере
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Allow: /forum/*sitemap*

тестовая версия для тех у кого включено в админке " дружественные урлы"
« Последнее редактирование: 07 Октябрь 2008, 16:38:43 от garry »
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #3 : 07 Октябрь 2008, 20:10:04 »
Теперь должно по идеи у всех отрабатываться хорошо. Единственно может не все правила прописал с
topic и board
Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma # если как у меня стоит кнопочка "спасибо"
Disallow: /forum/*unread
Disallow: /forum/*printpage
Allow: /forum/*board=
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/*wap2
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/*.new
вобщем в работе ещё
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #4 : 14 Октябрь 2008, 22:49:47 »
Прошёл очередной АП на яндексе и появились новые странички в гугле.
Исправление robots.txt исходя из панелей в ПС.
В связи с тем, что индексируются странички при включённых "дружественных урлах", в двух видах.
Видимо где то трабла в генерации этого дела в движке. Пришлось сделать правила для двух вариантов.
Дальше посмотрю и по возможности оптимизирую, если есть что. :unsure:

Файлик отработал отлично, и все ошибки ноиндекс перетекли в запреты роботс. Ни каких мобайл и принт версий.
Этим мы избавимся от кучи мусора в выдаче и ошибок с двойным описанием итд.

Сам файлик
Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Allow: /forum/*sitemap
Allow: /forum/*gallery
Disallow: /forum/*topic=*.msg
Disallow: /forum/*modifykarma
Disallow: /forum/*unread
Disallow: /forum/index.php?*unread
Disallow: /forum/*sort
Disallow: /forum/index.php?*sort
Disallow: /forum/*printpage
Allow: /forum/*board=
Disallow: /forum/index.php?*wap
Allow: /forum/*topic=
Disallow: /forum/*wap
Disallow: /forum/index.php?*imode
Disallow: /forum/*imode
Disallow: /forum/*=
Disallow: /forum/*.msg
Disallow: /forum/index.php?*new
Disallow: /forum/*.new

Так как бот яндекса придерживается правила Разрешил/Запретил, немного не казисто выглядит.
Пока тест, возможны траблы ещё есть.
« Последнее редактирование: 14 Октябрь 2008, 22:51:45 от garry »
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #5 : 31 Октябрь 2008, 20:03:35 »
Начал тестировать новую версию роботс. Плюс несколько изменений в файлах форума.
По результатам отпишусь.
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #6 : 12 Ноябрь 2008, 00:34:10 »
Немного модифицировал файлик. С инетом траблы полные, по этому толком не смог проверить.
По этому если решите использовать, проверьте в панелях.

Для использования данного варианта я убрал из топиков ссылку с каждой мессаги в названии темы.
Для этого ищем в display.template.php
Код: Вы не можете просматривать ссылки. Регистрация или Вход
// Done with the information about the poster... on to the post itself.
И там убираем ссылку с иконки и из названия. Темки у всех разные но думаю разберётесь как убрать ссылки.
<a href=

Дальше ставим мод отдельного сообщения.
Вы не можете просматривать ссылки. Регистрация или Вход
Пока в индексе оставлены дубли мессаг (msg), по идеи их должно быть минимум. Но в любом случаи просто нужно посмотреть, что там с ролевентностью.
Вы можете оставить или доставить запрещающие правила для этого
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Disallow: /forum/*.msg
Может есть косяки, тестить толком не могу.

robots.txt

Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Если нужны определённые action, ставим разрешения.
Можно в принципе разрешить допустим wap2, но пока нужно с мессагами разобраться.
В общем очередной тест, может пропустил что-то, прошу дописать.
PS
Пред идущий роботс отрабатывает не плохо.
-------------------------------------------------------------------------------

Такс, мой сайтик вернулся в яндекс и вернулся очень не плохо. Отработал пред последний роботс и частично последний(тест).
Индексация великолепная, все темки захвачены, выдаёт контент из постов и топиков в выдаче. Ни какого мусора в индексе, просто ноль мусора.
В индексе только нужное и оно отдается в поиск на ура.
Потестю последний роботс с теми изменениями, что я сделал и на этом всё. Возможно немного проверив ролевентность немного добавлю в роботс запретов. Хотя сейчас даже с тем оставленным дублем, выдаёт по унику именно топик с мессагой, а не отдельную как дубль.

Не вижу дальнейшего смысла в продолжении работы над роботс. Индексация получилась великолепная и думаю, что не в коей мере больше не отстаёт от аналогичных скриптов.

PS
Если будут изменения и дополнения, опубликую в этой теме. Так же продолжаю отвечать на вопросы и по возможности помогать по данному вопросу.
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #7 : 09 Апрель 2009, 21:12:04 »
Добавьте в файл строчку
Код: Вы не можете просматривать ссылки. Регистрация или Вход
Allow: /forum/*rss
На индексацию основную не влияет, но пусть будет. При тестах была закрыта.
Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action

User-agent: Slurp
Crawl-delay: 100
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #8 : 30 Апрель 2009, 21:41:55 »
Считаю вопрос с улучшением индексации форума SMF закрытым. Всё работает великолепно. Индекс регулируемый и легко управляемый.
Будет время займусь СЕО урлами и немного изменю генерацию мета.
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #9 : 27 Май 2009, 21:14:30 »
Ещё раз напомню всем кто использует robots.txt на форуме SMF, обязательно уберите из индекса принт версии. Не разрешайте их в роботс.
Находясь в индексе они ухудшают индексацию и занижают позиции вашего проекта. так как являются дублями.
Не разрешайте в так же мобайл версии. В форуме SMF предусмотрено три вида таковых.
В том файле что привел я , всё это исключено изначально.


Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade # если не стоит мод игр, удалить без пропуска строки
Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /forum/*go.php # либо тот редирект что стоит у вас
Host: www.мой сайт.ru # указать ваше главное зеркало

User-agent: Slurp
Crawl-delay: 100
« Последнее редактирование: 07 Январь 2010, 03:07:19 от garry »
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #10 : 10 Март 2012, 18:02:09 »
Текущий файл:
Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*type=rss
Allow: /*action=forum
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php # либо тот редирект что стоит у вас
Sitemap:  / # путь к вашей карте сайта
Host: www.мой сайт.ru # указать ваше главное зеркало
 
User-agent: Slurp # дабы не нагибал форум
Crawl-delay: 100

# Комментарии удалить
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн 123xxx

  • **
  • 18
  • +0/-0
  • Пол: Мужской
robots.txt для форума SMF
« Ответ #11 : 08 Апрель 2012, 10:28:50 »
А для чего это? &lt;_&lt;
=)

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #12 : 08 Июнь 2015, 10:02:40 »
Последнее актуальное обновление файла robots.txt для форумов на движке smf.

В связи с требованием гугла открыть скрипты и стили для индексации мобильных версий, добавлены данные пункты. Плюс весь файл актуализирован и проверен, выбираем подходящую версию, удаляем комментарии и все будет работать.
По примерам в самом файле, регулируем под свой проект.

Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: *
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Allow: /forum/*action=forum
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Disallow: /index.php$
Sitemap:  http://url вашей карты сайта


User-agent: Googlebot
Allow: /forum/*sitemap
Allow: /forum/*arcade
Allow: /forum/*rss
Allow: /forum/*action=forum
Allow: /forum/*type=rss
Allow: /forum/Themes/*.css
Allow: /forum/Themes/*.js
Allow: /forum/Themes/*png
Allow: /forum/Themes/*gif
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Sitemap:  http://url вашей карты сайта


User-agent: Yandex
Allow: /forum/*sitemap
Allow: /forum/*arcade # пример открытия для индексации установленной модификации
Allow: /forum/*rss
Allow: /forum/*action=forum # для тех у кого портал
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all
Disallow: /*PHPSESSID
Disallow: /forum/*go.php
Disallow: /index.php$ # можно удалить в принципе, закрывает дубль главной, поисковик сам со временем поклеет
Sitemap:  http://url вашей карты сайта
Host: www.мой сайт.ru/мой сайт.ru # главное зеркало вашего сайта

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

------------------------------------------------------------------------
Для тех у кого форум в корне сайта:
------------------------------------------------------------------------

User-agent: *
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$
Sitemap:  http://url вашей карты сайта


User-agent: Googlebot
Allow: /*sitemap
Allow: /*arcade
Allow: /*rss
Allow: /*action=forum
Allow: /*type=rss
Allow: /Themes/*.css
Allow: /Themes/*.js
Allow: /Themes/*png
Allow: /Themes/*gif
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Sitemap:  http://url вашей карты сайта


User-agent: Yandex
Allow: /*sitemap
Allow: /*arcade # пример открытия для индексации установленной модификации
Allow: /*rss
Allow: /*action=forum # для тех у кого портал
Allow: /*type=rss
Disallow: /attachments/
Disallow: /avatars/
Disallow: /Packages/
Disallow: /Smileys/
Disallow: /Sources/
Disallow: /Themes/
Disallow: /Games/
Disallow: /*.msg
Disallow: /*.new
Disallow: /*sort
Disallow: /*topicseen
Disallow: /*wap
Disallow: /*imode
Disallow: /*action
Disallow: /*prev_next
Disallow: /*all
Disallow: /*PHPSESSID
Disallow: /*go.php
Disallow: /index.php$ # можно удалить в принципе, закрывает дубль главной, поисковик сам со временем поклеет
Sitemap:  http://url вашей карты сайта
Host: www.мой сайт.ru/мой сайт.ru # главное зеркало вашего сайта

User-agent: Mediapartners-Google
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: Slurp
Crawl-delay: 100

Комментарии и лишнее удалите, проверьте в панелях веб мастера яндекса и гугла.
Удачи вашим проектам!
« Последнее редактирование: 08 Июнь 2015, 12:30:46 от garry »
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн garryАвтор темы

  • *****
  • 2227
  • +301/-0
  • Пол: Мужской
  • Это хобби
robots.txt для форума SMF
« Ответ #13 : 11 Июнь 2015, 18:28:51 »
Для тех кто размещает рекламу от Google, можно добавить такой блок в файл robots.txt

Код: Вы не можете просматривать ссылки. Регистрация или Вход
User-agent: Mediapartners-Google
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/email/
Disallow: /forum/avs/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*go.php

Этим мы разрешаем боту рекламной сети Google adsense посещать весь форум, дули, технические, все экшены и тд.
Тогда рекламные блоки появятся и на этих страницах.
Увеличим показ рекламы.
Вы не можете просматривать ссылки. Регистрация или Вход

*

Оффлайн Bizon

  • *
  • 5
  • +2/-0
robots.txt для форума SMF
« Ответ #14 : 17 Ноябрь 2015, 10:49:09 »
garry, все сделал по рекомендациям твоим, в панеле веб мастера яндекса не может найти robots.txt. В чем может быть ошибка?