Статьи

Разработка сайта


robots.txt


Чтобы роботы поисковых систем проиндексировали ваш сайт в корневой директории должен находиться файл robots.txt.
Это текстовый файл, в которой вебмастера указывают параметры индексирования сайта. Это может быть сделано, как сразу для всех поисковых систем, так и для каждой в отдельности.
Подробности создания файла robots.txt можно узнать на http://seob.info/robots-txt.html
Наиболее популярный сегодня в русскоязычном рунете Яндекс. Его роботы используют сессионный принцип работы, то есть они на каждую сессию формируют пул страниц, которые собирается закачать робот и сессия работы с вашим сайтом начинается именно с закачки файла robots.txt
Наличие файла robots.txt важно, так как не все содержимое сайта должно быть доступно роботам для индексации, поэтому именно в файле robots.txt прописываются правила поведения роботов на вашем сайте. Если это не сделать, то при индексации в поисковые системы могут попасть и те страницы, которые не относятся к содержимому сайта или возможно дублирование страниц, что роботами не приветствуется.
Так как индексация сайта начинается именно с этого файла, то при его отсутствии робот будет индексировать все подряд.
Крупные поисковые системы иногда используют, кроме основных поисковых роботов. Специальные боты для индексации блогов, или новостей, а также изображений и других страниц сайта. разрешение или допуск для индексации также прописывается в файле robots.txt.
Безусловно при создании файла robots.txt надо изучить этот вопрос как следует и обязательно ознакомиться с наиболее частыми ошибками, которые делают начинающие веб мастера.
Дата публикации: 2013-04-07
Прочитано: 785 раз


[ Назад | Начало | Наверх ]
Нет комментариев. Почему бы Вам не оставить свой?
Вы не можете отправить комментарий анонимно, пожалуйста зарегистрируйтесь.