Что такое robots.txt?

ROBOTS.TXT – данный файл при оптимизации сайта и предназначен для роботов поисковых систем, который содержит инструкции для индексации всего сайта. В него входят такие правила индексации как: склейка домен с www и без www (Host: www.сайт.ru), указания на индексацию отдельных страниц (Allow: /index.php), либо не индексацию некоторых страниц (Disallow: /news), либо запрет индексации всего сайта (Disallow: /). В файле robots.txt прописывается путь к карте сайте в формате .xml (Sitemap: http://сайт.ru/sitemap.xml). Подробные правила корректного оформления файла robots.txt вы можете найти в Яндекс.Вебмастер – использование robots.txt.

Продвижение сайтов с помощью файла robots.txt. Данный файл должен находится в самом корне сайта и при корректном заполнении указывает роботам какие страницы сайта необходимо индексировать. Для каждого робота по-отдельности можно указывать разные правила индексации. Также можно задать параметр периода времени м/у закачками, который нужен для исключения закачки дубликатов.

Также мы осуществляем разработку и создание сайтов в Казани по низким ценам. Подробнее...