Грамотная настройка robots.txt от РЕГ.РУ

Поисковые системы, заходя на интернет-ресурсы, в первую очередь пытаются обнаружить текстовый файл robots.txt. В нем прописаны инструкции, в которых отражено, что может делать поисковик, индексируя страницы сайта, выполняя другие операции. Для клиентов портала РЕГ РУ поддержка составила алгоритм для правильной настройки этого файла. Процесс несложный, ознакомившись с пошаговой инструкцией, каждый может выполнить отладку роботс-текст самостоятельно.

Рекомендации Рег.ру по настройке файла robots.txt

Для настройки открываем ссылку, указанную выше. В файле robots.txt можно прописать правила для поисковых машин. Вот некоторые из них:

• Запрет посещать сайт определенным поисковикам
• Установить временной интервал, с которым поисковые системы будут заходить на ваш ресурс
• Запретить индексацию определенных страниц
• Полностью закрыть сайт для индексации
• Запретить доступ к определенной папке
• Открыть/закрыть карту сайта для поисковых роботов

Размещают файл robots.txt в каталоге интернет-ресурса. Если он там отсутствует, то нужно его создать. Для небольших вебсайтов этот файл может быть пустым.

Как правильно прописать настройки в роботс-текст

Задание таймаута посещения поисковиками ресурса выполняется директивой «Crawl-delay». Например, для всех систем необходимо прописать:

# таймаут 50 сек

User-agent: *
Crawl-delay: 50

Для конкретной поисковой системы вместо «*» ставиться ее название. В robots.txt можно прописать также доступ к индексации всем или конкретным роботам поисковиков. Для полного закрытия доступа прописывают:

User-agent: *
Disallow: /

Если хотят ограничить конкретный поисковый робот, то * заменяют его названием. Следует заметить, что не все системы индексации могут следовать правилам, установленным в роботс-текст. «Googlebot» обходит директиву «Crawl-delay», но подчиняется «Disallow». Ограничивать этот поисковик, необходимо используя инструменты вебмастера Google.

В reg.ru/support справка по грамотной настройке текстового файла robots.txt подробно описана. Даются ссылки, по которым можно найти ответы на альтернативные действия для правильного составления, прописки задач именно для своего сайта.

Начинающим вебмастерам, владельцам интернет-ресурсов необходимо знать, что этот файл для внутренней оптимизации является пунктом номер один. В начале поискового продвижения важно, чтобы он был правильно настроен. Необходимые разделы, страницы должны быть открыты, а ненужные закрыты.