Материал из архива старого сайта
Текст сохранён при переносе с Joomla. Технические рекомендации и внешние ссылки могли устареть — проверяй их перед применением.
Cписок правил
- Писать содержимое файла нужно только в нижнем регистре.
- В каждой инструкции Disallow указывать только одну директорию или один файл.
- Не менять местами инструкцию Disallow и User-agent.
- Не оставлять пустой строку User-agent. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.
- В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.
- Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.
- Стараться не писать комментарии к инструкциям в одной строке с инструкциями.
- Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.
- При запрещении к индексации директорий обязательно прописывать слеши.
- Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.