Cписок правил

1. Писать содержимое файла нужно только в нижнем регистре.
2. В каждой инструкции Disallow указывать только одну директорию или один файл.
3. Не менять местами инструкцию Disallow и User-agent.
4. Не оставлять пустой строку User-agent. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.
5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.
6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.
7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.
8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.
9. При запрещении к индексации директорий обязательно прописывать слеши.
10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.