Предлагаем широкий спектр веб услуг по разработке,
поддержке и продвижению веб-сайтов.
Гарантируем качество и высокий уровень сдаваемых проектов.

Курсы валют ЦБ РФ, руб.
USD = 57.34
EURO = 67.46
GBP = 76.15
CAD = 45.74
100 JPY = 51.13
CNY = 86.68
AUD = 45.07
SGD = 42.29

Cписок правил

  1. Писать содержимое файла нужно только в нижнем регистре.
  2. В каждой инструкции Disallow указывать только одну директорию или один файл.
  3. Не менять местами инструкцию Disallow и User-agent.
  4. Не оставлять пустой строку User-agent. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.
  5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.
  6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.
  7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.
  8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.
  9. При запрещении к индексации директорий обязательно прописывать слеши.
  10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.



скрыть

Есть вопросы или нужна консультация ?

Позвоните нам по тел. 8914-32-00-603