ruarhyzh-CNcsdanlenfrkadeeliwitjakoestr

Предлагаем широкий спектр веб услуг по разработке, поддержке и продвижению веб-сайтов.
Гарантируем качество и высокий уровень сдаваемых проектов с 2006 года.

Cписок правил

  1. Писать содержимое файла нужно только в нижнем регистре.
  2. В каждой инструкции Disallow указывать только одну директорию или один файл.
  3. Не менять местами инструкцию Disallow и User-agent.
  4. Не оставлять пустой строку User-agent. Если инструкция относится ко всем поисковым роботам, то писать звёздочку, а если к конкретному поисковому роботу, то писать его имя.
  5. В директиве Host (для Яндекса) адрес писать нужно без протокола http:// и без закрывающего слеша /.
  6. Не нужно использовать символы подстановки в инструкции Disallow в виде звёздочки и прочих символов.
  7. Стараться не писать комментарии к инструкциям в одной строке с инструкциями.
  8. Нельзя пропускать инструкцию Disallow. Если вы не собираетесь ничего запрещать к индексации, то оставьте эту инструкцию пустой.
  9. При запрещении к индексации директорий обязательно прописывать слеши.
  10. Самое главное правило – прежде чем залить файл robots.txt на сервер сайта нужно сто раз его проверить и перепроверить во избежание дальнейших недоразумений.

e-mail

All rights reserved. © 2006-2021. При перепечатке текстов, активная, видимая ссылка на TopWebDesign.ru обязательна.

Сайт носит исключительно информационный характер и никакая информация, опубликованная на нём, ни при каких условиях не является публичной офертой, определяемой положениями статьи 437 Гражданского кодекса РФ. Настоящий ресурс может содержать материалы 18+

Продолжая использовать наш сайт, Вы даете согласие на обработку файлов cookies и пользовательских данных, подробнее в нашей Политике Cookie. Если Вы не хотите, чтобы Ваши данные обрабатывались, пожалуйста, покиньте сайт.

Наверх Вниз