ruarhyzh-CNcsdanlenfrkadeeliwitjakoestr

Предлагаем широкий спектр веб услуг по разработке, поддержке и продвижению веб-сайтов.
Гарантируем качество и высокий уровень сдаваемых проектов с 2006 года.

Еще есть дополнительные рекомендации, которые надо обязательно учитывать при разработке сайта или - исправить при оптимизации сайта (если это не было сделано ранее и если есть такая техническая возможность).

ВОПРОС
Как работают поисковые системы на вашем сайте? Или как подстроиться вашему сайту к поисковым системам?

1) Роботы поисковых систем при входе на любой сайт первым делом обращаются к файлу robots.txt.

Веб-мастеру необходимо знать, как правильно написать этот файл, так как ошибки в нём могут привести к очень плачевным последствиям. Уточним, что файл robots.txt ничего не разрешает к индексации, а только запрещает. И ещё есть нюанс: он не является стопроцентным указанием для поисковых роботов. Файл robots.txt –файл с расширением txt, который создают с помощью Блокнота и располагают в корневой директории конкретного сайта и который содержит инструкции по индексации для поисковых роботов. Инструкции могут быть, как общие, так и для конкретных роботов отдельные.

Основные правила при создании и загрузке файла robots.txt:

  • не путать название, то есть называть файл robots.txt, а не robot.txt и т.д.
  • писать название файла robots.txt обязательно в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT
  • размещать файл robots.txt именно в корневой директории сайта, а не в каком другом месте.

ВАЖНО.

Грамотное содержание файла robots.txt важно, т.к. ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

Примеры написания файла robots.txt для различных задач:

1. Запретить весь сайт к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /

2. Не запрещать весь сайт к индексации всеми поисковыми роботами.
User-agent: *
Disallow:

3. Запретить весь сайт к индексации одним поисковым роботом (например, yaBot).
User-agent: yaBot
Disallow: /

4. Не запрещать весь сайт к индексации одному роботу (например, yaBot) и запретить к индексации всем остальным поисковым роботам.
User-agent: yaBot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько директорий к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /directoria-5/
Disallow: /directoria-5/
Disallow: /hidedirectorias/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /hiden.php
Disallow: /secrets.html


e-mail

All rights reserved. © 2006-2024. При перепечатке текстов, активная, видимая ссылка на TopWebDesign.ru обязательна.

Сайт носит исключительно информационный характер и никакая информация, опубликованная на нём, ни при каких условиях не является публичной офертой, определяемой положениями статьи 437 Гражданского кодекса РФ. Настоящий ресурс может содержать материалы 18+

Продолжая использовать наш сайт, Вы даете согласие на обработку файлов cookies и пользовательских данных, подробнее в нашей Политике Cookie. Если Вы не хотите, чтобы Ваши данные обрабатывались, пожалуйста, покиньте сайт.

Наверх Вниз