Еще есть дополнительные рекомендации, которые надо обязательно учитывать при разработке сайта или - исправить при оптимизации сайта (если это не было сделано ранее и если есть такая техническая возможность).

ВОПРОС
Как работают поисковые системы на вашем сайте? Или как подстроиться вашему сайту к поисковым системам?

1) Роботы поисковых систем при входе на любой сайт первым делом обращаются к файлу robots.txt.

Веб-мастеру необходимо знать, как правильно написать этот файл, так как ошибки в нём могут привести к очень плачевным последствиям. Уточним, что файл robots.txt ничего не разрешает к индексации, а только запрещает. И ещё есть нюанс: он не является стопроцентным указанием для поисковых роботов. Файл robots.txt –файл с расширением txt, который создают с помощью Блокнота и располагают в корневой директории конкретного сайта и который содержит инструкции по индексации для поисковых роботов. Инструкции могут быть, как общие, так и для конкретных роботов отдельные.

Основные правила при создании и загрузке файла robots.txt:

• не путать название, то есть называть файл robots.txt, а не robot.txt и т.д.
• писать название файла robots.txt обязательно в нижнем регистре, то есть robots.txt, а не Robots.txt и ROBOTS.TXT
• размещать файл robots.txt именно в корневой директории сайта, а не в каком другом месте.

ВАЖНО.

Грамотное содержание файла robots.txt важно, т.к. ошибки в содержании этого файла могут привести к тому, что сайт или отдельные его директории или файлы не будут проиндексированы.

Примеры написания файла robots.txt для различных задач:

1. Запретить весь сайт к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /

2. Не запрещать весь сайт к индексации всеми поисковыми роботами.
User-agent: *
Disallow:

3. Запретить весь сайт к индексации одним поисковым роботом (например, yaBot).
User-agent: yaBot
Disallow: /

4. Не запрещать весь сайт к индексации одному роботу (например, yaBot) и запретить к индексации всем остальным поисковым роботам.
User-agent: yaBot
Disallow:

User-agent: *
Disallow: /

5. Запретить несколько директорий к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /directoria-5/
Disallow: /directoria-5/
Disallow: /hidedirectorias/

6. Запретить несколько файлов к индексации всеми поисковыми роботами.
User-agent: *
Disallow: /hiden.php
Disallow: /secrets.html