Описание тега robots.txt

Если владелец сайта хочет дать инструкции веб-роботам, он должен поместить текстовый файл robots.txt в корень иерархии веб-сайта (например, www.example.com/robots.txt). Этот текстовый файл должен содержать инструкции в определенном формате (см. Примеры ниже). Роботы, которые выбирают следовать инструкциям, пытаются извлечь этот файл и прочитать инструкции перед загрузкой любого другого файла с веб-сайта. Если этот файл не существует, веб-роботы предполагают, что владелец веб-сайта не хочет предоставлять никаких конкретных инструкций.

Файл robots.txt на веб-сайте будет функционировать как запрос, при котором указанные роботы игнорируют указанные файлы или каталоги при сканировании сайта. Это может быть, например, из-за предпочтения конфиденциальности из результатов поиска или из-за убеждения, что содержание выбранных каталогов может вводить в заблуждение или не относиться к категоризации сайта в целом, или из-за желания, чтобы Приложение работает только на определенных данных. Ссылки на страницы, перечисленные в файле robots.txt, могут по-прежнему появляться в результатах поиска, если они связаны со просматриваемой страницей.

Для веб-сайтов с несколькими поддоменами каждый поддомен должен иметь свой собственный файл robots.txt. Если example.com имеет файл robots.txt, а a.example.com - нет, то правила, применимые к example.com, не будут применяться к a.example.com.

Источник: Википедия