Есть ли способ сказать роботам не смотреть на каталог?
У меня есть каталог, полный изображений, которые я не хочу просматривать роботами, есть ли способ сделать этот каталог закрытым?
Спасибо!
7 ответов
Как использовать Robots.txt в поисковой оптимизации ( SEO)
Введите " Disallow: / имя папки"
для любой папки, содержащей файлы, которые вы не хотите, чтобы поисковые системы сканировали.Или введите " Disallow: /filename.filetype "
для любой страницы или файла вы не хотите, чтобы поисковые системы индексировали.
Примечание следующего примера:
* Disallow: /private/
* Disallow: /private/image01.jpg
Он называется файлом robots.txt, и большинство всех роботов будут обрабатывать ваши запросы в вашем файле robots.txt.
Вы хотите что-то вроде следующего:
User-Agent: *
Disallow: /path/to/images/
Создайте файл robots.txt в корневом каталоге вашего сайта. Внутри этого файла положить
User-agent: *
Disallow: /images
robots.txt подчиняется только хорошо управляемым роботам. Не все из них ведут себя хорошо, как у основных поисковых систем - некоторые написаны некомпетентными шутами, некоторые написаны спамерами, пытающимися найти адреса электронной почты, и так далее.
в любом случае, вы также хотите отключить индексы для этого каталога... либо с помощью файла.htaccess, либо в вашей конфигурации apache, например:
Опции -индексы
или поместив туда пустой файл index.html.
это остановит их от просмотра списка каталогов файлов изображений. это не помешает им переходить по прямым ссылкам на изображения с других страниц вашего сайта.
на самом деле вы можете сделать очень мало для того, чтобы роботы не могли получить доступ к общедоступным файлам на вашем веб-сервере, что не доставит неудобств вашим пользователям или не увеличит нагрузку на ваш сервер, предоставляя изображения только через сценарий, который предназначен только для зарегистрированных пользователей (например, проверяя куки).
В вашем корневом каталоге вы можете разместить файл robots.txt, который запрещает роботам индексировать определенные каталоги.