Настройте.htaccess, чтобы заблокировать индексацию ботов, но разрешить просмотр / просмотр каталогов в браузере.

Question

Настройте.htaccess, чтобы заблокировать индексацию ботов, но разрешить просмотр / просмотр каталогов в браузере.

Я знаю, чтобы показать список каталогов моих файлов в браузере через .htaccess я могу использовать

Options +Indexes

и запретить Google и большинству ботов сканировать мой каталог, который я могу использовать

Options -Indexes

Можно ли разрешить видимый список каталогов через браузер, но запретить сканирование / индексацию ботов исключительно с помощью .htaccess?

1

.htaccess indexing directoryindex

Источник

RCNeil 29 окт '12 в 04:52

1 ответ

Решение

Другие вопросы по тегам .htaccess indexing directoryindex

tylerl 29 окт '12 в 05:53 2012-10-29 05:53 · Accepted Answer · 2012-10-29 05:53

Ваш .htaccess файл не может волшебным образом отличить "настоящих" пользователей от "ботов". Поскольку с точки зрения веб-сервера, нет никаких различий.

Однако, как правило, боты будут уважать содержимое robots.txtв то время как веб-браузеры нет.

С другой стороны, если у вас был какой-то способ определить, кто был ботом, а что нет, вы могли бы применить это правило к своему .htaccess конфигурации. Обычной тактикой является применение набора RewriteRules, которые фильтруют на основе User-Agent заголовок. Например, пользовательский агент, содержащий слово "googlebot", вероятно, запущен Google.

http://www.user-agents.org/ имеет список популярных идентификаторов агента пользователя. Но помните, что содержимое этого заголовка задается человеком, управляющим ботом / браузером, и может содержать все, что он захочет. Так, например, злонамеренные пользователи обычно копируют строку User-Agent из популярного браузера или, возможно, популярной поисковой системы. Таким образом, вы не можете зависеть от этого.