Есть ли шанс заблокировать изображения пауков / ботов на выделенных серверах без использования robots.txt или.htaccess?
Мы знаем, что можем запретить некоторым паукам сканировать страницы веб-сайтов, используя robots.txt или.htaccess или, возможно, через файл конфигурации Apache httpd.conf.
Но для этого требуется отредактировать большое количество сайтов на некоторых выделенных серверах, и боты все равно будут "обращаться" и потреблять ресурсы. Есть ли другие "безопасные" способы заблокировать этих пауков IMG от корня на серверах, таких как серверы Windows?
1 ответ
robots.txt ничего не блокирует, это зависит от сканера, обращает ли он внимание на robots.txt или игнорирует его. Также нет центрального списка сканеров, так как любой может запустить его по любой причине, и они могут отображаться как обычный трафик при просмотре, утверждая, что он поступил из обычного веб-браузера.
Вы можете выполнить базовые проверки реферера, чтобы заблокировать хотлинкинг изображений, вы можете предотвратить вторжение, чтобы заблокировать сканеры портов и вредоносные запросы, но если вы хотите заблокировать пауков, а не людей, а не ложные тревоги, вам, вероятно, нужно разместить свой сайт за страницей входа.
боты по-прежнему будут "получать доступ" и потреблять ресурсы.
Минимальные ресурсы. Вы потратите часы на внедрение, тестирование и использование политики "блокирования пауков", и вы можете потратить эти инвестиции на оборудование, которое сможет справиться с этим. Это должен быть фоновый шум, правда.
Если пауки бьют по вашему сайту, как он справится с реальными пользователями?