Как предотвратить обнаружение защищенного URL?
Если у меня есть URL-адрес, который используется для получения сообщений, и я создаю его следующим образом: http://www.mydomain.com/somelonghash123456etcetc и этот URL-адрес позволяет другим службам отправлять сообщения POST. Может ли робот поисковой системы найти его? Я не хочу, чтобы он был в моем файле robots.txt, потому что он будет открыт для всех, кто видит файл роботов.
Конечно, я добавлю в приложение другую аутентификацию, но никто не узнает, что URL-адрес является первым шагом.
Какие-нибудь общие методы?
3 ответа
Поисковые системы не могут найти его, если он нигде не связан (так как это единственный способ, которым поисковые системы находят другую информацию). Чтобы убедиться, что поисковая система не находит его через robots.txt и имеет секретность, используйте двойной хеш:
http://example.com/asdfghjk/12345678
Ваш robots.txt будет запрещать что-либо ниже asdfghjk:
User-agent: *
Disallow: /asdfghjk/
Но любой, кто не знает полный путь, все равно не сможет получить вторую часть URL, глядя на него.
Если ваша аутентификация работает, нет причин скрывать URL. Я бы лучше сосредоточился на этом.
Вы можете добавить что-то идентифицируемое, например /secretpage[hash]123456etcetc, а затем выполнить grep для журналов apache, который представляет собой автоматический скрипт, блокирующий доступ, если один ip пытается получить доступ к URL-адресу секретной страницы слишком часто.
На самом деле, миадемора верна. Получите вашу аутентификацию безопасной (2 фактора?) И угасите безопасность из-за неясности.