Имеет ли компания право сканировать мой веб-сайт?
Я обнаружил, что McAfee SiteAdvisor сообщил о моем веб-сайте как "возможно, проблемы с безопасностью".
Меня мало волнует, что McAfee думает о моем веб-сайте (я могу защитить его сам, и если нет, то McAfee определенно не та компания, за которую я бы обратился за помощью, большое спасибо). Что меня беспокоит, так это то, что они, по-видимому, сканировали мой сайт без моего разрешения.
Для пояснения: на моем веб-сайте пока почти нет содержимого, есть только заполнитель и несколько файлов для моего личного использования. Там нет ToS.
Мои вопросы: имеет ли McAffee право загружать контент с / сканировать мой веб-сайт? Могу ли я запретить им это делать? У меня такое чувство, что должен быть какой-то принцип "Мой замок, мои правила", однако я практически ничего не знаю обо всех юридических вещах.
Обновление: я, вероятно, должен был упомянуть, что мой серверный поставщик регулярно отправляет мне электронные письма о результатах SiteAdvisor - именно так я узнал об их "рейтинге", и поэтому я раздражен.
4 ответа
Для этого есть юридический прецедент. Поле против Google Inc., 412 F. Supp. 2d 1106, (US Dist. Ct. Nevada 2006). Google выиграл суммарное суждение, основанное на нескольких факторах, в частности, на том, что автор не использовал файл robots.txt в метатегах на своем веб-сайте, что помешало бы Google сканировать и кэшировать страницы, которые владелец сайта не хотел индексировать.
Нет закона США, конкретно касающегося файлов robots.txt; однако в другом судебном деле был создан прецедент, который может в конечном итоге привести к тому, что файлы robots.txt будут рассматриваться как обход преднамеренных электронных мер, принятых для защиты контента. В АДВОКАТАХ ЗДРАВООХРАНЕНИЯ, INC. HARDING, EARLEY, FOLLMER & FRAILEY, et. al, Healthcare Advocates утверждали, что Harding и соавторы по сути взломали возможности Wayback Machine, чтобы получить доступ к кэшированным файлам страниц, которые имели более новые версии с файлами robots.txt. В то время как адвокаты здравоохранения проиграли это дело, окружной суд отметил, что проблема была не в том, что Хардинг и др. "Взяли замок", а в том, что они получили доступ к файлам из-за проблемы загрузки сервера с Wayback Machine, которая предоставила доступ к кэшированные файлы, когда этого не должно было быть, и поэтому "не было блокировки для выбора".
ИМХО - только вопрос времени, пока кто-то не примет это решение и не перевернет его на бок: суд указал, что robots.txt - это блокировка, которая предотвращает сканирование и обход его , выбирая блокировку.
К сожалению, многие из этих судебных процессов не так просты, как "Я пытался сообщить вашему сканеру, что это запрещено, и ваш сканер проигнорировал эти настройки / команды". Во всех этих случаях существует множество других проблем, которые в конечном итоге влияют на результат больше, чем основной вопрос о том, должен ли файл robots.txt считаться методом электронной защиты в соответствии с законодательством США о DCMA.
При этом, это закон США, и кто-то из Китая может делать то, что он хочет, не из-за юридической проблемы, а потому, что Китай не будет обеспечивать защиту товарных знаков и авторских прав США, так что удачи вам в этом.
Не короткий ответ, но короткого, простого ответа на ваш вопрос не существует!
Да, они имеют право сделать это - вы создали общедоступный веб-сайт, что заставляет вас думать, что они этого не делают?
Вы тоже, конечно, имеете право их остановить. Вы можете попросить их не сканировать ваш сайт с robots.txt или активно запретить им доступ к нему с помощью что-то вроде fail2ban.
Кроме того, не беспокойтесь об этом и продолжайте свою жизнь. Это не повредит ничему и определенно на благой стороне интернет-исследования.
Является ли это поведение этичным или нет, не совсем ясно.
Сканирование общедоступного сайта само по себе не является неэтичным (если только вы явно не запретили его с помощью файла robots.txt или других технологических мер, и они их обходят).
То, что они делают, это грубый эквивалент холодного звонка вам, в то же время объявляя миру, что вы, возможно, не в безопасности. Если это наносит ущерб вашей репутации и неоправданно, это неэтично; если он делает это, и единственное решение для вас - это платить им, это рэкет. Но я не думаю, что это происходит.
В другой раз это становится неэтичным, когда кто-то сканирует ваш сайт, чтобы присвоить ваш контент или данные, а затем представляет его как свой собственный. Но это тоже не то, что происходит.
Итак, я полагаю, что их поведение в этом случае является этическим, и вы также можете, скорее всего, игнорировать его.
Их поведение, связанное со спамом, неэтично, если вы не имеете с ними отношения и не запрашивали электронные письма, но я подозреваю, что у них есть рабочая отписка.
Технический подход к блокированию доступа определенных людей или компаний к вашему веб-сайту:
Вы можете заблокировать доступ к страницам вашего сайта для определенных IP-адресов или диапазонов адресов. Это в файле.htaccess (если ваш сайт работает на веб-сервере Apache).
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
Сделайте так, чтобы ваш веб-сервер регистрировал IP-адреса, с которых он был доступен, и ищите эти IP-адреса, чтобы найти те, которые связаны с McAfee. Вероятно, легко сказать сейчас, если у вас нет постоянных посетителей.
Конечно, они могут изменить IP-адреса в будущем. Тем не менее, если вы посмотрите найденные IP-адреса, чтобы узнать, кому они принадлежат, вы сможете узнать о целом блоке адресов, принадлежащих McAfee, и заблокировать их все.
Для правовой основы для этого:
"Владельцы сайтов могут юридически заблокировать некоторых пользователей, правила суда"
(Если ваш веб-сайт является персональным, никто не будет оспаривать ваше право блокировать некоторых пользователей. Но если это веб-сайт для бизнеса, с обеих сторон этого обсуждения есть юридические и моральные аргументы. Чем меньше ваш бизнес, тем легче это должно быть юридически защищено - и тем меньше кто-либо еще будет достаточно жаловаться в любом случае.)
Вы также можете быть заинтересованы в "Запретить посетителей по рефереру".
"Если вы когда-либо просматривали свои журналы и заметили неожиданное увеличение трафика, но фактических запросов к файлам не увеличивается, вероятно, кто-то зажимает контент (например, файлы CSS) или кто-то пытается взломать ваш веб-сайт (это может просто означать попытку найти не публичный контент). "