Может ли у соскоба-бота включить JavaScript?

Question

Может ли у соскоба-бота включить JavaScript?

Я получил несколько тысяч запросов от клиента с включенным JavaScript, и мне интересно, может ли этот клиент быть ботом.

1

javascript scraping

Источник

Emanuil Rusev 01 сен '11 в 14:09

1 ответ

Решение

Другие вопросы по тегам javascript scraping

Shane Madden 01 сен '11 в 14:34 2011-09-01 14:34 · Accepted Answer · 2011-09-01 14:34

Да - бот может делать все, что он хочет, с ресурсами, которые он собирает, что, безусловно, может включать в себя интерпретацию javascript.

Возьмем, к примеру, новое маленькое миниатюрное отображение страниц Google в результатах поиска; многие сайты полагаются на javascript для базовой функциональности отображения, поэтому интерпретация js была бы необходимостью для того, чтобы придумать превью, близкое к точному.

Самый простой способ определить это - просто проверить строку агента пользователя; боты с хорошим поведением просто скажут вам, кто они.