Могу ли я использовать Google Appliance/Mini для сканирования и индексирования сайтов, которые мне не принадлежат?
Может быть, это глупый вопрос, но...
Я работаю с этой компанией, и они сказали, что им нужно получить "разрешение" на сканирование сайтов других людей. У них есть Google Search Appliance и некоторые Google Minis, и они хотят указывать их на других сайтах для агрегирования контента. Конечным результатом будет что-то вроде целевой поисковой системы. (Все проиндексированные сайты относятся к определенной теме)
Единственное, что они будут делать, это:
- Индексирование контента с других сайтов / доменов
- Предоставление функции поиска на своем сайте, который выполняет поиск по проиндексированному контенту (например, Google, отображая сводные данные, а не полный контент)
- Результаты поиска будут содержать ссылки на исходный контент
Их цель не является злонамеренной по своей природе, и заключается в предоставлении единого сайта / ресурса для людей, чтобы они могли ссылаться на их заданную тему.
Есть ли что-то незаконное или подозрительное в этом процессе?
1 ответ
Это должно быть нормально, если ваш просмотр выполняется с учетом файла robots.txt сайтов.
Поиск в Google для robots.txt даст вам много информации.
Вкратце, это файл для указания того, как сканер / робот обращается к сайту, разрешенный и запрещенный контент, скорость доступа, время суток и т. Д.