Должен ли я запретить пауков?
Сценарий шаблона рельсов, на который я смотрел, автоматически добавляет User-Agent: а также Dissalow: в robots.txt тем самым забанить всех пауков с сайта
Каковы преимущества запрета пауков и почему вы хотите?
3 ответа
В процессе разработки вы можете не захотеть, чтобы поисковые системы проиндексировали ваш сайт.
Как правило, вы хотите запретить паукам определенные разделы вашего сайта или страницы, которые вы не хотите показывать в результатах поиска, или не предлагать ничего для поисковой системы - например, форму обратной связи, каталоги сценариев, каталоги изображений и т. Д....
Иногда пауки могут попасть на ваш сайт с высокой скоростью, поэтому блокировка определенных сканеров может помочь загрузке сервера, если они попадают на медленные страницы.
Вы также хотели бы запретить его, если вы удаляете страницы или каталоги, чтобы он не выплевывал 404 в журналах вашего сервера.
Помните, что robots.txt является добровольным и не очень надежным. Хорошие роботы соответствуют robots.txt, так что это хороший способ управления контентом в вашей поисковой системе.
Существует ошибочное мнение, что размещение контента в вашем файле robots.txt повысит вашу безопасность или не позволит роботам сканировать неэффективные веб-страницы. Однако некоторые плохие роботы будут игнорировать robots.txt. Если robots.txt случайно удален на одну неделю, боты могут сканировать ваш сайт и опубликовать результаты в Google/Yahoo/Bing, и вы, возможно, никогда не сможете это исправить. Некоторые вредоносные программы, которые специально ищут сочные цели в вашем файле robots.txt и будут специально нацелены на эти запрещенные элементы.