Более эффективная карта сайта для обработки сканирования Google

Мой сервер, на котором работает apache, зависает от googlebot. У меня есть индекс Sitemap, который указывает на несколько файлов Sitemap с 50000 записями в каждом. Google запрашивает карты сайта так агрессивно (несколько раз в минуту), что мой сервер выходит из памяти из-за ошибок.

Я кэширую карты сайта, но мой веб-сервер все еще должен быстро обрабатывать эти массивные файлы.

Что я могу сделать?

0 ответов

Другие вопросы по тегам