Более эффективная карта сайта для обработки сканирования Google
Мой сервер, на котором работает apache, зависает от googlebot. У меня есть индекс Sitemap, который указывает на несколько файлов Sitemap с 50000 записями в каждом. Google запрашивает карты сайта так агрессивно (несколько раз в минуту), что мой сервер выходит из памяти из-за ошибок.
Я кэширую карты сайта, но мой веб-сервер все еще должен быстро обрабатывать эти массивные файлы.
Что я могу сделать?