Индексирование Elasticsearch и couchdb замедляется через несколько часов

Попытка импортировать ~400м документов в Elasticsearch из couchdb с помощью речного плагина couchdb. Все начинается отлично со временем индексации около 5 к / с, но через несколько часов возвращаешься и обнаруживаешь, что его скорость достигает 20/ с. У нас есть система на мощном боксе, x1.xlarge, и все, что она делает - это Elasticsearch. У нас есть 20 осколков без репликации, чтобы помочь с индексацией и отключить обновление индекса. Куча настроена на использование 65% памяти, и мы используем Java 7 последней версии от Oracle.

Какие настройки мне нужно настроить, чтобы помочь при первоначальном импорте данных? Я играл с короткими таймаутами / размером, но все еще не могу найти сладкое место.

Любая помощь будет отличной. Zuhaib

0 ответов

Другие вопросы по тегам