Насколько эластичный поиск сжимает данные?

Question

Насколько эластичный поиск сжимает данные?

Я ищу области серверов, необходимых для упругого поиска-доказательства концепции.

В конечном счете, мой вопрос заключается в следующем:

Учитывая 1 ГБ текста json, проиндексированного эластичным поиском, сколько я могу ожидать, чтобы быть занятым на диске эластичным поиском?

Очевидно, что есть много переменных, но я собираюсь на порядки. 100MB? 100GB?

Я понимаю, что asticsearch выполняет сжатие ( http://www.elasticsearch.org/guide/reference/index-modules/store/), но я не знаю, какой вид занимают индексы и другие структуры.

Анекдотичные ответы приемлемы, но, пожалуйста, дайте мне знать, какую версию вы используете.

6

compression elasticsearch

Источник

cmonkey 26 авг '13 в 17:37

1 ответ

Решение

Другие вопросы по тегам compression elasticsearch

Travis Campbell 27 авг '13 в 07:05 2013-08-27 07:05 · Accepted Answer · 2013-08-27 07:05

Ответ: это зависит.

Сообщение в блоге Адриана Гранда, который работает над Elasticsearch, сделал некоторые сравнительные тесты с точки зрения Lucene. Похоже, он получил улучшение в 2 раза.

Он также упоминает LUCENE-4226, где была выполнена некоторая работа по сжатию. Внутри перечислено несколько тестов, сравнивающих различные протестированные алгоритмы сжатия.

Кроме того, исходя из этого объявления о выпуске Elasticsearch 0.19.5, кажется, что сжатие на уровне магазина по умолчанию - LZF, а Snappy появится в будущем. Дальнейший осмотр показал, что экспериментальная поддержка Snappy появилась в 0.19.9.