Как сделать перебалансировку данных на кафке, если данные хранятся постоянно

Я новичок в кафке и готовлюсь использовать его для производства.

Какие стратегии можно использовать для перебалансирования хранилища данных, если посредникам для текущих разделов темы не хватает места на диске, если в кластер можно добавить больше посредников?

В качестве простого примера, скажем, тема имеет 3 раздела в начале (по 1 реплике для упрощения задачи), и каждый из 3 посредников хранит 1 раздел темы, и каждый из этих разделов занимает 1 ТБ дискового пространства.

Как я могу добавить еще 3 новых сервера-брокера и изменить количество разделов темы на 6, и в результате результат перебалансировки данных каждого из 6 разделов занимает 500 ГБ на диске его брокера?

Я думаю, что эта проблема критически важна для хранения большого количества данных навсегда в кластере kafka.

Благодарю.

1 ответ

Вы можете перебалансировать кластер https://www.linkedin.com/pulse/partitions-rebalance-kafka-raghunandan-gupta или, если у вас есть менеджер kafka ( https://github.com/yahoo/kafka-manager), вы можете сделай это оттуда.

Другие вопросы по тегам