Избегайте использования диска kafka на 100% для задания Cron

Мы хотим предложить следующее, основываясь на наших проблемах с дисками kafka.

У нас есть много кластеров HDP (на основе ambari, и все машины имеют версию 7.2)

Каждый кластер включает в себя 3 машины kafka, в то время как каждый kafka включает диск с ~15 T

Потому что у нас много проблем, что диск увеличился до 100% используемой емкости (сохранение кафки по какой-то причине не работает как должно быть)

Затем мы думаем о работе cron, которая будет запускаться на машинах kafka каждую минуту.

А когда размер диска кафки будет например - ~90%

тогда работа cron остановит всех брокеров kafka (служба kafka)

И этим мы избегаем того, чтобы диск kafka становился 100% (как все знают, когда диск равен 100%, процесс очистки не будет работать)

Пожалуйста, поделитесь своим мнением