Как лучше всего настроить Prometheus + Alertmanager с HA?

У меня есть решение для мониторинга, которое использует Prometheus в качестве парсера и хранилища данных, Grafana в качестве визуализатора и Alertmanager в качестве инструмента оповещения. Все это работает на одном сервере.

Однако с этим подходом есть проблема. Если сервер, на котором размещено все это, выйдет из строя, я практически потеряю все данные мониторинга, поэтому, если после этого что-то произойдет, я никогда не узнаю об этом.

Я предполагаю, что лучший способ справиться с этим — иметь два сервера, чтобы они каким-то образом делились одной и той же информацией, и я был бы уведомлен о том, что узел в этой настройке не работает. Однако как мне настроить Prometheus и Grafana, чтобы они не были единой точкой отказа?

Насколько я знаю, я могу настроить кластер Alertmanager, но это не решит проблему, когда один экземпляр Prometheus не работает, поэтому мне придется как-то его реплицировать.