Конфигурация Openstack Pike (развертывание kolla) — том Cinder и резервная копия Cinder зависли в выключенном состоянии

У нас есть настройка системы Openstack Pike (6 серверов) через контейнеры kolla/docker. Недавно нам пришлось перезапустить систему из-за планового отключения электроэнергии, и нам удалось восстановить ее работоспособность. Пару месяцев спустя у нас начались проблемы, из-за которых любая дисковая активность на одном из наших серверов в кластере вызывала проблемы. Мы не могли создавать на нем новые виртуальные машины, а также не могли удалять или перестраивать экземпляры, когда они находились на этом сервере. Изучив это, мы обнаружили с помощью графического интерфейса Система->Информация о системе->Блокировать службы хранения, что эти серверы cinder-volume и cinder-backup застряли в состоянии ВЫКЛЮЧЕНО, но при взгляде на каждый из этих докер-контейнеров они кажутся включенными. и работает нормально. Журналы каждого контейнера не содержат ошибок и, похоже, работают правильно. Мы попытались перезапустить контейнеры cinder-volume и cinder-backup на этом сервере, но это не изменило отчет графического интерфейса, который продолжает показывать их в состоянии ВЫКЛЮЧЕНО.

Есть ли у кого-нибудь предложения относительно того, что мы можем сделать, чтобы исправить то состояние, в котором мы находимся? Все исследования, которые я провел для Openstack и Cinder, не дали ничего существенного. Любые предложения приветствуются. Спасибо.

1 ответ

Сегодня у нас была возможность отключить серверы и попытаться решить проблему. Мы заметили, что 3 из 6 серверов использовали разные NTP-серверы для установки системного времени. Как только мы обновили все 6 серверов для использования одного и того же NTP-сервера, тома Cinder снова перешли в состояние UP, и все было в порядке. Урок, извлеченный здесь, заключался в том, что все серверы должны использовать одно и то же время ntp, поскольку любой сдвиг во времени между серверами может вызвать ошибки, такие как тома Cinder, которые не работают должным образом.

Другие вопросы по тегам