Докер рой, все контейнеры перезапускаются
Мы работаем в режиме Docker Swarm, имея 4 узла, 3 из которых имеют статус менеджера. Мы заметили, что раз в несколько дней все контейнеры на одном из хостов перезапускаются.
Я заглянул в syslog и увидел следующие сообщения (повторяющиеся для всех контейнеров, запланированных на этом хосте):
Jan 26 07:26:14 HOST0 dockerd[13104]: time="2019-01-26T07:26:14.954777646Z" level=warning msg="failed to deactivate service binding for container service_container.1.lhc0gejxgb8y340bg9o2wfcm2" error="No such container: service_container.1.lhc0gejxgb8y340bg9o2wfcm2" module=node/agent node.id=2g08blfds9z26ja2ou06pv2zl
Есть некоторые сообщения о членстве в рое, предшествующие этим, но они также происходят без проблем и в любом случае находятся на уровне = info.
Важно отметить, что на некоторых хостах у нас есть службы с состоянием одного экземпляра, такие как базы данных.
Пока мне нужно понять, что вызывает воссоздание услуг и как этого избежать. Есть ли что-то особенное, для чего я буду grep журналы, для начала?
Заранее большое спасибо!
1 ответ
Я предлагаю начать с задач службы, которая перезапустилась. Это должно дать причину выхода и код завершения процесса PID 1 контейнера.
docker service ps $SERVICE_NAME Перечислим последние 5 сервисных задач (или любой другой предел истории).
Возьмите идентификатор вышедшей задачи и используйте docker inspect $TASK_ID чтобы получить детали.