Линейное увеличение используемых потоков пула приложений без обработки запросов

Вчера днем, после некоторых маркетинговых усилий, мы получили выше среднего (но отнюдь не опасно высокого) трафик в течение дня.

После того, как этот трафик продолжался некоторое время, мы были предупреждены, что один из наших API (микро-сервис, который срабатывает по крайней мере один раз при каждом запросе) некоторое время зависал, а затем возвращал 503 кода ответа.

Эти ответы оказались от балансировщика нагрузки, так как он не мог получить ответ ни от одного из двух (идентичных) экземпляров.

Затем мы изучили IIS в тех случаях, когда обнаружили, что число используемых потоков быстро увеличивается, почти в соответствии с количеством поступающих запросов (около 10/ секунду), и ни один из запросов не получает ответов.

Мы проверили журналы ошибок (ожидая увидеть хотя бы несколько тайм-аутов или других ошибок), но там не было ничего, что могло бы направить нас в правильном направлении, поскольку не было зарегистрировано соответствующих ошибок вообще.

Самая странная вещь во всем шебанге заключается в том, что проблема, казалось, возникла из ниоткуда (хотя и с увеличением трафика), а затем все просто начало работать снова после нескольких часов этого происходящего. Это может означать, что мы превысили порог, из-за которого IIS странным образом работал с потоками, или это могло быть просто совпадением.

После того, как проблема решилась сама собой, она не возникла снова в том же экземпляре, но проблема обнаружилась в другом экземпляре, который некоторое время спустя запускал другой микро-сервис.

Кто-нибудь видел такой шаблон раньше? Или что-нибудь подобное?

0 ответов

Другие вопросы по тегам