Не удается заставить proxy_next_upstream работать

У меня есть балансировщик нагрузки nginx с тремя узлами, один из которых является фактическим балансировщиком нагрузки, моя конфигурация ниже.

upstream backend  {
  least_conn;
  server 127.0.0.1:8090 max_fails=3 fail_timeout=30s;
  server dummy_ip_1:8090 max_fails=3 fail_timeout=30s;
  server dummy_ip_2:8090 max_fails=3 fail_timeout=30s;
  keepalive 32;
}

server {
  location / {
    proxy_pass  http://backend;
    proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_403 http_404 http_429;
  }
}

Теперь, когда я пытаюсь выполнить запрос, который выдает код ошибки 404 или 503, запрос выполняется только тем узлом, который первым его получил, но не передается второму или третьему узлу. Я что-то здесь упускаю, разве это не то, что proxy_next_upstream должен делать?