Запуск нескольких рабочих с использованием сельдерея

Теперь я обновил свой ответ после комментария от MartinP относительно рабочих процессов, порождающих дочерние процессы, а не потоки:

Сельдерей worker а также worker processes это разные вещи ( прочитайте это для справки).

Когда рабочий запускается, он порождает определенное количество дочерних процессов.

Количество этих процессов по умолчанию равно числу ядер на этом компьютере.

В Linux вы можете проверить количество ядер с помощью:

$ nproc --all

В противном случае вы можете указать это самостоятельно, например:

$ celery -A proj worker --loglevel=INFO --concurrency=2

В приведенном выше примере есть один работник, который сможет порождать 2 дочерних процесса. Обычно рекомендуется запускать по одному рабочему на машину, и значение параллелизма будет определять, сколько процессов будет выполняться параллельно, но если для запуска потребуется несколько рабочих, вы можете запустить их, как показано ниже:

$ celery -A proj worker -l info --concurrency=4 -n wkr1@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr2@hostname
$ celery -A proj worker -l info --concurrency=2 -n wkr3@hostname

Обратитесь к документации сельдерея для получения дополнительной информации

Похоже, ваш работник просто запускает один процесс / поток. Вам, вероятно, просто нужно добавить --concurrency или же -c аргумент при запуске работника для создания нескольких (параллельных) рабочих экземпляров.

celery -A proj worker -c 4

Я нашел это

http://docs.celeryproject.org/en/latest/reference/celery.html?highlight=parallel

Вы можете найти Canvas-примитивы там, где вы можете увидеть, как создавать группы для параллельного выполнения.

class celery.group (task1 [, task2 [, task3 [,… taskN]]]) Создает группу задач для параллельного выполнения.

В противном случае хорошим способом будет пойти на канал IRC и задать специальные вопросы. Обычно есть люди, которые знают это очень хорошо, и они могут помочь вам.