Программа на кластере превышает предел памяти RSS

Я пытался запустить скрипт Python на кластере компьютеров, но продолжаю сталкиваться с ошибкой, сообщающей, что предел памяти RSS превышен. Я использую эту программу для анализа набора данных, состоящего из около 40000 случаев. Я попробовал его на своем компьютере для 1000 элементов, и он, кажется, использует очень маленький объем памяти. Инструмент системного монитора в Fedora показывает около 23% использования памяти для моего компьютера, что эквивалентно 1,7 ГБ (в основном используется самой ОС), но когда я запускаю его в кластере, объем RSS-памяти превышает 14 ГБ.

Я понятия не имею, что происходит и почему существует такая разница в использовании памяти между моим компьютером и кластером. Любая помощь приветствуется.

0 ответов

Другие вопросы по тегам