Sun Grid Engine Array Job Индивидуальные ресурсы
Возможно ли в Sun Grid Engine иметь задания массивов, где у каждой подзадачи есть уникальное требование? Например, у меня может быть задание массива, для которого у каждой задачи есть небольшое уникальное требование, но я не хочу запускать каждое задание отдельно.
2 ответа
Я предполагаю, что вы имеете в виду требования к ресурсам. Если так (и, возможно, даже если нет), ответ - нет. Определение задания массива состоит в том, что это набор задач, которые имеют общее определение задания. Требования к ресурсам устанавливаются на уровне работы.
Для справки см. Определение задания (JB_Type: source/libs/sgeobj/sge_job_JB_L.h) в сравнении с определением задачи (JAT_Type: source/browse/gridengine/source/libs/sgeobj/sge_ja_task_JAT_L.h). JB_Type предназначен для определения параметров задания, а JAT_Type - для отслеживания выполнения задания.
Если вы ищете удобный способ автоматизации отправки и отслеживания большого количества рабочих мест, обратите внимание на DRMAA. Привязки API для SGE доступны в C, Java, Python, Ruby и Perl.
Даниил
Каждая подзадача знает свой идентификатор работы. Это можно извлечь из среды (SGE_TASK_ID).
При работе с заданиями массива у меня есть код-обертка, который обрабатывает уникальные аргументы для каждого задания.
Я начинаю с создания плоского файла аргументов для каждой работы. Это может быть CSV, JSON, текст, что угодно, если вы можете выполнять поиск на основе SGE_TASK_ID. Этот файл сохраняется в каком-то общем месте.
Работа отправляется с путем к этому файлу. Когда выполняется каждое задание, он знает, как заглянуть в этот файл и найти набор аргументов для выполнения.