Описание тега parallel-computing
3
ответа
Выполнить цикл Shell параллельно, но только N рабочих
У нас есть более 100 репозиториев Git, и иногда я хочу grep в общем и целом. Для обновления репозиториев я использую это: for repo in *; do (cd $repo; git checkout master; git pull); done Это довольно медленно. Как ускорить это? Запуск всех обновлен…
08 июл '15 в 08:25
1
ответ
Как выполнить bash-скрипт с аргументами параллельно на всех удаленных серверах, если удаленный сервер входит в пару
Пожалуйста, сначала внимательно прочитайте проблему, а затем дайте решение................... у нас есть 3 файла в каталоге myscript.sh (файл myscript.sh содержит много функций и запускает / останавливает все пары / одну пару из файла serverlist.txt…
08 янв '16 в 11:37
1
ответ
GNU параллельные многопильные узлы sshlogin за NAT
Можно ли иметь несколько удаленных узлов за NAT с параллельной GNU? Предположим, что некоторый параллельный кластер GNU существует за NAT (который может или не может быть доступен только через один IPv4-адрес через интернет-провайдера, работающего т…
27 сен '15 в 23:15
1
ответ
Разница между облачными вычислениями, сеточными вычислениями и параллельными вычислениями
Есть много определений в Интернете, но я спрашиваю здесь, просто потому, что кто-то может ответить на него кратко из своего практического опыта использования этих технологий. Чем отличаются облачные вычисления (здесь я имею в виду Open-stack, Amazon…
08 янв '16 в 18:11
1
ответ
Как повысить эффективность параллельного чтения GNU из сжатого потока?
Является ли другой вопрос расширенным по сравнению с предыдущим [1] У меня есть сжатый файл и поток их для подачи в программу Python, например, bzcat data.bz2 | parallel --no-notice -j16 --pipe python parse.py > result.txt Parse.py может читать и…
28 май '14 в 14:42
1
ответ
Выполнить скрипт с другим аргументом на экземплярах AWS
У меня есть сценарий, который принимает несколько аргументов, и мне нужно запустить этот сценарий на нескольких экземплярах параллельно на AWS. Например, для простоты, если у меня есть три экземпляра в AWS, я бы хотел выполнить следующее: On instanc…
12 дек '17 в 07:06
1
ответ
Максимальное использование приложений на ядро не зависит от количества запущенных потоков.
Я пытаюсь использовать Dell Poweredge R900, который я получил как подержанный компьютерный пул (4-кратный четырехъядерный процессор дает мне 16 ядер для запуска симуляции). На данный момент работает Windows Server 2008 R2 Enterprise. Я запускаю собс…
08 дек '16 в 06:39
1
ответ
Перегрузка ядра в нескольких местах превышает 100% на сервере Centos7 Supermicro
Я использую Centos 7 (3.10.0-514.26.2.el7.x86_64) на плате supermicro H8QG6 с 4 процессорами AMD 6276 (16 ядер), всего 64 ядра. Я использую его для научных вычислений, и обычно все идет гладко, как на первом изображении htop. Затем, внезапно, htop н…
26 сен '17 в 20:20
0
ответов
Прозрачная ферма процессов в кластер
Ситуация: На работе у нас есть собственный инструмент для обработки данных. Когда задание запускается, оно запускает несколько своих копий в отдельных процессах и связывается с ними для параллельного обработки. В настоящее время он настроен на испол…
07 ноя '15 в 22:36
3
ответа
Параллельная GNU не полностью использует мои процессоры
Я выполняю команду, подобную этой, на моем 36-главном сервере (EC2 c4.8xlarge/Amazon Linux). find . -type f | parallel -j 36 mycommand Количество обрабатываемых файлов составляет ~1000 000, и это занимает десятки минут. Он должен запустить 36 процес…
31 май '16 в 05:06
2
ответа
Выполнить команду и распараллелить другие команды после завершения
Я ищу одну встроенную команду для выполнения /bin/first а затем, когда он завершает, выполните следующее /bin/p1, /bin/p2, /bin/p3 параллельно после.
17 сен '17 в 05:00
2
ответа
Сканирование всей файловой системы параллельно с clamscan
Я запускаю сканирование clamav еженедельно на моих серверах. Существует один сервер с кластером raid6 объемом 30 ТБ дискового пространства, сканирование которого занимает более 24 часов. Поэтому мне интересно, как я могу запустить clamscan на всей ф…
01 авг '18 в 07:42
1
ответ
R-скрипты, которые запускаются только последовательно, есть ли способ распараллелить их выполнение на многоядерные?
У меня есть несколько R-сценариев, которые могут выполняться только последовательным образом, не могут быть разбиты на куски или любая параллельная библиотека для R или любой другой язык не может быть использован. Можно ли как-то распределить послед…
28 окт '18 в 14:46
2
ответа
Поддерживает ли очистка ZFS распараллеливание для повышения производительности, например, с 64-ядерным процессором AMD Threadripper Pro?
У меня есть zpool из 24 дисков, состоящий из 3 виртуальных устройств RAIDZ1 с 8 дисками Seagate Exos X18 емкостью 16 ТБ на каждое виртуальное устройство. Это Supermicro MB с 64-ядерным процессором AMD Threadripper Pro (128 потоков) и 256 ГБ оператив…
19 дек '22 в 00:07
0
ответов
Оптимальная замена в параллельных процессах R
Я понимаю, что оптимальная подкачка зависит от приложения. Серверы баз данных часто имеют подкачку, близкую к нулю, тогда как во многих других случаях, очевидно, рекомендуется сохранять значение по умолчанию, равное 60. Однако я не уверен, какой пар…
28 янв '21 в 14:39
0
ответов
Память параллельной оперативной памяти PowerShell ForEach-Object продолжает расти
Использование PS 7.3.4 Код работает нормально, без ошибок. Проблема : объем оперативной памяти, потребляемой сценарием, продолжает расти. Как освободить оперативную память? Как посмотреть, что потребляет оперативную память? Любые предложения будут о…
03 май '23 в 17:12
0
ответов
Настройка slurm с 2 разными узлами и 2 разными разделами на 1 физическом сервере
У меня есть потребность в настройке slurm на одном физическом сервере с двумя разными разделами и двумя основными узлами, поэтому необходимо иметь: partation1, которая должна иметь узел 1 и должна использоваться пользователем группы 1, часть 2, кото…
21 фев '23 в 03:16
0
ответов
Изучение расширенной виртуализации ЦП: объединение ядер для повышения производительности
Эксперты по виртуализации! У меня есть вопрос, связанный с потенциальной концепцией виртуализации ЦП, показанной ниже. Существует ли существующая реализация этой идеи или существуют аппаратные ограничения? В частности, мне любопытно, сталкивался ли …
20 ноя '23 в 16:38