Загрузка больших файлов на 500+ компьютеров
Я работаю с командой, чтобы управлять 500-600 арендованными компьютерами Windows 7 для ежегодной конференции. У нас есть большой объем данных, которые необходимо синхронизировать с этими компьютерами, до 1 ТиБ. Компьютеры разделены на комнаты и подключены через неуправляемые гигабитные коммутаторы. Мы заранее подготавливаем эти компьютеры с помощью установки и настройки Windows, а также любых файлов, которые у нас есть, прежде чем мы отправим базовый образ для репликации прокатной компанией. Каждый год у нас есть подходящие к работе докладчики, на которых могут быть представлены данные, которые нужно отправить в комнату, в которой они будут представлены. Иногда у них есть только несколько файлов небольшого размера, например, слайд PDF, но они могут иногда быть намного больше>5 ГиБ.
Наша текущая стратегия продвижения этих файлов - использование пакетных сценариев и RoboCopy. Для больших толчков мы на самом деле используем BitTorrent-клиент для генерации торрент-файла, а затем используем batch-RoboCopy, чтобы вставить торрент в папку на удаленных компьютерах, за которой наблюдает установленный BT-клиент. Часто эти данные должны быть немедленно переданы с небольшим временным окном. У нас есть несколько машин в диспетчерской, которые идентичны машинам на полу, которые мы используем для этих толчков.
Иногда нам нужно выполнить программу на удаленных машинах, и в настоящее время мы используем пакетные и PSexec для решения этой задачи.
Мы хотели бы, чтобы мы могли ответить на эти последние шаги "извини, по своей вине", но этого не произойдет. Метод BT позволил нам получить намного более быстрое время отклика, но весь пакетный процесс может запутаться, когда выполняется несколько заданий. Мы используем Enterprise Ghost для других процессов, и он не очень хорошо работает в таком крупномасштабном масштабе, плюс он действительно довольно дорогой для таких задач раз в год, как эта.
РЕДАКТИРОВАТЬ: Существует жесткое требование, чтобы удаленные машины на этаже работали под управлением Windows. Управляющие машины не имеют жестких требований к ОС. Мне бы очень хотелось держаться подальше от Multicast из-за сложностей с вышестоящими маршрутизаторами. Multicast или BitTorrent - лучший способ для этого? Есть ли другой протокол, который может работать лучше?
4 ответа
Вам действительно нужна программа многоадресной передачи файлов: UFTP, с достойной документацией и расширениями в стиле proxt для обхода NAT/ маршрутизатора.
Возможно, вы захотите разобраться в убийстве
Убийство - это метод использования Bittorrent для распространения файлов на большое количество серверов в производственной среде. Это обеспечивает масштабируемое и быстрое развертывание в средах от сотен до десятков тысяч серверов, где централизованные системы распределения не могли бы функционировать иначе
,
Убийство было разработано людьми в твиттере, и они ежедневно используют его для распространения файлов.
Возможно, появилось новое решение: BitTorrent Sync
Позднее редактирование: на самом деле в эти дни я бы, вероятно, порекомендовал ассистента git-приложения или синхронизацию, но есть много альтернатив
У меня может быть идея для вас, которая поможет. Извините, я не до конца понимаю, почему это должно быть настолько сложным, но если вам нужно, чтобы конечному пользователю было проще и все же было легко и быстро получить доступ к данным внутри локальной сети, возможно, вы могли бы пойти с Устройство NAS. У меня есть Synology DS1812+, он может RSYNC с другим диском Synology или различными устройствами, поддерживающими RSYNC, у него есть немного торрент-совместимое приложение под названием "Download Station", я знаю, что вы можете загружать торрент-файлы из отсека для дисков, и я считаю, что вы также можете создать или опубликуйте торрент-файл с этим приложением, чтобы другие могли загрузить нужный им файл. Он имеет приложения для мобильных устройств Apple и Android. Он также может делать FTP-передачи. Этот отсек для дисков может дать вам возможность быстро отправить файл и затем быстро и легко распределить его по локальной сети. Я предлагаю размещать данные в локальной сети только для того, чтобы обеспечить более быстрый доступ для пользователей локальной сети, но прелесть этих устройств NAS в том, что вы можете разместить их в любом месте онлайн, если у них есть быстрое подключение к Интернету. Возможно, одно из высокопроизводительных устройств Synology NAS подойдет для ваших нужд.
Synology имеет виртуальный интерфейс, который вы можете просмотреть, чтобы лучше понять, будет ли это полезно для вас. Я вставлю ссылку ниже в виртуальный интерфейс
http://www.synology.com/products/dsm_livedemo.php?lang=us
Это устройство также дает людям возможность доступа к своим данным через веб-интерфейс или приложение для мобильных устройств.
Я надеюсь, что это поможет и, как я уже сказал, прости меня, если я не правильно понимаю вопрос.