Использование торрента для обмена очень большими файлами
В нашем институте нам скоро понадобится регулярно обмениваться большими объемами данных (мульти-терабайтный диапазон).
Имеет ли смысл использовать BitTorrent для этой задачи?
Какой объем ресурсов процессора / памяти следует ожидать по сравнению с обычными FTP-серверами?
Можно ли достичь скорости, соответствующей прямой передаче по FTP, при копировании с одного ровного BitTorrent-узла (исходного сервера хранения) на другой?
Большое спасибо.
3 ответа
- Я бы так подумал. Будьте осторожны с выбранным размером блока, так как он должен быть больше стандартного для такого большого объема данных.
- Во время передачи значение не имеет значения, а пропускная способность будет узким местом, а не процессором. Генерация метафайла торрента (который включает в себя хеширование каждого блока и всего набора данных) в первую очередь займет довольно много времени, как и окончательная проверка хеша после завершения передачи на клиенте
- Да. Если только ваш провайдер связи, провайдер клиента или где-то между ними, выборочно формирует P2P-трафик.
Чтобы смягчить проблемы, связанные с пунктами 1 и 2, если вы можете разделить данные на более мелкие куски и иметь отдельные потоки для каждого чанка, вам может оказаться, что размер данных проще обрабатывать.
Также обратите внимание, что вам нужно будет заново создать метафайлы торрента, если какие-либо данные в файле (ах), которые они охватывают, обновляются. Если небольшие части данных изменяются без изменения остальных, вы, вероятно, найдете rsync гораздо более эффективным решением.
Насколько велики файлы в наборе данных и каков их разброс (несколько файлов по нескольким гигабайтам, много меньших?...)?
Вы не упомянули, сколько машин будет в вашей "сетке" для bittorrent; если их будет всего несколько, то битторрент может не стоить усилий по настройке торрент-файлов и передаче их людям, а также запуску трекера.
Я думаю об этом также время от времени и всегда возвращаюсь к реальному использованию BT; обмениваться файлами в Интернете, где каждый должен вносить только часть пропускной способности. В домашних или рабочих сетях со скоростью 100 Мбит / с я использую веб-серверы и вместо этого передаю ссылки.
- Да, очень возможно, это может сэкономить вам массу расходов на пропускную способность при вероятной стоимости средней скорости загрузки на пользователя.
- Довольно низко в целом, очевидно, зависит от сервера, но в общих чертах один сервер, выступающий в роли равноправного BT для роя приличного размера, будет потреблять меньше ресурсов ЦП, чем тот же сервер, передающий один и тот же файл множеству клиентов.
- Все возможно, это может быть намного быстрее или намного медленнее, это зависит от размера роя в любой момент времени и многих других факторов, которые вы никогда не узнаете наверняка.
Наиболее важная вещь, на которой нужно сосредоточиться, - это ваш опыт работы с клиентами, если вы не можете позволить себе разозлить своих клиентов, тогда пользуйтесь FTP, поскольку он управляемый - если они разбираются в технологиях и понимают преимущества для вас и для них, тогда вы будете хорошо с BT. Удачи.