Самый быстрый способ получить большое количество маленьких файлов с удаленного FTP-сервера

В Fintech следующий сценарий кажется довольно распространенным:

Вы заплатили за доступ к огромному набору данных, но он предоставляется вам в виде тысяч маленьких файлов, каждый из которых занимает около 300 КБ, но в общей сложности составляет около 1 ТБ данных. Некоторые из файлов хранятся со сжатием zip на удаленной машине; некоторые нет. Кроме того, все эти файлы могут быть доступны только через FTP, и вы ограничены одним подключением к серверу за раз.

Какой самый быстрый способ получить копии этих файлов?

0 ответов

Другие вопросы по тегам