Самый быстрый способ получить большое количество маленьких файлов с удаленного FTP-сервера
В Fintech следующий сценарий кажется довольно распространенным:
Вы заплатили за доступ к огромному набору данных, но он предоставляется вам в виде тысяч маленьких файлов, каждый из которых занимает около 300 КБ, но в общей сложности составляет около 1 ТБ данных. Некоторые из файлов хранятся со сжатием zip на удаленной машине; некоторые нет. Кроме того, все эти файлы могут быть доступны только через FTP, и вы ограничены одним подключением к серверу за раз.
Какой самый быстрый способ получить копии этих файлов?