Как быстро загрузить мои файлы в файлы Rackspace Cloud?
У меня много файлов изображений, и я хочу загрузить их все (около миллиона в одном каталоге) в файлы RackSpace Cloud самым быстрым и эффективным способом.
Я использую python-cloudfiles Скрипт для их загрузки, но он очень медленный, и я хочу знать разные способы или код скрипта Python.
Вероятно, это очень медленно, потому что он использует одно соединение каждой загрузки. Я думаю, что отправлять все файлы в tar и распаковывать каталог лучше. но облачные файлы не поддерживают этот способ.
Кто знает другой способ?
2 ответа
Разделите ваш загружаемый набор, например, на 26 наборов по первой букве имени файла, если имена достаточно статистически сбалансированы, и используйте один загрузчик на набор параллельно.
Кстати, некоторые инструменты облачного загрузчика имеют проблемы с использованием памяти при загрузке огромных наборов файлов, так что следите за этим тоже...
Если это разовая загрузка, мне нравится турболифт. Просто убедитесь, чтобы уменьшить параллелизм, чтобы предотвратить высокую нагрузку на сервер (например, --cc 4) и использовать --internal загрузить через сервисную сеть.
TurboLift будет использовать много ЦП и ОЗУ, если вы не уменьшите параллелизм (серьезно: если вы этого не сделаете! Это хорошо, если у вас мощный сервер, и не хорошо, если у вас маленький сервер.