GCSFuse v0.33.2 - Ошибка загрузки больших объектов (11 ГБ) в GCSBucket
Получение следующих ошибок при попытке загрузить файл размером 11 ГБ в корзину; Кроме того, файловая система переходит в состояние "??????????" поскольку мы не можем перечислить объекты, доступные в ведре.
Это требуетumountиmountснова вернуться, чтобы увидеть объекты в ведре. Но загрузка по-прежнему не работает и для загрузки используется вся доступная память.
Процесс GCSFuse не освобождает память, используемую в течение нескольких часов. Как мы можем решить эту проблему. Мы используем версию 0.33.2 GCSFuse.
Ошибки:
Error 1 - Transport endpoint is not connected
Error 2 - Software caused connection abort
1 ответ
GCSFUSE имеет высокую задержку при работе с большими файлами, поэтому при работе с файлами большего размера рекомендуется использоватьgsutil cp.
Команда gsutil cp позволяет копировать данные между вашей локальной файловой системой и облаком, внутри облака и между поставщиками облачных хранилищ.
С его помощью вы можете иметь больше утилит, таких как возобновляемые загрузки, и их, например, легко использовать.
gsutil cp *.txt gs://my-bucket