rsync>4 ГБ файлов
Глупый ,
Есть ли у вас проблемы с rsync'ом больших [ >4 ГБ] файлов в современном linux? [ 32-битная, 64-битная, поддержка больших файлов включена]? Я провел несколько тестов самостоятельно между 2 64-битными блоками и не испытывал проблем с передачей файлов 6-10 ГБ. чтобы проверить все, я изменил файлы, снова запустил rsync, проверил md5... - все вроде нормально.
но после того, как я увидел это сообщение об ошибке, я немного волновался. Я немного искал, но не нашел подтверждения проблемы.
спасибо за ваши мысли!
редактировать: файловая система: ext3, reiserfs
5 ответов
Отчет об ошибке, на который вы ссылались, не является ошибкой размером 4 ГБ + с размером файла. 429796854 байта просто стесняются 410Mb, и это скорее ошибка транспорта, чем rsync. Если
Я подозреваю, что транспортное соединение (предположительно SSH) было разорвано, возможно, из-за тайм-аута неактивности, потому что процессор провел так много времени между посылками, потому что ему нужно было сделать что-то вроде контрольной суммы очень большого файла, и это причина, по которой rsync сообщает Сломанная труба.
Я уверен, что в прошлом я успешно использовал rsync для файлов размером более 4 ГБ с 32-разрядными клиентами и серверами, и, по крайней мере, один раз, когда фактически было передано более 4 ГБ, а не только рассмотрено для передачи.
Зависит от файловой системы, которую вы используете. У меня возникли проблемы с файловыми системами FAT32. У меня был портативный жесткий диск емкостью 200 ГБ (отформатированный как FAT32), и я пытался скопировать на него DVD-диск. Это не сработало, потому что вы не можете иметь файлы больше 4.somethingGB в FAT32
Нет, я все время выкидываю образы виртуальных машин объемом 5-10 ГБ, используя rsync, никогда не видел проблем.
Самый большой файл, который я недавно выполнил, был 180 ГБ, который находился в наборе каталогов, содержащем 15 ТБ (я написал набор сценариев, которые могут выполнять синхронизацию параллельно, я могу перемещать данные со скоростью около 3 ТБ в час...)
Нет, мы синхронизируем два набора данных по 30 ТБ (из файлов размером от 4 до 20 ГБ) ежедневно в течение нескольких месяцев с помощью rsync, без проблем.