Потоковое сжатие для больших файлов
Мы хотим сжать большие файлы резервных копий и перенести их в облако. Я ищу приложение / утилиту / кодовую базу, которая позволит нам эффективно сжимать на лету как часть передачи.
Я обнаружил, что сжатие наших файлов 100G WinRAR занимает в 40 раз больше времени, чем сжатие Sql Native, но это намного лучше при уменьшении размера файла. Я хочу что-то, что обеспечивает хорошее сжатие, не тратя на это часов.
Наши файлы - это резервные копии Sql Server, использующие тестовую базу данных объемом 100 ГБ с собственным сжатием резервных копий sql, что уменьшает размер файла в 3 раза, а время резервного копирования изменяется с 10 минут до 25. 15 минут процессорного времени экономят 66 ГБ полосы пропускания., который мы можем использовать для других файлов, передаваемых в облако.
Я попытался использовать WinRAR для файла резервной копии 100G, и я получил коэффициент сжатия 9, что в 3 раза лучше, чем собственный SQL, и это здорово, поскольку теперь мы можем поместить в облако в 9 раз больше контента. Но сжатие занимает 7 часов!
Мы не можем быть единственным магазином, который столкнулся с этой проблемой? Каково ваше решение для максимального использования драгоценной пропускной способности.