Как я могу обработать огромные файлы журнала?

Я использую SSD-серверы, потому что у меня большой опыт с производительностью. Однако у меня есть веб-серверы, которые обслуживают множество запросов, и несжатые файлы журнала за один день имеют тенденцию вырастать базу данных.

У меня есть обычные стандартные файлы журнала веб-сервера.

Есть ли у Мэйби способ сжать их "на лету"?

1 ответ

Решение

Logrotate

Эта утилита может автоматически информировать вашего демона о необходимости переключения журналов при их переименовании и сжатии. Поскольку ежедневного недостаточно, вы также можете запускать его ежечасно. Даже если вы регистрируетесь ежечасно, вы можете объединить их по дням после сжатия с помощью GZip.

Сжатая файловая система

Btrfs можно настроить с прозрачным шифрованием, автоматически экономя место в фоновом режиме. Некоторые другие файловые системы ( ZFS и т. Д.) Также могут выполнить это.

Компрессионная труба

Apache будет напрямую подключаться к каналу, а большинство приложений - к каналу имен (mkfifo), который вы можете прикрепить к вашей программе сжатия.

Другие вопросы по тегам