Получите сжатые журналы с удаленного сервера
Мне поручено попытаться найти способ загрузки архивов с удаленного сервера. Таких журналов довольно много, и они постоянно создаются.
У меня ограниченный доступ по SSH к удаленному серверу, и я могу scp или rsync файлы.
Однако из-за огромного размера этих файлов журналов я не хочу rsync всех их. Журналы могут получить терабайты, и rsync для их сравнения может занять некоторое время. Я только хочу получить любой новый файл, который был создан / последний раз обновлен час назад.
Меня также беспокоит, что я буду создавать журналы rsync, которые находятся в процессе создания, поэтому я подумал только о тех файлах rsync, которые были в последний раз изменены 3-5 минут назад.
Кто-нибудь будет так любезен, чтобы помочь мне с таким процессом? Заранее спасибо.
2 ответа
Вы можете использовать ls -t, чтобы вывести список последних файлов по дате и отправить его в rsync, вы можете легко настроить его на передачу только вчерашних журналов или он вам нужен с того же дня?
Что-то вроде http://www.commandlinefu.com/commands/view/1481/rsync-find должно делать; Вы можете захотеть выполнить однострочную обработку на удаленном сервере и снова подключить его к вашему серверу "загрузки".