Анализатор логов для ftp сервера

http://www.proftpd.org/docs/howto/Logging.html содержит список из 5 пакетов, которые можно использовать.

Привет, обратите внимание - учтите, что большинство из этих пакетов НЕ делают отчет о ftp должным образом, хотя, вероятно, это не их ошибка.

Мы делаем много загрузок программного обеспечения здесь, и мы решали эту проблему раньше. Поскольку очень многие используют те или иные ускорители загрузки, при загрузке файла объемом 5 МБ он, скорее всего, будет отображаться в ваших журналах (хотя я не использовал proftpd, это справедливо для wuftpd и ncftpd) в виде набора различных линий с небольшим приращением - например, 100 строк по 50 тыс. за штуку. Если вы выполните это через большинство программ анализа журналов, они все скажут вам "100 загрузок вашего файла, сэр!" Что плохо и неправильно.

Некоторые FTP-демоны - и похоже, что это делает proftpd - в конце имеют поле "состояние завершения", которое установлено в "i" для незавершенного или "c" для завершенной загрузки. Таким образом, в теории вы могли бы найти "с" и определить, сколько из них были успешными или нет. Но это ловушка! Это поле устанавливается клиентом. Если вы внимательно осмотрите свои журналы, то увидите некоторые непослушные отрезки, которые устанавливают каждую передачу - даже для всего определенного байтового фрагмента файла - в "c". Даже если бы он был задан правильно, было бы сложно определить процент завершения в процентах от общего количества, не выполняя такие вещи, как "Ну, мы будем считать, что все попытки для этого одного файла с одного IP-адреса, скажем... час? та же попытка."

Есть только два исправления, о которых я знаю.

1. Пусть ваш FTP-демон четко регистрирует, когда он отправляет первый и последний байт файла (тем не менее, возможно, они пропустили фрагменты посередине, но это близко). Я знаю, что Akamai взламывает свой FTP-сервер, чтобы сделать это, мы предложили это парню ncftpd, и он включил его в свой список, но не думаю, что это сделано.

2. Следите за размером каждого из ваших файлов и выполняйте сложную математику, чтобы определить, считаете ли вы, что один IP загружен с нужным количеством файлов. Не исправляет тот, кто делает десять попыток и получает 1/10 файла до того, как каждый раз происходит сбой передачи, но опять же он ближе.

Вам не нужно идти на эту проблему, если вам все равно, но я хочу вам сказать, что вы НЕ МОЖЕТЕ доверять числам, которые большинство программ анализа журналов выкладывают на FTP, они будут отключены на порядок. Проверьте реальные журналы против них, чтобы понять, что вы получаете.

AWStats поддерживает ftp.

На странице документации proftpd есть ссылки на Webalizer и FTPWebLog.