Мониторинг трафика сайта в реальном времени для рабочих групп
Работая с веб-сайтами среднего размера, мы всегда создавали собственные решения для построения графика трафика в реальном времени и отображали их в стиле управления задачами на большом экране, чтобы, если трафик начал расти, нагрузка начала расти, задержка увеличивалась и т. Д., Мы могли начать наблюдать за ним. проактивно, прежде чем система мониторинга отключается.
Сейчас я начинаю работу в новой компании, и нам нужно то же самое. Существуют ли компании, у которых есть программные продукты для мониторинга сайтов в режиме реального времени в стиле управления полетами? Не веб-аналитика, а отображение в реальном времени таких вещей, как одновременные пользователи, просмотры страниц, обращения, среднее время рендеринга HTML и т. Д. Это потребует установки какого-либо агента на каждый веб-сервер (или балансировщик нагрузки), поскольку отслеживание Javascript недостаточно например, когда спам-бот начинает бить по сайту. Я гуглил и ничего не могу найти.
7 ответов
Лучший инструмент, который я видел, это http://www.splunk.com/ он просматривает ваши лог-файлы в режиме реального времени и отображает данные на основе ваших запросов.
Похоже, что Reconnoiter может сделать, может быть, в сочетании с (sys) доставка журналов или какой-либо форме статистики из httpd
Может быть, какой-то инструмент мониторинга RUM сделает эту работу, так как он отслеживает производительность с точки зрения пользователей. Вы можете попробовать простые инструменты RUM, такие как http://www.gear5.me/ (требуется только простой фрагмент js) или более сложные, такие как http://www.newrelic.com/, для которых требуется модуль на сервере для сбора данных.
Я не уверен, есть ли у вас бюджет для таких инструментов - если вы делаете, я бы предложил использовать Splunk. Я использую его для аналогичной настройки мониторинга. Журналы доступа / ошибок веб-сервера отправляются через системный журнал в Splunk, и мы создали инструментальные панели, чтобы предоставить нам конкретные представления об этих данных. Мы также можем отображать графики панели мониторинга в режиме реального времени, поскольку новейшая версия Splunk теперь включает таймфрейм в режиме реального времени.
Поскольку в наших приложениях также есть логика, которая передает данные в Splunk через системный журнал, мы можем сопоставить данные о производительности приложений с традиционными журналами веб-сервера и извлечь из них полезную информацию. Одной из таких вещей является обработка и рендеринг метрик, которые вы упомянули.
YMMV as Splunk действительно нуждается в знаниях и сообразительности хорошего администратора для настройки и создания архитектуры. Я видел, как горстка людей ругается со Splunk только для того, чтобы узнать, что это потому, что его аппаратные потребности были настолько плохо спроектированы, что он в основном споткнулся сам по себе, чтобы потерпеть неудачу. Его язык поиска также имеет некоторую кривую обучения, если вы еще не являетесь опытным пользователем. Это не для всех, хотя я могу засвидетельствовать, что, когда он правильно спроектирован, и вы заполняете его большим количеством данных, он быстро становится незаменимым инструментом мониторинга и отчетности.
Есть ряд компаний, которые продают устройства, которые подключаются к сети, анализируют трафик и собирают статистику, которую вы ищете.
CoRadiant, CA Wily CEM, CA NetQos Super Agent,...
Или вы можете построить один с WireShark:-)
(Отказ от ответственности: я иногда оплачиваемый консультант CEM)
Не могу понять, как бы вы делали "среднее время рендеринга HTML" без небольшого количества Javascript, но все остальное вы можете написать в сценарии, используя MRTG, предполагая, что ваша серверная среда * nix или у вас установлен Cygwin.
Быть активным - это здорово, но ваш пакет мониторинга должен отключиться, если произойдет что-то необычное, а не после того, как что-то станет критическим. Если вы не планируете, чтобы кто-то смотрел графики 24/7.
Мы используем collectd для сбора данных и различных веб-интерфейсов для rrd: collection3, Drraw для их отображения.