Как настроить мониторинг сайта и замечать сбои раньше пользователей

За годы работы с enterprise-проектами мы выработали подход к мониторингу, который позволяет отлавливать инциденты до того, как о них напишет клиент. В этой статье Сергей Суханов, основатель и CEO компании «Триада», рассказывает о том, как работает наша методология. Без привязки к конкретному стеку, но с реальными цифрами и лайфхаками, которые можно применить.

Мониторинг сайта: серверы, дашборды и глаз, наблюдающий за инфраструктуройДашборды зеленые, CPU в норме, память свободна, диски не переполнены, а заказчик звонит и сообщает, что у него ничего не работает. Серверы живы, но бизнес стоит — классика.

На одном проекте интернет-магазина у нас был показательный кейс. Вечер, пиковая нагрузка, мониторинг инфраструктуры молчит — все сервисы отвечают, коды 200-е, а пользователи не могут оформить заказ, потому что не выбирается адрес доставки. Оказалось, что боты съели суточные лимиты API сервиса подсказок адресов. Лимит был на условный миллион запросов, и к концу дня он закончился. Система не упала, серверы не перегрелись, но ключевая бизнес-функция перестала работать.

Если бы мы мониторили только железо, о том, что сервис фактически не работает, мы узнали бы от заказчика, а он — от своих клиентов, партнеров или инвесторов. То есть мы всегда узнавали бы о проблеме даже не вторыми — третьими.

Две сущности: метрики и события

Когда говорят про мониторинг, часто путают две принципиально разные вещи:

  1. Метрики — любые количественные данные. Например, процент нагрузки процессора, свободное место на диске, количество SMS, отправленных за час, время ответа конкретного метода, длина очереди. Все, что можно измерить и отобразить на графике.
  2. События — состоявшиеся факты. Например, попытка авторизации провалилась, заказ создан, очередь в RabbitMQ превысила порог. События фиксируются в логах и требуют поиска по тексту.

Под каждую сущность мы используем свой стек. Для метрик — Prometheus + Grafana, а для логов — ELK (Elasticsearch, Logstash, Kibana).

Установить Grafana можно за две минуты, это задача для любого девопса, но без настроек она практически бесполезна. По умолчанию Grafana показывает серверные метрики — CPU, RAM, диск, сеть, процент ошибок балансировщика. По ним видно, что серверу плохо, но непонятно почему. 

Метрики и логирование нужны не для того, чтобы констатировать факт «серверу плохо», а для того, чтобы знать причину.

Я не один год повторяю командам мантру: «Grafana — это такой же цифровой продукт. Ее конфигурации должны лежать в Git, изменения должны идти через пул-реквесты и раскатываться как код. Веб-интерфейс «Графаны», где админ расставил галочки, — не мониторинг, мониторинг не в Git — тоже не мониторинг. Это локальный эксперимент, который умрет вместе с уволившимся админом».

Мониторинг ИТ-инфраструктуры с Prometheus и Grafana

Первое, что мы делаем на любом проекте — инвентаризируем подсистемы, то есть разбираем, из чего состоит продукт. Обычно это стандартный набор служб:

  • Физические серверы или виртуалки.
  • Балансировщики нагрузки (nginx, HAProxy).
  • Базы данных (PostgreSQL, MySQL).
  • Кэширующий слой (Redis, Memcached).
  • Интерпретатор бэкенда (PHP-FPM, Go, Java).
  • Планировщики очередей (RabbitMQ, Kafka).

Под каждую из этих служб существуют готовые шаблоны мониторинга. Для Redis — процент попадания в кэш, процент заполнения памяти, скорость вытеснения ключей. Если процент попадания низкий — скорее всего, разработчик не предусмотрел правильные ключи кэширования или у вас слишком разрозненный профиль данных.

Для RabbitMQ — длина очередей, количество unconsumed messages. Для балансировщика — распределение кодов ответа.

Начинать нужно именно с этого — накатить boilerplate-шаблоны под каждую службу, посмотреть на реальные графики, понять, что из этого действительно нужно, а что только создает шум. Это закрывает 80% системных проблем первого месяца.

Технически Prometheus собирает метрики через экспортеры — небольшие агенты, каждый из которых отвечает за свою часть инфраструктуры. В нашем стандартном наборе пять штук:

  1. node_exporter — CPU, память, диски, сеть. Базовое здоровье сервера.
  2. apache_exporter — статусы воркеров, количество запросов, время ответа.
  3. php-fpm_exporter — пул процессов PHP: сколько активных, сколько в очереди, сколько простаивает.
  4. mysql_exporter — запросы к базе, uptime, slow queries, размер буферов.
  5. memcached_exporter — попадания в кэш, использование памяти, evictions.

Сбор метрик в Prometheus устроен так: каждый экспортер отдает их на эндпоинт /metrics, Prometheus забирает по расписанию (обычно раз в 15–30 секунд), а Grafana отображает на графиках. Эта связка покрывает системный мониторинг целиком — без единой строчки кастомного кода команда видит: жив ли сервер, справляется ли база, не задыхается ли PHP.
Системный и функциональный мониторинг: серверы живы, но оформить заказ нельзяОднако системные метрики не отвечают на вопрос, работает ли бизнес. Сервер может показывать CPU 30%, а каталог товаров — отдавать пустые страницы. Для бизнес-метрик нужен код внутри приложения.

Функциональный мониторинг сайта на примере интернет-магазина

Здесь начинается самое интересное и сложное. Ключевой вопрос — что такое аптайм вашего продукта? Не сервера — именно продукта.

Для e-commerce аптайм — не то же, что «сайт отдает 200 OK». Это когда заказы создаются и оплачиваются, поэтому мониторинг пользовательских сценариев охватывает оба этапа: оформление и оплату заказа. Если заказы просели — у вас инцидент, даже если все серверы зеленые и пингуются. Для других продуктов метрики после запуска выбирают по тому же принципу. Например, для сайта с формой заявки проверяют, дошли ли данные до CRM.

Мы считаем количество заказов одним из ключевых показателей. На нем во многом базируется SLA. Чтобы отсечь естественные колебания — выходные, праздники, маркетинговые акции, — мы берем среднее арифметическое за сегодня, вчера и такой же день неделю назад. Сравниваем отклонение в процентах. Если падение больше 30% от базы — это алерт, по которому включается команда.

Метрики можно снимать двумя способами:

  1. Сверху вниз — с балансировщика или из логов. Например, берем эндпоинт каталога и считаем долю 200-х ответов относительно других. В норме это около 98%. Если 500-е ошибки начинают расти — это реальная проблема бэкенда. 404 и 301 мы не считаем — это не ошибки сервера, это логика роутинга или отсутствие страницы.
  2. Снизу вверх — приложение само пишет в систему метрики. Когда поиск успешно отработал — код инкрементирует счетчик. Когда авторизация прошла — получаем +1. Это точнее, но требует осознанных изменений в коде.

Для PHP-стека подключается библиотека promphp/prometheus_client_php, и разработчик описывает, что именно считать:

// Счетчик успешных заказов
$orders = $registry->getOrCreateCounter(
    'business',
    'orders_total',
    'Количество оформленных заказов',
    ['status']  // метка: success / failure
);

// При каждом заказе
$orders->incBy(1, ['success']);

Prometheus забирает эти метрики точно так же, как системные. В Grafana строится график с заказами в минуту, и на него вешается алерт. Если за последние 30 минут заказов стало на 30% меньше, чем обычно в это время — значит, что-то пошло не так. Такой подход меняет оптику мониторинга, ведь теперь мы следим не за серверами, а за бизнесом и его ключевыми процессами.

Многие команды попадают в ловушку «ложных нулей». Допустим, вы мониторите количество успешных авторизаций и видите ноль. Инцидент? Не факт, может, на сайте просто никого нет, потому что три часа ночи.

Мы предпочитаем считать не абсолютные значения, а проценты — например, процент успешных авторизаций относительно попыток. В норме это около 80%. Если этот процент падает, значит, нужно расследовать. Возможно, сломалась капча, протухли ключи шифрования или есть другие причины. 

То же самое с SMS-рассылками, с лимитами внешних API, с очередями. Мониторьте не «в штуках», а относительно нормы или количества попыток.

Пороги, шум и кнопка Mute

Шум в мониторинге растет постоянно — это не баг, а фича, в этом суть качественного мониторинга. После каждого инцидента вы добавляете новую метрику, чтобы такое не повторилось. Через год-два жизни крупного проекта у вас может быть 200+ специфических метрик. Спрашивается, как не утонуть в алертах. Мой рецепт — кнопка Mute. Это шутка, но только отчасти.

На самом деле снижать шум нужно системно и волнами:

  1. Работа с порогами. То, что было критичным год назад, сегодня может быть нормой. Повышайте пороги срабатывания, если бизнес это позволяет.
  2. Отказ от устаревших метрик. Продукт развивается, архитектура меняется, старые метрики теряют смысл.

Для примера, мы мониторили процент CPU на серверах. Для монолитной архитектуры это критично — если CPU забит, запросы выстраиваются в очередь, начинаются микрозадержки, растет tail latency, и это может убить пользовательский опыт. Когда мы переехали на контейнеры и Kubernetes, превышение CPU в одном поде перестало быть проблемой — оркестратор просто поднимал еще один под. Метрику можно было спокойно выбросить, что мы и сделали.

Если шума стало очень много, и за ним невозможно следить — проблема не в мониторинге. Проблема в здоровье самого продукта — нужно идти в код и архитектуру, рефакторить. Мониторинг — лишь зеркало.

Как выбрать пороги срабатывания алертов

Настройка алертов меняется вместе с проектом. Откуда берутся конкретные числа — CPU > 80%, падение заказов > 30%, успешность каталога > 98%? Пороговые значения появляются на основе трех источников.

  • Индустриальные стандарты — стартовая точка. CPU > 80% — классический порог для веб-серверов. При такой нагрузке еще остается запас для пиковых всплесков, но если не среагировать, следующий всплеск уронит сервис. RAM > 90% и свободное место на диске < 7% — из той же логики — оставить буфер, пока еще есть время.
  • Исторические данные — следующий уровень. Падение заказов на 30% — это порог, ниже которого сезонные колебания не опускаются. Если заказы упали на 15%, это просто вторник, а если на 35%, что-то сломалось. Где именно провести границу, подсказывает история о том, как метрика вела себя последние полгода, какие были минимумы и максимумы в нормальном режиме.
  • Постмортемы — разборы сбоев после восстановления сервиса — помогают корректировать пороги. После каждого инцидента мы их пересматриваем. Пропустили проблему — снижаем порог, чтобы алерт сработал раньше. Замучили ложные срабатывания — поднимаем, чтобы дежурный не распылял внимание и не терял чувствительность к уведомлениям.
Фрагмент реестра алертов с порогами срабатывания
Реестр алертов

Как устроено реагирование на ИТ-инциденты

Мониторинг без регламента реагирования — просто красивые графики. Алерт должен куда-то прилетать, кто-то должен его увидеть и среагировать по готовому плану действий.

У нас алерт приходит в Telegram с графиком из Grafana. Дежурный видит контекст проблемы сразу, без переключения между вкладками. 
Схема жизненного цикла инцидента: от фиксации алерта до постмортемаИнцидент проходит восемь шагов:

  1. Фиксация. Алерт срабатывает автоматически (Prometheus видит, что метрика вышла за порог) или приходит вручную — пользователь или заказчик сообщает о проблеме.
  2. Классификация. Инциденту присваивают уровень severity: S1 (критический — сервис лежит целиком), S2 (серьезный — ключевая функция деградировала), S3 (умеренный — проблема есть, но основной сценарий работает).
  3. Назначение ответственного. Время реакции по SLA зависит от уровня критичности: для S1 — 1 час, время решения — 4 часа. В регламенте сопровождения сайта по SLA заранее определяем, когда передавать инцидент следующей линии поддержки и кто сообщает заказчику о ходе работ.
  4. Диагностика. Дежурный инженер смотрит дашборд, логи, историю деплоев.
  5. Решение. Откат, хотфикс, перезапуск сервиса — зависит от причины.
  6. Проверка. Метрики вернулись в норму? Пользователи это подтверждают?
  7. Информирование. Заказчик и внутренняя команда получают отчет: что случилось, когда починили, что будет дальше.
  8. Постмортем. Для S1 — обязателен. Срок подготовки — 16 рабочих часов. Это не формальность, а механизм, который не дает наступить на те же грабли.

Кто дежурит

Система включает три роли: дежурный менеджер (координирует и общается с заказчиком), дежурный специалист (разбирает заявки), дежурный инженер (копается в инфраструктуре).

Роль дежурного инженера — переходная. Ее вводят, когда проект получает статус «нестабильный». Критерии четкие: один S1-инцидент за месяц, или S2 за две недели, или S3 за неделю. Пока проект стабилен — дежурного инженера нет, хватает стандартной команды поддержки.

Часы наблюдения — с 9:00 до 23:00. Ночью алерты копятся, утром дежурный разбирает очередь.

Что показывает дежурному дашборд мониторинга в Grafana

Типовой дашборд системного мониторинга — 12 панелей на одном экране:

  • Apache — статус (UP/DOWN) и график worker statuses.
  • Memcached — аптайм и процент использования памяти.
  • MySQL — аптайм и график запросов. Если аптайм показывает 5 минут красным — база только что перезапустилась, и это видно сразу.
  • CPU — загрузка с разбивкой: system, user, iowait, IRQs. Не просто 80%, а видно, что именно грузит.
  • Память — RAM total, used, cache+buffer, free, SWAP. Если SWAP начал расти — система скоро начнет тормозить.
  • Диски — заполнение по разделам + отдельная панель Inodes.
  • SSL — срок действия сертификата. Gauge показывает «12.6 weeks» — есть почти три месяца до истечения. Спасает от ситуации, когда сертификат протух в пятницу вечером.
  • HTTP status code — текущий код ответа сайта.
  • Backup — время с последнего бэкапа. Если число растет больше суток — бэкапы сломались.

Один экран, 12 панелей, 30 секунд на беглую проверку. Дежурный открывает дашборд утром и за полминуты понимает, все ли в порядке.

Восемь принципов, на которых все держится

За годы работы мы сформулировали восемь правил реагирования:

  1. Командная работа. Не ждать, пока кто-то один разберется. Собираем всех ответственных, каждый знает свою роль.
  2. Прозрачность. Все участники получают максимум деталей сразу: характер инцидента, последствия, что от кого ожидается.
  3. Скорость. Чем быстрее приступили — тем быстрее сайт снова доступен. Без регламента можно потратить кучу времени только на выяснение, кто этим занимается.
  4. Влияние на другие задачи. Инцидент S1 сдвигает сроки других задач — и это нормально. Приоритеты пересматривают сразу.
  5. Не только причина, но и последствия. Починить сервер мало. Нужно восстановить данные, проверить целостность, убедиться, что ничего не потерялось.
  6. Документирование. Детальный разбор того, что случилось, почему, как предотвратить в будущем.
  7. Обучение. После каждого инцидента — разбор с командой. Не ищем виноватого, а выясняем, что не предусмотрели.
  8. Коммуникация. Заказчик не должен узнавать о проблемах из соцсетей. Связь — проактивная и прозрачная.

Постмортем инцидента и шесть вопросов для команды

Постмортем инцидента — это механизм, который делает мониторинг лучше после каждого сбоя. Для S1-инцидентов он обязателен, срок — 16 рабочих часов, это жесткий SLA. 

Есть шесть вопросов, на которые отвечает постмортем:

  1. Что произошло? Хронология от первого алерта до полного восстановления. Примерно так: «В 14:32 сработал алерт CPU > 85% на prod-web-02, в 14:35 дежурный инженер увидел уведомление в Telegram, в 14:38 подтвердил — нагрузка реальная, не аномалия мониторинга». Минуты, имена алертов, конкретные метрики.
  2. Почему это произошло? Анализ причин инцидента — здесь помогает метод «5 почему». Сервер упал → потому что закончилась память → потому что PHP-процессы не освобождали соединения с базой → потому что пул соединений не был ограничен → потому что при миграции на новую версию забыли перенести конфиг. Пять вопросов — и вместо бесполезного «сервер упал» мы видим конкретный пробел в процессе.
  3. Как устранили? Шаги решения: кто подключился, какой откат или хотфикс применили, сколько времени заняла каждая фаза. Это инструкция для следующего дежурного, которому достанется похожая ситуация.
  4. Сколько времени заняло? От момента алерта до закрытия инцидента, время измеряется отдельно для каждого уровня severity. S1, S2, S3 имеют разные нормативы, и тренд по этой метрике показывает, работает ли команда быстрее.
  5. Как предотвратить? Конкретные action items, например, добавить алерт на размер пула соединений, поменять порог CPU с 85% на 80%, внести проверку конфигов в чек-лист деплоя. Каждый item — с ответственным и дедлайном.
  6. Покрыл ли мониторинг этот случай? Самый важный вопрос, потому что если алерт сработал вовремя — мониторинг справился. Если проблему нашел заказчик — мониторинг провалился, и нужно добавить правило, которое в следующий раз поймает такой же сбой раньше. Именно этот пункт замыкает цикл: инцидент → постмортем → улучшение мониторинга → следующий инцидент ловим быстрее.

У мониторинга нет дедлайна. Это живой организм, с которым нужно работать так же регулярно, как с тестами или CI/CD.

Два хака, которые экономят нервы

1. Агрегированная метрика быстродействия

В сервис-ориентированной архитектуре одна страница делает десятки запросов к разным микросервисам. Главная страница может дергать 20 эндпоинтов одновременно. Отслеживать каждый из 500 методов бэкенда нереально, вы утонете в графиках.

Мы сделали агрегированную метрику — суммируем время работы всех запросов, которые браузер делает при загрузке страницы. Технически это не совсем корректно, так как запросы выполняются параллельно, а не последовательно, но в качестве быстрого индикатора «быстрее/медленнее» работает отлично.

Если вчера главная отвечала за 1 секунду, а сегодня за 1,5 — мы идем смотреть, какой из 500 методов деградировал. Заказчик периодически спрашивает: «Почему у вас корзина замедлилась?», и мы можем ответить за минуты, а не за дни расследований.

2. Google PageSpeed прямо в Grafana

Есть опенсорсные решения, которые позволяют снимать метрики PageSpeed Insights и складывать их в Grafana. Это суперудобно — вы в динамике видите скорость десктопа и мобилки, главной, каталога и карточки товара…

Можно повесить алерт: «PageSpeed просел». Это значит, что через несколько месяцев у вас упадут позиции в поиске, снизятся продажи и далее по цепочке. В итоге маркетологи и сеошники скажут вам спасибо.

ИИ как второе мнение (и почему мы не доверяем ему продакшен)

Статья была бы не статья, если бы в ней не было ИИ. Мы собрали агентскую систему на базе LangGraph, которая подключается к мониторингам, логам, индексирует кодовую базу и строит графы кода. Когда происходит инцидент, эта система помогает расследовать причины.

Под капотом работает команда из нескольких моделей: GLM 5.3 для глубокого анализа, DeepSeek 4.1 Flash для выполнения инструкций и написания отладочного кода, в узлах, требующих быстрого решения, местами стоит Qwen. Эмбеддинги кода и документации считаем на Qwen Embedding. 

Раньше расследование сложного инцидента занимало часы. Нужно было поднять логи, посмотреть изменения в кодовой базе за последний релиз, понять влияние конкретных задач. Сейчас система проходит этот цикл примерно за 15–20 минут: полное сканирование логов, дифф кода, анализ релизного цикла.

У нас есть реальный кейс — через час после релиза получаем инцидент. Видим, что растет нагрузка на определенные поды, не разбирается очередь Kafka. Скармливаем эти признаки агенту. За 15 минут он изучает консьюмеров и продьюсеров этой очереди, поднимает дифф релиза и находит одну задачу, в которой изменился механизм кэширования. Затем вычисляет конкретную запись в Kafka, которая уходит в цикл с превышением таймаута и пожирает память. Для этого модель сравнивает временные интервалы появления ошибок и роста графиков — то есть делает то же, что делает инженер при ручном разборе. На выходе — готовый план: отложить битую запись, откатить проблемную задачу из релиза. Бонусом агент предложил несколько точек для оптимизации кода.

Но мы не отдаем ИИ устранение инцидентов. Он только расследует и дает второе мнение SRE или девопсам, потому что ИИ понимает только семантику. Он выполняет строго то, что написано в документации и коде, а человек понимает широкий контекст и полутона, помнит то, что случилось три года назад и не описано в доках.

Пока проект не описан на 100% машиночитаемым образом со всеми edge-cases (а таких проектов в природе не существует), ИИ будет оставаться ассистентом, а не автопилотом. Принцип Human in the Loop — это база, и, думаю, в ближайшие годы ею и останется.
Схема работы ИИ-агента: расследование инцидента и решение инженераТо, что LLM умеет изучать ошибки — не новость. Круто, что в правильной обвязке, как у нас, модель работает насквозь: от требований и системной аналитики до инфраструктуры и кода. 

Как говорить с бизнесом и почему разработчик — не продакт

Когда мы заходим на новый проект, мы задаем бизнесу несколько вопросов:

  1. Что для вас критично? Как вы понимаете, что случилась проблема?
  2. Что часто ломается? Что вас уже достало?
  3. И для калибровки — сколько человек уволят, если это не заработает?

Последний вопрос звучит цинично, но он помогает расставить приоритеты. На сайте может слегка «поехать» сортировка товаров — это неприятно, но из-за этого не поднимают команду ночью. А вот остановка процессинга — это инцидент уровня S1, и метрики под него должны быть соответствующими.

Одна из вечных загадок вселенной — как научить разработчиков думать бизнес-функциями. Ответ — никак, я годами пытаюсь — не получается. И, честно говоря, если ваш разработчик думает бизнес-функциями и продуктом — это не разработчик. Это невыявленный тимлид или продакт, и его срочно нужно повышать.

Разработчик выполняет функцию. Он может предложить неочевидное техническое решение, заметить расхождение данных в коде… Но логику мониторинга должен формулировать руководитель проекта или техлид в виде ТЗ. Ставить задачу на мониторинг заказов в надежде, что разработчик сам догадается, как это сделать правильно, — путь в никуда.

Что в итоге

  1. Инвентаризируйте службы и накатите boilerplate — это закроет системные проблемы.
  2. Определите ключевую бизнес-функцию — она и есть реальный аптайм.
  3. Считайте проценты, а не абсолютные значения.
  4. Пишите постмортемы и добавляйте по их итогам метрики.
  5. Регулярно удаляйте устаревшие метрики, иначе утонете в шуме.
  6. Регламентируйте реагирование. Алерт без плана действий — просто шум.

Мониторинг, который ловит инцидент раньше заказчика, строится не от серверов к бизнесу, а от бизнеса к серверам. Базовые вопросы к бизнесу на старте закрывают 80% проблем первого месяца. Дальше система растет сама — через инциденты, постмортемы и эволюцию продукта. У мониторинга нет цели. Есть только путь. И пока жив продукт, жив и его мониторинг.

Читайте также: ИИ vs сисадмин: кто будет чинить серверы через 5 лет

Что будем искать? Например,ChatGPT

Мы в социальных сетях