Мониторинг полезен, когда помогает ответить на вопрос о поведении сервиса. Начните с пользовательского сценария: какой запрос должен выполняться и что считается нормальным результатом.

Измеряйте работу сервиса

Для сервиса запросов полезны количество обращений, число ошибок и распределение времени ответа. Среднее время может скрыть медленные запросы, поэтому важна форма распределения.

Не забывайте про ресурсы

Сопоставляйте поведение приложения с памятью, CPU, очередями и соединениями. Рост задержки рядом с ростом очереди помогает сформулировать гипотезу, но сам по себе ещё не доказывает причину.

Следите за метками

В Prometheus каждая комбинация меток создаёт отдельный временной ряд. Идентификаторы пользователей, запросов и полные URL с уникальными параметрами быстро увеличивают число рядов. Детали отдельных событий лучше оставлять в журналах и трассировках.

От графика к действию

Для каждого уведомления запишите: что нарушено, что проверить первым и кто отвечает за реакцию. Если уведомление не требует действия, возможно, ему место на дашборде.

Небольшой набор понятных сигналов полезнее большой коллекции графиков без вопросов к ним.