Телеграм канал «Monq – корпоративный ИТ-мониторинг нового поколения | Новости и кейсы»

⚙️ Monq 9.3: технический апгрейд — что изменилось под капотом

Сегодня — про изменения, которые не видны в интерфейсе, но делают платформу быстрее, экономичнее и современнее. Ну и держат наших разработчиков и код в форме 😉

📍 Все микросервисы (а их у нас более 80) обновлены до .NET 10. Платформа переведена на актуальную LTS-версию рантайма, что обеспечивает прирост производительности и улучшенную работу "сборщика мусора". По крайней мере, Microsoft так обещает;
📍 Внедрена поддержка OpenTelemetry. Микросервисы Monq научились отправлять собственные трейсы, логи и метрики в формате OTLP. Это позволяет подключать платформу к стандартным OTel-совместимым бэкендам.
📍 Переход на Mapperly. Внутренний слой преобразования данных между сервисными моделями переведён на библиотеку Mapperly (source generator без рефлексии). В результате — снижение потребления оперативной памяти и ускорение работы с большими списками объектов;
📍 Оптимизация генератора кода "Автоматона" (нашего low-code движка) для больших сценариев. Устранены ошибки OOM при компиляции особо больших сценариев и уменьшен размер скомпилированного кода;
📍 Генерация OpenAPI на gate-сервисах переведена в режим с пониженным потреблением оперативной памяти.

📸 Раздельные политики хранения артефактов автотестов!

💾 Monq 9.3: безопасное хранение данных и гибкие политики для автотестов

Продолжаем разбирать новшества релиза. Сегодня — про то, где и как Monq хранит ваши данные. Тема не самая заметная, но именно она определяет, насколько безопасно и удобно работать с платформой на больших объёмах.

📍 Проблема NFS и переход на S3
До 9.3 файлы в Monq хранились на примонтированных NFS-дисках. Просто, но у этого подхода есть слабые места: скорость, горизонтальное масштабирование и вопросы с безопасностью (обращение напрямую к файловой системе не приветствуется ИБ).

Теперь Monq работает с файлами через объектное хранилище S3. Что это дает:
1️⃣ Масштабируемость без потолка. Особенно актуально для проектов с большим объемом функционального мониторинга;
2️⃣ Новый уровень ИБ. Тонкое разграничение прав на уровне бакетов, изоляция данных, аудит и возможность шифрования в Вашем корпоративном S3-хранилище.
3️⃣ Эффективность хранения и нагрузки. Протокол S3 (через HTTP/2) гораздо лучше подходит для распределенных и облачных сред, чем NFS с его RPC-вызовами. Это снижает нагрузку на сеть и процессоры серверов Monq, делая работу платформы более стабильной.
4️⃣ Совместимость. Monq работает с любым вашим корпоративным S3: MinIO, Garage, SeaweedFS и другими.

Для бесшовного перехода реализован мигратор NFS → S3. Он переносит существующие данные без остановки работы платформы — обновляетесь и продолжаете работать, а данные уже в защищённом хранилище.

📍 Раздельные политики хранения для автотестов
Помимо инфраструктурных бенефитов переход на S3 позволил нам реализовать функцию раздельного хранения для успешных и проблемных сборок модуля функционального мониторинга. Гибкое управление пространством без потери важной информации: проблемные сборки хранятся столько, сколько нужно для разбора, а успешные не занимают место. Диски и память дороги — а хранить всё подряд смысла нет.

Обновляйтесь до 9.3.0 и оценивайте новые возможности! Будем ждать вашей обратной связи! 👨‍💻
⬇️ СКРИНШОТЫ НИЖЕ ⬇️

📸Скриншоты прогнозирования Monq 9.3

🎦 Видео сервиса прогнозирования (настройка и результат)

🔮 Monq 9.3: прогнозирование — аппетит приходит во время еды.

Вот уже третий релиз подряд мы выпускаем серьезные обновления для сервиса прогнозирования и, судя по всему, не собираемся останавливаться на достигнутом :) В 9.3 для достижения наилучшего прогноза мы научились комбинировать разные модели, а также при помощи нового интеллектуального сервиса Monq AI анализировать и корректировать их поведение.

📍 Универсальная модель = не самый точный прогноз.
Ранее мы использовали универсальную модель, но наше исследование выявило ряд недостатков такого подхода: прежде всего, это невысокая точность для линейных трендов и необходимость долгого обучения в случае сезонных временных рядов.

📍 Комбинируем линейные и сезонные модели.
В 9.3 мы добавили две модели, работающие в паре: 1) для рядов с устойчивым трендом; 2) для метрик с циклическими паттернами. Monq сам решает, какую модель использовать для конкретного временного ряда. Сезонная модель применяется только там, где Monq AI обнаружил сезонность — или где вы указали её вручную. Во всех остальных случаях используется линейная модель. Такая комбинация показала наиболее точные результаты на наших испытательных стендах.

📍 Ускоряем время прогрева.
У сезонных моделей есть существенный недостаток: для надёжного прогноза нужно минимум 3 полных сезона. Для суточной сезонности: три дня ожидания, прежде чем построится первый прогноз. Monq теперь не ждёт — если данных для чистого сезонного прогноза ещё не хватает, подключается линейная модель. Первые прогнозы появляются уже через 2–3 часа вместо трёх суток. Да, на первых порах точность может быть чуть ниже, но после накопления данных автоматически подключается более точная сезонная модель

📍 Monq AI — берёт управление на себя
Управлять моделями с десятками параметров — задача трудоёмкая и неблагодарная. Использовать универсальные настройки на всё правило порога, где могут обрабатываться сотни, а то и тысячи временных рядов, — значит терять точность. Настраивать параметры для каждого ряда вручную — сойдёшь с ума. А если ряд в процессе ещё и меняет своё поведение... 😱 И как следствие, функционал остаётся невостребованным, а мониторинг — реактивным: реагируем, когда всё уже случилось.

Мы же хотим, чтобы наш функционал был не просто красивой галочкой в рекламном буклете, а приносил реальную пользу. Поэтому мы сделали специальный интеллектуальный сервис «Monq AI», который берёт на себя управление и автонастройку моделей:
🎯Определяет для каждого временного ряда наличие сезонности и её период;
🎯Подбирает изначально лучшие параметры моделей под ваши данные;
🎯Следит за изменениями в процессе работы и корректирует параметры для каждого ряда в отдельности, опираясь на точность предыдущих прогнозов.

Обновляйтесь до 9.3.0 и оценивайте новый уровень прогнозирования — точнее, умнее, без ручной настройки. Будем ждать вашей обратной связи! 👨‍💻
⬇️ СКРИНШОТЫ И ВИДЕО НИЖЕ ⬇️

🎦 Видео настройки адаптивного детектора аномалий в правиле порогов