Мониторим ИТ

Анализируем сетевой трафик средних и крупных сетей с помощью Netflow/IPFIX/sFlow и боремся с DoS/DDoS с помощью BGP

xenoeye — open source xFlow-коллектор и анализатор. Анализатор собирает xFlow (Netflow и некоторые родственные протоколы типа Jflow, IPFIX, sFlow), распределяет их по объектам мониторинга, экспортирует информацию в СУБД (в текущей версии PostgreSQL), и может быстро реагировать на всплески трафика выше порогов для детекции DoS/DDoS атак с помощью скользящих средних.

Статья с описанием решения на Хабре

Репыч на Гитхабе

Удаление бакетов в S3: что стоит учесть?
Объектное хранилище S3 — надёжный способ работать с большими объёмами данных. 27 мая проведем митап для тех, кто хочет точно понимать, как устроены ключевые процессы S3 — от настройки версионирования до безопасного удаления бакетов.

В формате демо разберём
🔹 настройку версионирования, multipart-загрузок и lifecycle-политик
🔹 автоматизацию очистки бакета (включая delete marker и незавершённые multipart-загрузки)
🔹 как подготовить бакет к удалению
🔹 настройку политик доступа, временных ссылок и шифрование на стороне сервера SSE

Спикер
Евгения Тарашкевич, инженер K2 Cloud

Формат
Онлайн-митап

Ждем администраторов, девопсов, системных архитекторов и всех, кто работает с S3.

Зарегистрироваться>>

​How We Migrated Terabytes of Metrics from InfluxDB to Grafana Mimir: A Complete Observability Overhaul

«К нам обратилась ведущая коммуникационная компания, которая хотела обновить свой устаревший стек наблюдаемости. Их существующая система была построена на InfluxDB v1, стеке TICK и Grafana 8, который подошел к окончанию поддержки, что создавало риски для надежности и долгосрочного обслуживания. Им нужна была современная, масштабируемая и экономически эффективная альтернатива — та, которая могла бы поддерживать многопользовательскую среду и эффективно обрабатывать годы исторических данных. После оценки нескольких вариантов они определили Grafana Mimir как идеальный выбор». Читать дальше.

​Отправка label в систему логирования и мониторинга из метаданных GitLab Runner (job_id, pipeline_id)

При использовании GitLab CI/CD с Kubernetes возникает необходимость видеть связку между логами и конкретными CI job'ами или pipeline'ами. Это особенно полезно для отладки и мониторинга. Однако по умолчанию логи из подов не содержат этих связующих метаданных.

В статье показано, как можно передавать метки job_id, pipeline_id, project_name и другие из GitLab Runner в систему логирования VictoriaLogs с помощью Promtail и систему мониторинга VictoriaMetrics.

​Introducing OpenTelemetry eBPF Instrumentation: Why we donated Grafana Beyla to OpenTelemetry

Около шести месяцев назад в Grafana Labs начался путь проекта Beyla — инструмента инструментирования с открытым исходным кодом на основе eBPF, не требующего написания кода — совместно с проектом OpenTelemetry. Grafana Labs контрибьютит код Beyla в OpenTelemetry под новым названием проекта OpenTelemetry eBPF Instrumentation.

В этой статье команда Grafana Labs рассказывает почему они передают свой проект Beyla в OpenTelemetry.

​Anomaly Detection in Time Series Using Statistical Analysis

Иногда простое пороговое значение работает отлично — например, мониторинг дискового пространства на сервере. Можно просто установить оповещение при оставшихся 10%, и все будет в порядке. То же самое касается отслеживания доступной памяти на сервере.

Но что, если нужно отслеживать что-то вроде поведения пользователей на веб-сайте? Представьте себе, что вы управляете интернет-магазином, где продаете товары. Один из подходов может заключаться в том, чтобы установить минимальный порог для ежедневных продаж и проверять его раз в день. Но что, если что-то пойдет не так, и нужно будет обнаружить проблему гораздо раньше — в течение нескольких часов или даже минут? В этом случае статический порог не справится, потому что активность пользователей колеблется в течение дня. Вот тут-то и вступает в дело обнаружение аномалий. Читать дальше в статье.

❗️Статья на medium.com

​VictoriaMetrics Components: Getting Started

В этой статье в блоге VictoriaMetrics рассказывается об основных компонентах VictoriaMetrics и объясняется, как они работают вместе как часть комплексной системы мониторинга.

rezolus

Rezolus — это агент для сбора телеметрии производительности Linux, который собирает подробную информацию о поведении системы с помощью инструментария eBPF. Собранные метрики отправляются напрямую в Prometheus.

Репыч на Гитхабе

Документация со списком собираемых метрик

❗️Услуга консультации по Zabbix на 1-2 часа за 10 000 рублей.

Мы оказываем услуги не только по полноценному внедрению и технической поддержке Zabbix, но консультируем по конкретным кейсам. Как показал опыт предыдущих консультаций, наши клиенты знают не о всех возможностях Zabbix. Вы можете прийти к нам на консультацию, чтобы спросить о:

🚀 настройке сложных триггеров

🚀 оптимальной настройке вашей инсталляции

🚀 настройке отказоустойчивой конфигурации

🚀 оптимизации хранения данных

🚀 настройке действий, чтобы вашу команду не завалило оповещениями

🚀 решении текущих проблем с Zabbix

🚀 разных задачах, которые вы хотели бы реализовать

Консультация — быстрый способ решить конкретную проблему, чтобы не тратить время сотрудников на изучение документации или поиск в интернете.

Запросить дополнительную информацию вы можете у @galssoftware или через почту [email protected].

erid: 2Vtzqv9kf9k

​Grafana 12 release: observability as code, dynamic dashboards, new Grafana Alerting tools, and more

Вышла Grafana 12! Что нового:

🚀 наблюдаемость как код. В Grafana 12 появился новый набор инструментов наблюдения в виде кода, которые помогут автоматизировать процессы наблюдения в организации. Новая функциональность позволяет версионировать, проверять и развертывать дашборды. Кроме того, есть возможность использования шаблонов кода.

🚀 динамические дашборды. Динамические дашборды упрощают навигацию и ускоряют поиск необходимой информации с помощью вкладок, которые позволяют сегментировать дашборды по контексту, группе пользователей, а отображать или скрывать панели или целые строки в зависимости от выбора переменных или наличия на панели данных для отображения. Видео на Youtube с описанием функционала.

🚀 улучшенное отображение таблиц. В Grafana 12 можно загружать, сортировать и фильтровать большие таблицы быстрее, чем раньше. Визуализация таблиц была переработана для использования библиотеки react-data-grid. Дашборд в Grafana теперь легко обрабатывает огромные наборы данных: по 40 000+ строк и почти 20 столбцов с производительностью CPU на 97,8% выше.

🚀 новые темы в дашбордах. Появились темы Sapphire dusk, Tron, Gilded grove, Gloom и Desert bloom.

🚀 объединение и преобразование данных из нескольких источников. Теперь одним выражением в формате SQL-синтаксиса можно забирать данные из разных источников: Loki, MySQL, PostgreSQL и пр.

🚀 легкая миграция в Grafana Alerting. Упрощена миграция правил оповещений, которая позволяет импортировать правила оповещений Prometheus и Loki в правила оповещений, управляемые Grafana.

🚀 Grafana Drilldown в GA. Теперь возможность перехода из одного дашборда в другой перестала быть экспериментальной функцией.

Больше подробностей в блоге Grafana