Системный аналитик

Camunda всё! Сколько на самом деле стоит open source?14 октября выходит последний релиз Camunda 7. Дальнейшая поддержка доступна только коммерческим клиентам Camunda Enterprise.🛑 Прекращение поддержки стало прецедентом, наглядно поднявшим вопросы о реальной стоимости open-source, рисках неожиданной миграции и способности команды самостоятельно поддерживать инфраструктуру.📅 Приглашаем на вебинар 14 октября в 16:00 МСК, где эксперты Haulmont расскажут про ключевые затраты, необходимые для подготовки и сопровождения собственных open source проектов.К обсуждению:🧩 Финансовые и организационные аспекты работы с open source🧩 Практические подходы к безопасной разработке🧩 Кадровые риски и концентрацию экспертизы внутри команды➡️ Регистрация по ссылке#рекламаО рекламодателе

А может ну это все и улететь работать в космос?👽 На станцию Контур ищут новобранцев — аналитиков, чтобы помочь предпринимателям с разных планет проанализировать бизнес-процессы и найти узкие места. Запускайте бота и проходите миссии в течение недели. В конце квеста — розыгрыш бокса с космическим мерчем. 🚀Стажировка уже началась. Вперёд!

А может ну это все и улететь работать в космос?👽 На станцию Контур ищут новобранцев — аналитиков, чтобы помочь предпринимателям с разных планет проанализировать бизнес-процессы и найти узкие места. Запускайте бота и проходите миссии в течение недели. В конце квеста — розыгрыш бокса с космическим мерчем. 🚀Стажировка уже началась. Вперёд!

IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач: → Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности. → Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях. 🏆 Призовой фонд: 900 000 рублей 💻 Формат: онлайн 🗓 Регистрация до 16 октября: https://cnrlink.com/itonecupmsusyssa Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек. Что тебя ждёт: • Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными. • Получишь готовый проект в портфолио. • Для участников ТОП-5 команд в каждом треке — фирменный мерч. Задачи соревнования: Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы. Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки. Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsusyssa

⌛ gRPC: подробнее ❤️gRPC: краткий обзор❤️ gRPC реализует парадигму удаленного вызова процедур (RPC), где клиент вызывает методы на сервере так, будто они находятся в одном процессе Protocol Buffers Процесс разработки с gRPC начинается с проектирования контракта в proto-файлах Контракт (.proto файл) — единая точка, в которой описываются: 🟢структуры данных (сообщения) 🟢методы сервисов 🟢входные / выходные параметры На основе proto-файлов автоматически генерируется клиентский и серверный код для разных языков ➡️ снижает риски несовместимости 🟢Protobuf — наиболее часто используемый IDL для gRPC Здесь хранятся данные и функциональные контракты в виде proto-файла gRPC Interceptors Interceptor ("перехватчик") — компонент, который позволяет внедрять пользовательскую логику в обработку вызовов gRPC на стороне клиента / сервера Предоставляет механизм для изменения запросов и ответов, а также для выполнения доп действий Интерсепторы оперируют: 🔴именами сервисов и методов 🔴метаданными вызовов 🔴статусами выполнения 🔴таймингами и ошибками Protocol Buffers определяют ЧТО передается Интерсепторы - КАК обрабатываются вызовы Сценарии использования 🟢проверка токенов, валидация прав доступа к методам, добавление учетных данных в метаданные 🟢сбор статистики по времени выполнения, количеству вызовов, ошибкам. Интеграция с системами мониторинга 🟢логирование входящих и исходящих вызовов, трассировка запросов в распределенных системах 🟢Retry-логика, таймауты, circuit breakers, балансировка нагрузки на клиентской стороне 🟢проверка корректности запросов, преобразование данных, кэширование ответов gRPC и Kafka ♥️gRPC — про синхронные вызовы ♥️Kafka — про асинхронный обмен событиями. Обычно дополняют друг друга: gRPC обрабатывает пользовательский запрос «здесь и сейчас» Kafka распространяет событие дальше 🟢Пример: система заказов

    
        Клиент → gRPC → Сервис А → Kafka → Сервис Б, Сервис В{}
    

1. Клиент через gRPC создает заказ 2. Сервис заказов обрабатывает команду "создать заказ" 3. Публикует событие "OrderCreated" в Kafka 4. Сервисы уведомлений и аналитики получают событие из Кафка Примеры архитектуры с gRPC ✅банковская система: gRPC связывает микросервисы обработки платежей, управления счетами и проверки безопасности ✅приложение для доставки: gRPC-streaming для получения обновлений о местоположении курьера в реальном времени ✅стриминговый сервис: gRPC управляет коммуникацией между сервисами рекомендаций, биллинга и контент-доставки Двунаправленные стримы - для управления видеопотоками Безопасность в gRPC gRPC изначально ориентирован на защищённые каналы: 🟢TLS по умолчанию — все соединения зашифрованы 🟢mTLS — взаимная аутентификация сервисов (не только клиент проверяет сервер, но и сервер проверяет клиента) 🟢метаданные — передача токенов (JWT, OAuth2, API-ключи) 🟢интерсепторы — проверка прав доступа , логирование, метрики 🟢короткоживущие токены и регулярное обновление сертификатов 📎 Материалы 1. Введение в gRPC: Основы, применение, плюсы и минусы 2. Что такое gRPC и Protobuf? 3. Способ организации gRPC контрактов и их автоматизация для микросервисов 4. Protocol Buffers: самая эффективная бинарная альтернатива текстовому формату 5. gRPC Interceptors (документация) 6. Перехватчики gRPC в .NET 📚 Изучаем OpenTelemetry: современный мониторинг систем (2025) - Паркер Остин, Янг Тед #интеграции ➿➿➿➿➿➿➿➿ 🧑‍🎓 Больше полезного в базе знаний по системному анализу

🔽Debezium Debezium - распределенная платформа с открытым исходным кодом, которая превращает существующие БД в стриминговые источники событий ⏬«Подписывается» на журналы СУБД и захватывает каждое изменение на уровне строки и отправляет его в Apache Kafka в виде структурированных событий Оптимален когда нужна 🔵обработка изменений в реальном времени 🔵поддержка сложных преобразований данных 🔵интеграция с экосистемой Kafka 🔵требования к кастомизации и контролю Архитектура и компоненты Работает как набор коннекторов для Apache Kafka Connect Каждый коннектор специализируется на конкретной СУБД и реализует протокол репликации этой базы Основные компоненты ✨коннекторы — отдельные для PostgreSQL, MySQL, SQL Server, Oracle, MongoDB и Db2 ✨транзакционные журналы БД, откуда Debezium читает ✨схема сообщений — каждое событие содержит данные до/после изменения, метаданные операции и информацию об источнике ✨Kafka Connect Framework 💚Debezium можно интегрировать не только с Kafka С помощью Debezium Engine события можно получать напрямую в приложение или транслировать в другие брокеры: RabbitMQ, Pulsar, Redpanda Принцип работы 💙 Поток данных кратко БД → журнал транзакций → Debezium connector → Kafka Connect → Kafka topic → потребитель (микросервис, аналитическая система, хранилище) Процесс обработки изменений от журнала до топика Kafka 💙Подключение к БД Коннектор подключается к БД с правами репликации 💙 Создание снимка (snapshot) При первом запуске коннектор создает снимок данных Последовательно читает таблицы и генерирует события создания для каждой строки Этот процесс гарантирует, что все существующие данные попадут в поток событий 💙Непрерывное чтение журнала транзакций После завершения снимка коннектор переключается на чтение транзакционного журнала. Отслеживает позицию последнего обработанного события и продолжает чтение с этой точки при рестарте 💙 Преобразование изменений Каждая запись в журнале парсится и преобразуется в событие JSON / Avro Debezium обрабатывает различные типы данных СУБД, включая XML и пользовательские типы. 💙Отправка в Kafka События отправляются в топики Kafka. Коннектор использует семантику at-least-once, что требует идемпотентной обработки на стороне потребителей. Примеры использования 💚Интеграция Legacy-БД с микросервисами: старое монолитное приложение пишет в общую базу, Debezium транслирует изменения в события для микросервисов. 💚Event Sourcing / CQRS. Debezium можно использовать как источник событий, превращая БД в event log. 💚Репликация в DWH или Data Lake 💚Аудит изменений. Логировать все операции по таблицам, не меняя код приложений. 💚Синхронизация с индексами и кешами. Например, изменения в PostgreSQL сразу обновляют Elasticsearch или Redis Проблемы и риски 💙нагрузка на СУБД: при первом снэпшоте Debezium сканирует таблицы. Это может перегрузить продакшн. 💙обработка DDL: добавление или удаление колонок не всегда корректно обрабатывается. 💙exactly-once: Debezium гарантирует at-least-once. Exactly-once зависит от конфигурации Kafka и потребителей. 💙сбои: при падении соединения коннектор должен корректно продолжить чтение с последнего offset. Иногда возможны дубликаты. 💙версионные миграции: новые версии коннекторов могут менять формат событий. 📎 Материалы 1. Официальный сайт 2. CDC в Yandex Data Transfer: гид по технологии с примерами 3. Что такое Debezium и для чего используется 4. Знакомство с Debezium — CDC для Apache Kafka 5. Что такое Debezium: подробная инструкция по применению 6. Debezium Architecture #интеграции ➿➿➿➿➿➿➿➿ 🧑‍🎓 Больше полезного в базе знаний по системному анализу

❌ HR внесли в черный список аналитика из Wildberries Он публиковал записи реальных собеседований, ответы на вопросы с интервью и главные ошибки в резюме у себя в канале. Автор работал аналитиком в ВТБ, Самокате и Wildberries, показывая на своем опыте, как получать офферы на 140, 200 и 350 тыс. рублей Уже в канале: — Запись реального собеседования на 250.000₽ с готовыми ответами — Разборы вопросов с собесов для аналитиков из ВТБ и Сбера — Инструкции, как правильно торговаться за лучший оффер Всё тут👇 @itgardenn

⚙️ Apache Kafka: экосистема Apache Kafka - платформа для потоковых данных Включает: ⚫️Kafka Connect ⚫️ksqlDB ⚫️Kafka Streams Kafka Streams Библиотека для обработки потоков событий с возможностью: 🤩 Агрегации: подсчет количества событий за период для каждого ключа ➡️ количества кликов по рекламе для каждого пользователя за последний час 🤩Обогащении: дополнение событий данными из внешних систем или других топиков ➡️ добавление информации о профиле пользователя к событиям покупок 🤩Фильтрации: отбор нужных событий 🤩Трансформации: изменение формата/структуры сообщения ➡️ конвертация из бинарного формата Avro в JSON 🤩Объединения: данные из нескольких топиков ➡️ объединение данных о заказах и платежах Архитектурная идея: микросервисный подход к потоковой обработке Kafka Streams инкапсулирует логику обработки в независимое приложение, оно масштабируется вместе с кластером Kafka 🤩Обадает отказоустойчивостью 🤩Не требует развертывания отдельной инфраструктуры Хранение данных между обработками Для этого используется: ✨State Store — локальное хранилище внутри Kafka Streams, где находятся текущие вычисления ✨Changelog Topic — специальный топик в Kafka, куда записываются изменения в State Store Если приложение перезапускается, то загружает данные из этого топика и продолжает работу с того же места По умолчанию Kafka Streams хранит состояние локально, но обработанные данные можно записывать во внешние БД или облачные хранилища Примеры использования 🤩Обработка транзакций с добавлением информации о пользователе из внешней БД 🤩 обогащение данных о платеже информацией о возрастной группе и истории покупок пользователя для системы фрод-мониторинга. 🤩Трансформация данных из формата Avro в JSON с валидацией и фильтрацией некорректных записей 🤩 очистка и преобразование данных логов веб-сервера перед загрузкой в аналитическое хранилище Kafka Connect Фреймворк для масштабируемого ввода/вывода данных между Kafka и внешними системами Решает задачи интеграции с различными источниками ⏩ Пример: синхронизация данных между PostgreSQL и Elasticsearch Источник (JDBC Connector) читает изменения из БД с помощью механизма изменения данных Debezium, а приемник (Elasticsearch Connector) загружает данные в поисковый индекс для быстрого поиска Особенности ⏺готовые коннекторы для популярных систем ⏺автоматическое управление смещениями: отслеживание позиции обработки для каждого коннектора ⏺масштабирование через распределенный режим работы в кластере ⏺поддержка преобразований данных: встроенные онлайн преобразования форматов данных ksqlDB СУБД для потоковой обработки ➖позволяет выполнять SQL-запросы к данным в топиках Kafka ➖применяется для быстрого прототипирования и простых ETL-задач без кода на Java 🤩Пример: мониторинг аномальной активности пользователей в реальном времени. Например, обнаружение пользователей, выполняющих более 100 действий в минуту, с отправкой уведомлений в систему безопасности Особенности 🤩SQL-синтаксис для потоковой обработки 🤩поддержка оконных агрегаций и joins - возможность объединения потоков данных и агрегации по временным окнам 🤩REST API для управления потоковыми запросами Применение: создание реальных дашбордов, реализация простых правил бизнес-логики, мониторинг качества данных 📎 Материалы 1. Kafka Streams (official site) 2. Экосистема Apache Kafka: Kafka Streams, Kafka Connect 3. Потоковая обработка данных с помощью Kafka Streams: архитектура и ключевые концепции 4. Под капотом Kafka Connect: источники, приемники и коннекторы 5. Как устроена Kafka Connect: основы интеграции Kafka с системами Big Data 6. ksqlDB 7. ksqlDb или SQL как инструмент обработки потоков данных 📚 Книги 1. Kafka Streams и ksqlDB: данные в реальном времени - Сеймур Митч 2. Kafka в действии - Дилан Скотт, Виктор Гамов и Дейв Клейн (Глава 12) #интеграции ➿➿➿➿➿➿➿➿ 🧑‍🎓 Больше полезного в базе знаний по системному анализу

Стань аналитиком, который нужен современным компаниям🚀 Бизнесу нужны не «сборщики данных», а специалисты, которые понимают продукт, умеют моделировать процессы, ставить задачи и доводить проекты до результата. GIGASCHOOL запускает 6-месячную программу обучения «Системный и бизнес-анализ» — практический курс, где ты пройдёшь путь от интервью с заказчиком до защиты своего проекта. Эксперты: — Вероника Борисова, бизнес-аналитик, OZON; — Ольга Шевченко, программный эксперт, руководитель отдела аналитики, Napoleon IT. Ты научишься: ➡️Собирать и формализовать требования (BRD, SRS, Use Case и др.); ➡️Работать в Jira, Confluence, SQL; ➡️Моделировать процессы (BPMN, UML); ➡️Создавать CJM, User Story Mapping; ➡️Строить логику продукта от идеи до релиза.

Кому подойдет курс? • новичкам — освоишь нужные рынку навыки и получишь первые проекты; • действующим аналитикам —структурируешь знания и погрузишься в задачи, которые пока не дают на работе; • занятым — гибкое обучение без перегруза и выгорания.

🎓10 грантовых мест за 15 000₽ от Napoleon IT. Посмотреть программу и записаться