Анализ данных (Data analysis)

🐬 Dolphin - это улучшенная и расширенная версия Whisper, оптимизированная для распознавания большого числа восточных языков и китайских диалектов, которая превосходит другие открытые модели и доступна для использования сообществом.
На чем основана?

Цель: Поддержка более широкого спектра языков, с особым акцентом на 40 восточных языках (Восточная Азия, Южная Азия, Юго-Восточная Азия, Ближний Восток) и 22 китайских диалектах.

Как обучалась? Использовалась комбинация собственных (проприетарных) и общедоступных (open-source) наборов данных для обучения и оптимизации.

Результаты: Эксперименты показали, что Dolphin значительно превосходит существующие лучшие модели с открытым исходным кодом по качеству распознавания для многих языков.

Доступность: Разработчики делают обученные модели и исходный код для их использования (инференса) общедоступными, чтобы способствовать воспроизводимости и развитию сообщества.

🟡Model:
https://huggingface.co/DataoceanAI/dolphin-base
https://huggingface.co/DataoceanAI/dolphin-small
🟡 Paper:
https://huggingface.co/papers/2503.20212

@data_analysis_ml

🔥 EasyControl — это фреймворк (набор инструментов и методов), разработанный для добавления управляющих сигналов (условий) к моделям генерации изображений на основе Diffusion Transformer (DiT).

По сути, это попытка создать аналог популярного ControlNet (который в основном используется с U-Net архитектурами) для нового поколения диффузионных моделей, построенных на трансформерах. Его цель — сделать процесс управления генерацией в DiT моделях таким же гибким, эффективным и легко подключаемым.

Как работает EasyControl?

EasyControl решает проблемы интеграции управляющих сигналов в DiT, используя комбинацию нескольких ключевых идей:

▪ Легковесные Модули Внедрения Условий (Condition Injection LoRA): Вместо того чтобы переобучать всю огромную DiT модель или создавать громоздкие копии её частей для каждого нового условия (например, позы, контуры, глубина), EasyControl использует LoRA (Low-Rank Adaptation). Это техника, позволяющая "внедрить" дополнительную информацию (управляющий сигнал) в существующую модель, обучая лишь небольшое количество дополнительных параметров. Это делает процесс добавления новых типов контроля очень эффективным по ресурсам и позволяет сохранять исходные "знания" и стиль базовой DiT модели (style lossless).

▪ Парадигма Обучения с Учетом Позиции (Position-Aware Training Paradigm): Трансформеры (как в DiT) обрабатывают изображение как последовательность патчей (участков). Чтобы управляющий сигнал (например, карта позы) корректно влиял на соответствующие участки генерируемого изображения, EasyControl использует специальный подход к обучению, который помогает модели лучше понимать пространственное соответствие между управляющим сигналом и генерируемым контентом.

▪ Оптимизация Внимания и Кэширование (Causal Attention + KV Cache): Для повышения эффективности на этапе генерации (inference), EasyControl применяет оптимизации, характерные для трансформеров. Использование Causal Attention (причинного внимания) и KV Cache (кэширование ключей и значений в механизме внимания) позволяет ускорить процесс генерации, особенно при работе с длинными последовательностями патчей и дополнительными модулями условий.

🔗 Github
🔗Paper

🤖 Open-Arm— это инициатива, направленная на создание открытой экосистемы для разработки на базе микроконтроллеров ARM, в частности, семейства Cortex-M.

Основная идея — предоставить полностью открытые (open source) аппаратные и программные средства, документацию и сообщество для всех, кто хочет работать с ARM-микроконтроллерами, избегая ограничений и лицензионных отчислений, связанных с проприетарными инструментами и платформами.

Ключевые аспекты и цели проекта:

▪️ Открытое Оборудование (Open Hardware): Разработка и публикация схем, печатных плат (PCB) и другой документации для отладочных плат и периферийных устройств на базе ARM Cortex-M. Это позволяет любому производить, модифицировать и изучать аппаратную часть.

▪️ Открытое Программное Обеспечение (Open Source Software): Создание и поддержка открытых библиотек, драйверов, операционных систем реального времени (RTOS) и инструментов разработки (компиляторы, отладчики, SDK), которые не привязаны к конкретному производителю чипов или инструментов.

▪️ Доступность и Образование: Сделать разработку на ARM Cortex-M более доступной для студентов, хоббистов, исследователей и малого бизнеса, снижая порог входа за счет бесплатных и открытых инструментов и подробной документации.

▪️ Независимость от Вендоров: Предоставление альтернативы экосистемам конкретных производителей (например, STMicroelectronics STM32Cube, NXP MCUXpresso), чтобы пользователи не были "заперты" на инструментах или чипах одного поставщика.

open-arm.org

@data_analysis_ml

Библиотека Python для файнтюнинга Gemma 3! 🔥

Включает документы по файнтюнингу, шардингу, LoRA, PEFT, мультимодальности и токенизации в LLM.

100% открытый исходный код.

pip install gemma

📌 Документация

⚡️ OpenDeepSearch (ODS) — это открытый поисковый агент, разработанный для интеграции с любыми большими языковыми моделями (LLM).

Он создан с целью демократизировать доступ к передовым поисковым технологиям, сократив разрыв между проприетарными решениями (например, Perplexity Sonar Reasoning Pro или GPT-4o-Search от OpenAI) и открытыми аналогами. ODS состоит из двух ключевых компонентов: Open Search Tool и Open Reasoning Agent, которые работают в связке для выполнения сложных поисковых и аналитических задач.

ODS с DeepSeek-R1 обходит GPT-4o-Search от OpenAI на бенчмарке FRAMES (+9.7% точности). Доступен для сообщества: код и статья уже на GitHub и arXiv! #AI #OpenSource #Search

▪Paper: https://arxiv.org/abs/2503.20201
▪ Code: https://github.com/sentient-agi/OpenDeepSearch

@data_analysis_ml

✔️ Runway выпустили Gen-4 — это версия, в которой значительно улучшено качество, динамика движения и управляемость генерациями.

- Улучшенная точность и динамика: Gen-4 позволяет генерировать видео с более реалистичным движением, сохраняя при этом согласованность стилей, объектов и сюжетных линий.

- Контроль и согласованность: С помощью визуальных референсов и инструкций пользователи могут создавать контент с одними и теме же стилями, персонажами и локациями, что идеально подходит для повествовательных историй.

- Поддержка физики и реализма: Модель способна лучше симулировать реальную физику, что делает сгенерированные сцены более правдоподобными.

@data_analysis_ml

Авито представил новую стратегию внедрения генеративного искусственного интеллекта (GenAI)

К 2028 году компания планирует инвестировать в это направление 12 млрд рублей и заработать более 21 млрд рублей.

🤖 Что это значит?

Авито презентовал свои собственные генеративные модели — A-Vibe и A-Vision, которые работают с текстом и изображениями соответственно. Модели обучены на базе нейросети Qwen2.5 с 7 млрд параметров и специализируются на задачах, связанных с покупкой и продажей. Например, A-Vibe помогает создавать качественные и лаконичные описания товаров, а A-Vision анализирует фотографии и повышает качество визуального контента.

Кроме того, в 2024 году Авито запустила магистратуру по Data Science в МФТИ. В сентябре 2025 года стартуют еще три новые программы: по разработке в ИТМО, Data Science и продуктовому менеджменту в НИУ ВШЭ.

🛠 Почему это важно?

Использование GenAI не только улучшает взаимодействие пользователей с платформой, но и приносит реальную экономическую выгоду. Уже в 2024 году первые запуски продуктов с использованием GenAI принесли компании 670 млн рублей. А в 2025-м запланировано внедрение 20 новых сценариев использования GenAI с потенциалом заработка более 1 млрд рублей.

@data_analysis_ml

Данные и облака — наше все 🧠

На конференции GoCloud ты найдешь новые знания об инструментах обработки данных.

Обсудим интеграцию AI в аналитические процессы и тренды облачных технологий. А еще:
😶‍🌫️покажем инструменты для упрощения процесса обработки данных
😶‍🌫️поговорим с компаниями, которые уже работают с данными в облаке
😶‍🌫️возможные риски потери данных и способы их предотвращения
😶‍🌫️покажем архитектуру DBaaS поверх K8s

30+ докладов, нетворкинг, live-демо сервисов и afterparty ждут тебя 10 апреля.
Регистрация по ссылке 👈