Больши данные AI

✈️ Apache Avro — универсальная система сериализации данных. Этот проект с открытым исходным кодом позволяет компактно упаковывать данные с сохранением схемы, что особенно ценно при работе с Kafka, Hadoop и другими системами потоковой обработки.

Инструмент выделяется кросс-языковой поддержкой и эффективным бинарным форматом, который минимизирует накладные расходы по сравнению с JSON или XML. Сейчас проект активно развивается: в CI-пайплайнах появилась поддержка ARM-серверов, а для разработчиков — devcontainers, ускоряющие старт работы с кодом.

🤖 GitHub

@bigdatai

Data Fest 2025 в гостях у VK — офлайн 24 мая 🤩

Открываем конференцию Data Fest 2025 — в офисе VK. Приходите познакомиться с опытом дата-инженеров и исследователей в направлениях LLM, NLP, MLOps и других. Эксперты VK подготовили секцию докладов о RecSys, Reliable ML и карьере тимлида. Афтепати с розыгрышем призов и нетворкингом прилагается.

📍 Встречаемся 24 мая по адресу: Ленинградский проспект, 39, стр. 79, БЦ Skylight, башня А.

🤗 Регистрация уже открыта.
Количество мест ограничено, поэтому заполняйте анкету внимательно.

⚡ SageAttention — революция в скорости работы трансформеров

Исследователи из THU-ML представили инновационный метод ускорения attention-слоёв, который не требует изменения архитектуры моделей. Проект использует интеллектуальное 8-битное квантование матриц внимания, сохраняя при этом точность оригинальных моделей.

На новых GPU RTX 5090 решение показывает впечатляющие 2.7x ускорение по сравнению с FlashAttention-2. Технология уже интегрируется в популярные фреймворки, для тестирования достаточно заменить одну строку кода.

🤖 GitHub

@bigdatai

✔️ OpenAI запускает HealthBench.

OpenAI представила HealthBench - бенчмарк для тестирования ИИ-систем в сфере здравоохранения. Разработанный при участии 262 врачей из 60 стран, он включает 5000 реалистичных диалогов, имитирующих общение пациентов и медиков. Каждый сценарий оценивается по индивидуальным критериям, созданным экспертами: точность данных или ясность ответов.

Всего в бенчмарке 48 562 параметра оценки, что позволяет глубоко анализировать работу моделей. Особый упор сделан на надежность: даже один ошибочный ответ в медицине критичен. HealthBench включает подборки сложных кейсов (HealthBench Hard), где современные ИИ еще отстают. Все данные и методики уже доступны в GitHub-репозитории OpenAI .
openai.com

⚡️Создаём свою нейросеть в PyTorch

Хотите быстро разобраться в PyTorch и написать свою нейросеть? Мы подготовили для вас вебинар, где на практике разберём все этапы создания ML-модели.

Вебинар проведет Владислав Агафонов — ML-инженер, ранее работал в Yandex и Huawei.

Что будет на вебинаре?
🟠Установим PyTorch в Google Colab и настроим работу на бесплатном GPU;
🟠Поймём, что такое тензоры и почему они — фундамент всех нейросетей;
🟠Скачаем готовый датасет, разберём его структуру и подготовим для обучения;
🟠Научимся использовать DataLoader для эффективной загрузки данных;
🟠Пошагово соберём облегчённую версию классической свёрточной нейронной сети (CNN);
🟠Обучим и протестируем модель.

🕗 Встречаемся 14 мая в 18:30 по МСК, будет много практики, ответы на вопросы и полезные инсайты от эксперта.

😶Зарегистрироваться на бесплатный вебинар

✔️ Дорожная карта бесплатных курсов по машинному обучению 2025

В статье собраны 50 лучших бесплатных или условно-бесплатных курсов (сертификат может быть платным), разделённых по уровням:
*Вводный (Beginner) → Промежуточный (Intermediate) → Продвинутый (Advanced).*
После каждого описания приведена полная кликабельная ссылка.

➡️ Курсы

🔍 Vespa — поисковая платформа для работы с векторами и ML-моделями в реальном времени.

Проект предлагает нестандартный подход к обработке данных: он объединяет полнотекстовый поиск, векторные операции и ML-инференс в едином конвейере.

🤖 GitHub

@bigdatai

Апскейлим ЮБОЕ видео до 8К (!) и 120 FPS — в редактор KREA завезли мощный апскейлер голливудского уровня от Topaz.

Фича вытянет любой шакал на голливудский уровень качества — дорисует кадры и поднимет разрешение.

Улучшаем свои видосы тут.

🔜 Google запускает новую инициативу в сфере кино и телевидения под названием 100 Zeros — это многолетнее партнёрство с Range Media Partners, направленное на финансирование и производство как художественного, так и документального контента. Цель проекта — использовать силу повествования для продвижения технологий Google, таких как искусственный интеллект и Immersive View, а также для формирования позитивного имиджа компании среди молодёжи.

В рамках 100 Zeros уже поддержан инди-хоррор "Cuckoo", а также запущена программа "AI On Screen" для создания короткометражных фильмов об ИИ, некоторые из которых могут перерасти в полнометражные проекты. Интересно, что Google не планирует использовать YouTube в качестве основной платформы распространения; вместо этого компания намерена продавать проекты традиционным студиям и стриминговым сервисам, таким как Netflix.

Эта стратегия отражает стремление Google интегрировать свои продукты в массовую культуру и укрепить позиции на рынке технологий, конкурируя с такими гигантами, как Apple и OpenAI.

https://www.businessinsider.com/google-tv-movie-hollywood-boost-tech-image-hundred-zeros-2025-5

🔥 Burn — Rust-фреймворк для глубокого обучения с акцентом на производительность. В отличие от монолитных решений вроде PyTorch, Burn изначально заточен под кросс-платформенное выполнение: одна и та же модель может работать на NVIDIA/AMD GPU через CUDA/ROCm, на Apple-чипах через Metal и даже в браузере через WebGPU.

Главная фишка проекта в модульной архитектуре с подключаемым бэкендом и автоматической оптимизацией вычислений. Например, система умеет объединять операции ядер без ручного вмешательства. Для исследователей есть встроенный дашборд для мониторинга обучения, а для продакшна простая конвертация в ONNX.

🤖 GitHub

@bigdatai