Машинное обучение /наука о данных Библиотека

✔️ Китайские исследователиByteDance представили новый подход к почти реальному времени для генерации ИИ-видео . В тестах на потребительской системе с RTX 5090 пять секунд видео раньше рендерились больше трёх минут - теперь около 1,9 секунды. Ускорение - почти в 100 раз, при минимальной потере качества. TurboDiffusion - это фреймворк оптимизации генерации, который разгоняет видео-диффузию в 100–200 раз на одной RTX 5090. Ключевая идея: резко сокращаем число шагов диффузии и упрощаем тяжёлые операции внимания и матриц. Почему это работает: - обычные модели делают ~100 «шагов шумоподавления» с тяжёлыми attention-расчётами; - TurboDiffusion с помощью rCM-дистилляции снижает их до 3–4 шагов; - ускоряет внимание через Sparse-Linear Attention + низкоразрядное SageAttention; - для плотных слоёв использует квантование W8A8 и объединённые ядра нормализации. Результаты впечатляют: - с 4767 сек до 24 сек на Wan2.1-T2V-14B-720P (ускорение 199×); - с 184 сек до 1,9 сек на Wan2.1-T2V-1.3B-480P (ускорение 97×). (без учёта текста и VAE-декодирования, но даже так — быстрее FastVideo). Цена вопроса: дополнительное обучение. Но цель очевидна: сделать генерацию почти в реальном времени. Источник: arxiv.org/pdf/2512.16093

🖥 SQL-квест: фэнтезийное приключение для аналитиков данных Представь фэнтези-мир, где заклинания - это SQL-запросы, а древние артефакты спрятаны в таблицах и JSON-документах. 🧙Ты - боевой дата-аналитик, который с помощью SQL, Python, ETL и визуализаций охотится за харизматичным злодеем Архивариусом Пакостусом, что ломает индексы, крадёт данные и готовит “шторм данных” на столицу.🔮 В каждом эпизоде тебя ждут: выборы с последствиями, хитрые задачи от простых SELECT до рекурсивных CTE и BigQuery, юмор, эпик и неожиданные повороты. Хочешь проверить, сможешь ли ты спасти королевство не мечом, а запросами? Тогда добро пожаловать в SQL-квест. 🪄 Начать квест: https://uproger.com/sql-kvest-fentezijnoe-priklyuchenie-dlya-analitikov-dannyh/

📌GPU Glossary: исчерпывающая база по GPU. Modal Labs составили подробный глоссарий, чтобы решить проблему, с которой сами столкнулись при работе с графическими процессорами в сервисе Modal : документация фрагментирована и зачастую очень сложно сопоставить концепции на разных уровнях стека.

Modal Labs (бренд Modal) – компания, основанная в 2021 году, которая предоставляет высокопроизводительную серверную вычислительную платформу для разработчиков, работающих с данными, ИИ и машинным обучением.

Они прочитали PDF-документацию от NVIDIA, порылись в тематических Discord-сообществах и даже купили бумажные учебники, чтобы составить базу знаний, охватывающую весь стек в одном месте: 🟢Ядра CUDA, SM, тензорные ядра, warp-планировщики; 🟢Потоки, PTX, иерархию памяти; 🟢Roofline, дивергенцию; 🟢Nvcc, nvidia-smi, cuBLAS, Nsight, libcuda. В руководстве все страницы связаны между собой, поэтому вы можете перейти к разделу о Warp Scheduler , чтобы лучше понять потоки, о которых вы читали в статье о модели программирования CUDA. Сам проект открыт и доступен на Github. 🟡Страница 🖥GitHub @ai_machinelearning_big_data #AI #ML #GPU #Glossary #Modal

👨‍🎓 Harvard выложил в открытый доступ учебник по ML-системам и это редкий случай, когда материал действительно полезный. В учебнике показан полный цикл: от понимания основ до построения продакшн-систем, которые можно запускать в реальном мире. Что в книге и почему она стоит внимания: - вы самостоятельно собираете autograd, оптимизаторы, attention и мини-PyTorch — чтобы увидеть, как устроены фреймворки изнутри - разбираетесь в базах: батчи, архитектуры, процесс обучения - учитесь оптимизировать производительность: работать с ускорителями, бенчмарками и настраивать модели 📚 То есть это не вводная книжка, а полноценный roadmap от теории к продакшну. 📌Репозиторий: https://github.com/harvard-edge/cs249r_book 📌PDF: https://mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf

INTELLECT-3 показывает, что открытое RL способно серьёзно улучшить рассуждение и кодирование в open-source моделях 🤖📈 INTELLECT-3 это Mixture-of-Experts модель: - 106B параметров всего - около 12B активны на каждом шаге Главная идея проекта - стек prime-rl. Обучение и инференс идут параллельно: GPU продолжают генерировать длинные ответы, пока тренер обновляет веса. Ничего не простаивает. Что помогает системе работать быстро: - непрерывное батчирование - обновления весов на лету - перекрытие обучения и генерации По сути, открытое RL отставало не из-за метода, а из-за отсутствия правильной инженерии. Пайплайн устроен так: - тренер обновляет модель - пул инференса генерирует ответы - координатор держит всё загруженным и синхронизированным Задачи приходят из модулей-проверяющих с автоскорингом и безопасными песочницами для кода. Старт идёт с GLM-4.5-Air: сначала примеры диалогов и инструментов, затем RL с наградами за правильные решения. Результат впечатляет: - 90.8% на AIME 2024 - открыты и веса, и весь тренировочный стек, так что пайплайн можно воспроизвести Paper: https://arxiv.org/abs/2512.16144