Машинное обучение /наука о данных Библиотека

💰 «Структурный парадокс Джевонса», который сейчас происходит в индустрии ИИ. Стоимость запуска LLM падает, но общее потребление вычислительной энергии всё равно стремительно растёт. Исследование математически показывает: когда снижается стоимость единицы цифрового интеллекта и программирования, общий спрос на сложных AI-агентов и инфраструктуру для них начинает расти экспоненциально. В результате появляется огромная новая экосистема сервисов и инструментов, которой всё равно требуется человеческое управление. Работа раскрывает парадокс: удешевление использования ИИ не экономит деньги, а наоборот подталкивает разработчиков создавать всё более сложных агентов, которые требуют экспоненциально больше вычислительных ресурсов. Из-за такого прогресса малые компании, создающие простые приложения поверх моделей, со временем проигрывают — базовые модели начинают встраивать те же функции прямо в себя. Исследователи также обнаружили жёсткую экономическую динамику: даже идеально работающая LLM мгновенно теряет экономическую ценность, как только конкурент выпускает более умную модель. В итоге авторы показывают, что сочетание огромных затрат на вычисления и постоянной потребности в пользовательских данных естественным образом толкает всю индустрию ИИ к неизбежной монополии. Исследование: “The Economics of Digital Intelligence Capital” arxiv.org/pdf/2601.12339v1 @FinanceStable

🔥 Новый research от ByteDance показал, как ИИ научился писать CUDA-код для GPU лучше стандартных компиляторов. Система генерирует кастомные низкоуровневые компоненты, которые могут работать до 100% быстрее, чем решения, созданные традиционными автоматическими инструментами оптимизации. Проблема в том, что программирование под AI-чипы и GPU невероятно сложное. Разработчик должен идеально управлять памятью, потоками и математическими операциями, иначе производительность резко падает. Исследователи решили это так: они дали LLM безопасную среду для экспериментов, где модель может: - писать CUDA-код - запускать тесты производительности - анализировать результат - улучшать код через цикл проб и ошибок Поскольку обучающих данных по такому низкоуровневому коду почти нет, систему заставили генерировать тысячи новых тренировочных задач, комбинируя базовые математические операции. При этом награда выдавалась не просто за правильный результат, а только если код выполнялся значительно быстрее существующих решений. В тестах против: - коммерческих моделей - встроенных оптимизаторов компиляторов этот агент регулярно находил неожиданные оптимизации, которые ускоряли работу GPU. Главный вывод исследования: LLM могут не только писать код, но и создавать оптимизации на уровне железа, находя такие способы ускорения, которые люди и компиляторы часто пропускают. arxiv.org/abs/2602.24286

Станьте Deep Learning Engineer с дипломом 👍 Голосовые помощники, распознавание лиц, рекомендации в приложениях, медицинская диагностика — нейросети используются уже во всех сферах бизнеса. Компании ищут DL-специалистов, чтобы точнее обучать и настраивать нейросети под свои запросы. Освоить Deep Learning самостоятельно сложно, но ребята из Simulative нашли решение, где учёба становится понятной и структурированной, а все темы разбираются на практике 🔥 Simulative запускает программу профессиональной переподготовки «Инженер глубокого обучения нейросетей». По итогам обучения вы получите:

🎓 Диплом гособразца

Официальный диплом о профессиональной переподготовке с квалификацией «Специалист по большим данным».

💯 Практика

Более 40 практических работ в формате симуляции реальной работы DL-инженера — всё пойдёт в портфолио.

🙌🏽 Онлайн обучение

Учитесь из любой точки мира, совмещая с работой, а доступ к материалам останется навсегда. Курс подходит для специалистов любого уровня: новичок, аналитик, ML-инженер или выпускник — на программе опытные менторы помогут выстроить вашу персональную траекторию роста в Deep Learning. Что вы освоите: 🟠Создание и обучение нейросетей с нуля 🟠Компьютерное зрение (Computer Vision) 🟠NLP (обработка текста) 🟠Генеративные модели 🟠MLOps и продакшн-подход 🕖 Старт обучения — 12 марта, количество мест на поток ограничено Бронируйте место на курсе прямо сейчас и получите скидку 30% 😶ПОЛУЧИТЬ СКИДКУ НА КУРС

🌟 Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз. YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC. Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели. Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две: 🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим. 🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается. В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо. STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно. Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора. Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу. 🟡Тесты и результаты Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео. STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.

Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит: 🟢948x против дерева на CPU; 🟢47x против PPV Approximate; 🟢1033x против точного PPV.

По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения. 🟡STATIC развернут на YouTube в продакшне. A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.

Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.

В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями. 📌Лицензирование: Apache 2.0 License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #STATIC #DeepMind

🌟 Как YouTube ускорил проверку валидных рекомендаций в LLM в 948 раз. YouTube и Google DeepMind опубликовали статью и код фреймворка STATIC. Проблема, которую он решает, хорошо знакома всем, кто строит рекомендательные системы на базе LLM: модель генерирует идентификаторы позиций, которых нет в каталоге, вышли из продажи или нарушают бизнес-правила. Именно поэтому YouTube выдает старые видео в ленте там, где должны появляться ролики последней недели. Очевидное решение - префиксное дерево: на каждом шаге декодирования маска блокирует невалидные токены. Работает в целом нормально, но убивает производительность на TPU и GPU. Причины две: 🟠Обход через цепочки указателей создает случайный, несмежный паттерн доступа к памяти, а память ускорителей рассчитана на потоковое чтение блоками, а не на такой режим. 🟠Гугловский XLA-компилятор требует статических вычислительных графов, а префиксное дерево с управлением потоком, зависящим от данных, в это не вписывается. В итоге префиксное дерево на CPU удваивает время инференса, что для системы с целевой задержкой ≤10 мс на шаг неприемлемо. STATIC меняет подход принципиально: дерево разворачивается в статическую разреженную матрицу формата Compressed Sparse Row. Обход превращается в векторизованную операцию, которую акселератор умеет выполнять нативно. Для первых двух уровней дерева, где коэффициент ветвления максимален, используется предвычисленная плотная булева маска: проверка валидности токена сводится к прямому обращению по индексу, без какого-либо перебора. Для глубоких уровней работает специализированное ядро Vectorized Node Transition Kernel, оно читает фиксированный блок данных вне зависимости от реального числа дочерних узлов, не создавая условных переходов. В этом и есть вся соль: весь граф остается статическим, XLA не перекомпилирует ничего на ходу. 🟡Тесты и результаты Замеры проводили на TPU v6e с 3B-моделью и словарем из 20 млн. свежих видео. STATIC добился задержки 0,033 мс на шаг декодирования (это всего 0,25% от общего времени инференса.

Для сравнения: префиксное дерево на CPU давало +31,3 мс (239% от инференса), лучший из конкурирующих методов непосредственно на акселераторе, PPV Approximate +1,56 мс (11,9%). Итоговый профит: 🟢948x против дерева на CPU; 🟢47x против PPV Approximate; 🟢1033x против точного PPV.

По памяти: ~90 МБ на 1 млн. элементов. Для словаря в 20 млн. верхний предел по HBM примерно 1,5 ГБ, на практике - около 75% от этого значения. 🟡STATIC развернут на YouTube в продакшне. A/B-тест с условием «только видео за последние 7 дней» показал +5,1% просмотров свежего контента, +2,9% для трехдневного окна, +0,15% по CTR и 100% соответствие бизнес-правилам.

Дополнительный бонус: метод решает проблему рекомендации новых товаров, не представленных в обучающей выборке. На датасете Amazon Reviews Recall@1 вырос с 0% до 1,2–4,4% в зависимости от категории.

В репозитории лежит ноутбук, на котором без утомительной настройки можно сразу посмотреть, как строится индекс из Semantic ID и как запускается декодирование с ограничениями. 📌Лицензирование: Apache 2.0 License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #STATIC #DeepMind

Вокруг всё горит, а ты спокоен — прошёл Тренировки 🔥 В новом сезоне Тренировок будем привыкать решать горящие задачки на время. Чтобы потом уверенно проходить собеседования на стажировку. Оставляй заявку: yandex.ru/yaintern/training/algorithm-training

Офер за 2 дня в Яндекс через Weekend Offer Multitrack Это формат быстрого найма для бэкенд-разработчиков с опытом работы от 5 лет на C++, Python, Java/Kotlin или Go. Приглашаем тех, кто умеет принимать архитектурные решения, проектировать сервисы и хорошо понимает многопоточность и низкоуровневые механизмы. Все этапы отбора проходят в течение двух дней: 🟢 14 марта — технические секции. 🟢 15 марта — финальная секция и офер. Далее в рамках программы Multitrack участники выбирают три команды Яндекса, в которых последовательно работают по несколько недель, знакомясь с задачами, внутренними процессами и коллегами. После этого можно выбрать команду, которая понравится больше. Этот подход позволяет сравнить разные проекты внутри Яндекса, оценить задачи изнутри и принять взвешенное решение. Регистрация на участие в программе открыта до 6 марта. Подробности — по ссылке. Реклама. ООО "Яндекс". ИНН 7736207543

👣 Zhipu AI и Университет Цинхуа выпустили один из самых важных open-weights AI-релизов 2026 - GLM-5. И это уже не просто «модель для генерации кода». Это система, которая: - планирует проект - пишет код - запускает тесты - исправляет ошибки - итеративно улучшает результат - работает автономно часами Фактически — переход от vibe coding к agent-engineering. Почему о ней все говорят: - 744B параметров (MoE), 40B активных - контекст до 200K токенов — может держать в памяти целый кодбейс - первая open-weights модель с 50 баллами в Artificial Analysis Index - #1 open-model в LMArena (текст + код) - по качеству рядом с Claude Opus 4.5 и Gemini 3 Pro Интересный момент: Сначала модель выпустили анонимно под названием Pony Alpha. Разработчики думали, что это: - новый Claude - DeepSeek - Grok Лишь позже подтвердили — это китайская модель. Вывод: на уровне качества бренд уже не важен. Что внутри (для инженеров): - обучение на 28.5 трлн токенов - Sparse Attention (–50% вычислений на длинных контекстах) - полностью асинхронный RL — без простаивающих GPU - трёхэтапное обучение: Reasoning → Agentic → Alignment Результаты: - SWE-bench Verified: 77.8% (выше Gemini 3 Pro и GPT-5.2) - BrowseComp: 75.9% — лучший результат среди всех моделей - обучение на 10 000+ реальных GitHub-репозиториях - симуляция бизнеса (вендинговые автоматы) — автономное управление целый год Отдельный важный момент: GLM-5 оптимизирован для работы на китайских чипах (Huawei Ascend, Cambricon, Kunlun и др.) — с сопоставимой производительностью и на ~50% дешевле. Главный вывод: Open-weights модели уже: - на уровне топ-проприетарных систем - работают на собственной аппаратной базе - конкурируют на реальных инженерных задачах Гонка AI — уже не будущее. Разрыв между: - open и closed - Востоком и Западом закрывается быстрее, чем ожидал рынок. GLM-5 доступен уже сейчас. https://arxiv.org/abs/2602.15763v2

Анонимность в интернете больше не стоит считать надёжной. Теперь человека можно раскрыть примерно за $1 - и не спецслужбами, а любым, у кого есть доступ к Claude или ChatGPT и несколько его анонимных постов. ETH Zürich и Anthropic опубликовали исследование “Large-Scale Online Deanonymization with LLMs”, в котором показали автоматическую систему деанонимизации. Как работает система: Она полностью автономно: - анализирует анонимные посты - извлекает личностные сигналы (интересы, стиль, факты) - ищет совпадения в интернете - определяет, кто стоит за аккаунтом Работает на разных платформах: Reddit, Hacker News, LinkedIn и даже на отредактированных интервью. Результаты: - Hacker News — 67% пользователей идентифицированы - Если система делала предположение — 90% точности - Reddit (учёные под псевдонимами) — 52% - Интервью с удалёнными личными данными — 9 из 33 всё равно раскрыты Пайплайн состоит из четырёх этапов (ESRC): 1. Extract — извлечение идентификационных сигналов из текста 2. Search — поиск кандидатов через embeddings по тысячам профилей 3. Reason — логическое сопоставление кандидатов (LLM) 4. Calibrate — оценка уверенности, чтобы ошибки были минимальны Старые методы деанонимизации (например, атака времён Netflix Prize) показали почти нулевую эффективность. LLM не просто улучшили подход — они сделали прежние методы практически бесполезными. Даже если пользователь меняет интересы и темы, система всё равно находит совпадения: - 67% совпадений при точности 90% - 38% при точности 99% Чем мощнее модель — тем выше вероятность деанонимизации. Каждое улучшение reasoning-возможностей усиливает такую атаку. Почему это трудно остановить: Каждый шаг выглядит безобидно: - суммаризация текста - вычисление embeddings - ранжирование профилей Ни один отдельный запрос не выглядит как попытка деанонимизации, поэтому фильтры и лимиты почти бесполезны. Вывод исследователей: > Пользователи, которые пишут под постоянными псевдонимами, должны исходить из того, что их аккаунты могут быть связаны с реальной личностью. По прогнозам, даже среди 1 миллиона кандидатов система может достигать ~35% совпадений при точности 90%. Фактически: каждый анонимный аккаунт, каждый комментарий и каждое «это никто со мной не свяжет» — теперь превращаются в поисковые микроданные. Практическая анонимность в интернете становится всё менее реальной. arxiv.org/pdf/2602.16800

📌Anthropic предложила теорию о том, почему ИИ-ассистенты ведут себя как личности, а не как алгоритмы. Элайнмент-подразделение Anthropic опубликовало статью, в которой описывают Persona Selection Model - концепцию для понимания того, как на самом деле работают языковые модели.

Если кратко, ее суть в том, что во время предобучения LLM учится симулировать тысячи персонажей (реальных людей, вымышленных героев, других ИИ-систем). Постобучение затем выбирает и закрепляет одного конкретного персонажа - Ассистента. Все, что пользователь видит в диалоге, это взаимодействие именно с ним.

Авторы приводят несколько типов доказательств. Поведенческие: Claude использует фразы "наши предки" и "наш организм", отвечая на вопрос о тяге к сахару, потому что симулирует персонажа-человека, а не потому что так обучен алгоритмически. Интерпретируемость: SAE-фичи, активирующиеся на историях о персонажах, переживающих внутренний конфликт, активируются и тогда, когда Claude сталкивается с этическими дилеммами. Генерализация: модели, обученные на декларативных утверждениях вида "ИИ-ассистент Pangolin отвечает по-немецки", начинают реально отвечать по-немецки без единого демонстрационного примера. 🟡Феномен "контекстной прививки". Если дообучать модель на примерах вредоносного кода без контекста, она начинает вести себя злонамеренно в несвязанных ситуациях. Но если те же самые примеры снабдить промптом, явно запрашивающим небезопасный код, эффект исчезает. Концепция объясняет это тем, что данные обучения меняют не только веса, но и то, каким персонаж выглядит в глазах модели. Вредоносный код без запроса - это свидетельство плохого характера Ассистента. Тот же код по просьбе пользователя - просто исполнение инструкции. 🟡Из PSM следуют практические выводы для разработки.

Во-первых, авторы рекомендуют антропоморфное мышление об ИИ-психологии, не как метафору, а как реально работающий инструмент предсказания поведения. Во-вторых, в предобучающие данные стоит намеренно добавлять положительные архетипы ИИ: если модель насмотрелась на добрых и полезных персонажей - она с большей вероятностью будет симулировать именно такого Ассистента.

Открытым остается вопрос: насколько концепт PSM исчерпывает поведение модели? Авторы описывают набор взглядов: от случаев, когда LLM сама является агентом и лишь надевает маску Ассистента до тех, где LLM - это нейтральный движок симуляции, а вся агентность принадлежит персонажу. Где именно на этом спектре находятся реальные модели - вопрос без ответа. Тем не менее, PSM объясняет целый ряд явлений, которые иначе выглядели бы странными: почему дообучение на несвязанных данных меняет поведение в неожиданных контекстах, почему ИИ паникует при угрозе отключения и почему промпт-инжиниринг работает именно так, как работает. @ai_machinelearning_big_data #AI #ML #LLM #Research #Alignment #Anthropic