Data Secrets

Отец обучения с подкреплением Ричард Саттон опубликовал очень интересное эссе под названием «Добро пожаловать в эру опыта»

О Ричарде мы писали вот тут. В 80-е он вместе с Эндрю Барто разработал основы RL, а в этом году они получили премию Тьюринга.

В эссе Саттон говорит о том, что эпоха контролируемого предобучения ИИ постепенно заканчивается. В будущем вместо привычной связки претрен + файнтюнинг + RL нас ждут агенты, которые будут самообучаться.

Конкретнее, агенты будут непрерывно действовать в реальном или смоделированном мире и генерировать в нем собственные данные для обучения посредством взаимодействия друг с другом. Среда, кстати, может быть какая угодно: компьютеры, игры, биржи, реальный мир для роботов или даже обычные умные часы.

Это будет похоже на тот же RL, только агенты будут оптимизировать вознаграждения, основанные именно на окружающей среде, а не только на человеческих предпочтениях. Получается, что это ближе к человекоподобному обучению на основе жизненного опыта.

Полностью почитать можно тут

Там Стэнфорд выложили на YouTube свой свежий курс CS336: Language Modeling from Scratch

Это практический курс, в котором вся теория по LLM подается в процессе разработки собственной модели. Получается изучение end-to-end: от обработки данных и архитектуры трансформера до RL и эвала.

Ведет курс опытный профессор университета и сооснователь TogetherAI Перси Лианг.

Ну и главное: курс новый и вся информация актуальна на сегодняшний день. Он даже в самом Стэнфорде еще идет прямо сейчас, так что лекции и код продолжат выкладывать по ходу.

Репозиторий с дз и ноутбуками
Сайт курса
YouTube

Bloomberg пишет, что за 2024 из-за производства ИИ-чипов выбросы углекислого газа увеличились вчетверо

Особенно ИИ-гонка влияет на Азию, потому что там расположены все основные производства (в том числе заводы Nvidia и Microsoft).

Интересно, что рост выбросов, связанных с производством чипов, обогнал даже рост выбросов от потребления электроэнергии: 357% против 351.

Гринпис в связи с этим заявляет, что они уже начинают сомневаться в конечной полезности ИИ 😬

Яндекс создал более надежный аналог Kafka

Если вы строите микросервисы, то знаете: когда архитектура становится сложнее, просто Kafka может не хватить. Хочется чего-то с такой же совместимостью, но более управляемое.

Шина от Яндекса называется YDB Topics и умеет передавать разнородную информацию с высокой гарантией сохранности. При этом развернуть её можно где угодно.

У Яндекса на YDB уже вся инфраструктура и это действительно удобнее с точки зрения настроек доступа и организации распределенной работы.

Больше о YDB Topics расскажут на вебинаре 23 апреля. Будет информация про архитектуру, встроенные корпоративные возможности и то, как систему получилось сделать настолько отказоустойчивой. А еще много интересных тех.деталей: например, про ACID транзакции и борьбу с дублями.

Google выпустили новые версии Gemma-3, которые можно запустить локально на домашних видеокартах

Например, теперь, чтобы запустить Gemma 3 27B, понадобится всего 14 гигабайт vRAM всесто 54. А Gemma 3 1B вообще заведется на 0.5 Gb (считай, на утюге).

Технически все дело в квантовании. Квантование – это когда мы снижаем точность чисел, которые модель хранит и использует для расчетов.

Обычно квантование снижает качество ответов исходной модельки, но тут Gemma специально натренили быть к этому устойчивой. Это называется Quantization-Aware Training: модель квантуют не после окончания обучения, а прямо во время.

Веса уже на HF

Только что в Китае закончился первый в мире полу-марафон для людей и роботов

Участие приняли более 20 двуногих роботов. Были и от ведущих китайских стартапов, но даже победители очень сильно отставали от людей (фух).

Пробежать нужно было, если что, 21 километр. Победитель от людей преодолел расстояние за 1 час 2 минуты. От роботов победил Tiangong Ultra. Его результат – 2 часа 40 минут.

В общем, атлеты пока что не ВСЕ

Интересно: OpenAI добавили в API флекс-процессинг

Как это работает: теперь вы можете использовать модели в API с огромными скидками, если согласитесь ждать ответы чуть дольше. Получается дешевле на 50%.

Подходит, если у вас асинхронная система или вы используете API для себя. Ну, например, для разметки или эвала.

Чтобы воспользоваться, надо просто прописать service_tier="flex"

Вайб-кодинг, флекс-процессинг… Чил-трейнинг будет?

Качество стриминга под контролем 🔥

22 апреля на VK Видео Meetup не пропустите доклад о лаборатории качества единой видеоплатформы VK. Вы узнаете, чем она занимается, как в ней замеряют качество роликов, исследуют эффективность работы приложений и пользовательский опыт. Инсайдами поделится Павел Муханов, руководитель лаборатории.

Регистрируйтесь сами и расскажите коллегам!

ML-щик? Назови все модели OpenAI в порядке возрастания метрик на бенчмарках

Anthropic инвестируют 50 миллионов долларов в интерпретируемость LLM

Точнее в стартап Goodfire, который специализируется на интерпретируемости. Вместе с Anthropic они теперь будут разрабатывать общедоступную платформу нейронного программирования Ember, которая сможет показывать «мысли» любой ИИ-модели.

Это, кстати, первая инвестиция Anthropic за все время существования компании