Data Secrets

Случился коллаб года: Kaggle объединились с HuggingFace и теперь все модели, доступные на HF, можно моментально напрямую запускать в Kaggle Notebooks

Этим можно пользоваться и на одной платформе, и на другой. Например, если вы перешли в карточку модели на HF, то теперь там можно ткнуть на “Use this model” -> “Kaggle”, и сразу откроется ноутбук с подгруженной моделью.

То же самое можно сделать с вкладки HuggingFace на Kaggle по кнопке "Code". Также там будут видны все открытые относящиеся к этой модели ноутбуки других пользователей.

Обещают, что скоро будут и другие интересные фичи

Google анонсировали кодинг-агента AlphaEvolve, предназначенного специально для разработки сложных алгоритмов

Инженеры утверждают, что на тестах этой системе удалось:

– Идентифицировать несколько абсолютно новых алгоритмов для эффективного умножения матриц.

– В 75% найти лучшие известные на данный момент решения открытых мировых задач по математике, и в 20% улучшить ранее известные решения (то есть открыть новые подходы).

И это не все. Внутри экосистемы Google AlphaEvolve работает уже год. За это время с его помощью они успели оптимизировать несколько датацентров, обучение и инференс моделей и даже использовали ассистента для проектирования железа.

Под капотом цикл: обработка контекста -> генерация идей и решений -> оценка и скоринг этих решений -> добавление лучших решений в контекст для дальнейшего улучшения -> и с начала.

Потрогать пока, конечно, не дают, поэтому будем ждать

deepmind.google/discover/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/

GPT-4.1 добавили в ChatGPT

Напоминаем, что это лучшая не-ризонинг модель стартапа для программирования, она обгоняет даже o1-high. Плюс контекст 1 миллион токенов.

Ранее модель была доступна только в API и через сторонних вендоров типа Cursor. Но, видимо, спрос был настолько велик, что ее добавили и в чат.

🍯 Модель уже раскатали на Plus, Pro и Team, а мини-версия – GPT-4.1 mini – скоро заменит GPT-4o mini для всех, включая бесплатных юзеров.

Радостные новости: Anthropic все-таки выпустит новый Claude Opus

В прошлых релизах приставка Opus означала самую большую модель, а Sonnet – среднюю. Но начиная с версии 3.5 Opus не выходил – был только Sonnet и Haiku, а из ризонинг моделей вообще один Sonnet.

Но The Information только что написали, что линейка Opus может возродиться, и новые ризонинг модели Opus и Sonnet выйдут уже в ближайшие недели.

Более того, это будут какие-то необычные ризонинг-модели: в них будет режим «экстремальных рассуждений». Модель будет работать в цикле: думать -> обращаться к инструментам (интерпретатор или браузер) -> снова думать, анализируя результаты -> снова обращаться к инструментам и тд. В общем, что-то ближе к агентам.

www.theinformation.com/articles/anthropics-upcoming-models-will-think-think

7–8 июня проводим Weekend Offer Analytics

Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 3 лет на Python, готовых работать в офисном или гибридном режиме.

Подавайте заявку до 3 июня — и всего за 2 дня пройдите технические собеседования. После сможете пообщаться с двенадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.

Узнать подробности и зарегистрироваться.

Реклама. ООО "Яндекс". ИНН 7736207543

В Meta разработали оптимизационный фреймворк CATransformers, который позволяет минимизировать углеродный след от обучения и инференса

Индустрия постепенно вспоминает про экологию. Сегодня есть уже много подходов, которые оптимизируют энергопотребление железа, и вот сегодня Meta выпустили первый в своем роде конструктор, который помимо этого минимизирует еще и выбросы углерода.

Работает так -> Вы запускаете CATransformers перед обучением, и он подбирает вам оптимальные или квази-оптимальные параметры железа и модели относительно четырех параметров: точность, скорость, энергопотребление и углеродный след.

Под капотом это похоже на гридсерч. Алгоритм перебирает параметры и для каждого набора быстренько обучает на эмулированном железе proxy-модель. На таких моделях замеряются необходимые метрики, а итоговые гиперпараметры выбираются с помощью байесовской оптимизации.

Приятная работа

arxiv.org/abs/2505.01386

Робототехники Tesla показали новое демо с танцующим Optimus

На этот раз робот (вроде как) не управляется человеком, и, более того – утверждается, что инженерам удалось сделать sim2real в zero-shot, то есть с нулевым дообучением.

Объясняем, что это значит. Optimus, как и почти все современные роботы, обучается в симуляции, то есть в среде, которая моделирует физику нашего мира. В таких симуляциях сотни часов обучающих данных можно сжимать в часы, и тем самым ускорять обучение в тысячи раз.

Но есть нюанс. При переходе из симуляции в реальность роботы обычно теряют часть способностей, потому что реальная физика все-таки отличается от смоделированной. Это обычно приводит к тому, что роботов все равно прихоходится дополнительно дообучать под реальный мир. Это и называется sim2real.

Так вот в Tesla утверждают, что им удалось сделать sim2real без дообучения, сразу перекинув все обученные RL политики из симуляции в реальность (и в итоге это выглядит, как на видео). А еще говорят, что и на новые навыки их подход мастабируется легко. Если все так – это просто прорыв для Tesla.

Технические детали не раскрывают, но они не первые, кому удался такой трюк. Некоторое время назад такой zero-shot впервые сделали в стартапе FigureAI (наш пост разбор). У них это было за счет больших затрат на мега-высокоточную симуляцию и чувствительность двигателей реального робота. Здесь, предположительно, что-то похожее.

x.com/Tesla_Optimus/status/1922456791549427867

Только что заметили, что пост с PDF конспекта почему-то вышел с закрытыми комментариями 🤷‍♂️

Поэтому это – специальный пост с открытыми комментариями для вашей обратной связи. Мы всегда ей рады!

Большой коспект по LLM от нашей команды 👍

Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:

➖ Краткая история LLM от перцептрона до ризонинг-моделей
➖ Необходимая математика: линал и матанализ на пальцах
➖ Все про механизм внимания и трансформеры от А до Я
➖ Дотошное объяснения процесса предобучения
➖ Практический гайд "Как самостоятельно затюнить модель"
➖ RL – с нуля до ризонинга

Все – в иллюстрациях, схемах и интуитивно понятных примерах.

Сохраняйте, делитесь с друзьями и ставьте ❤️

Intellect-2 или как обучить ризонинг модель на 32В без кластера GPU

Помните, примерно пол года назад мы рассказывали вам, как в стартапе Prime Intellect впервые децентрализованно обучили крупную LM?

Так вот теперь исследователи пошли дальше и обучили уже не просто какую-то LM-ку, а достаточно крупный ризонер. И все еще – без собственных видеокарт.

Все обучение проходило децентрализовано, то есть на серверах (часто домашних), разбросанных по всему миру и принадлежащих разным людям. Подключить свою машину, кстати, мог любой желающий. В области RL такое впервые.

Проект, конечно, очень инженерно сложный. Например, вместо обычного RL исследователям пришлось мучиться с асинхронным, а обмен весами осуществлять по специальному протоколу Shardcast.

Сами разработчики говорят, что они стремятся к чему-то типа модели Биткоина: чтобы ИИ был полностью децентрализован, и обучать модели мог каждый желающий.

Ждем Airbnb для GPU