Роман с данными

Напоминаю, что сегодня в 18:00 у нас эфир!

Большой фокус хочу уделить ROI и целесообразности внедрения ИИ в бизнес.

Приходите, будет интересно.
Ссылка на трансляцию: тут!

В марте лечу на Snow BASE - кэмп в Красной Поляне для C-level в области AI и Data Science!

В преддверии кэмпа ребята предложили провести эфир и по самым насущным и актуальными темам в AI. И я, как любитель такой движухи, с радостью согласился. В следующий вторник в 18:00 буду снимать покровы с тематики GenAI.

Позвал:
— Валерий Ковальский, Head of AI в Red.Mad.Robot
— Александр Абрамов, Head of AI CoE во ВкусВилл
— Артур Самигуллин, руководитель Yandex AI Studio
— Александр Толмачев, CDO

Обсудим:
— Как считать реальную ценность AI-агентов и выбирать направления, которые дадут эффект
— Техники повышения надёжности: снижение галлюцинаций, scaffolding, caching, debate-подходы
— Честные кейсы и факапы внедрения GenAI — что сработало, что провалилось, сколько стоило
— Agent swarm и другие тренды: перспектива или хайп?
— Как вайбкодинг изменил процессы разработки, найма и структуру команд

Ссылка на трансляцию: тут!

Мне безумно зашел раздел “Analysis of LLM User Retention”. Делюсь инсайдами, которые почерпнул:

Почти у всех LLM быстрый churn, но иногда появляются foundational cohorts — ранние группы, которые удерживаются заметно лучше. Это значит, что для них случился устойчивый workload–model fit: модель впервые реально закрыла важную задачу, и её встраивают в пайплайны/процессы, из-за чего переключаться становится дорого.

Это описывается как эффект “Cinderella / Glass Slipper”: есть набор ценных нерешённых задач, и каждая новая frontier-модель «примеряется» к ним. Когда совпали требования по качеству/стоимости/стабильности — происходит “идеальная посадка” и возникает lock-in. Поэтому когортный retention — индикатор скачка возможностей и преимущества “first-to-solve”, но окно короткое: после догоняющих релизов такие когорты почти не формируются.

Еще занимательный факте: если модель провалилась, как, например, Llama 4 Maverick - у такой модели не будет сильных когорт вообще (не было “frontier-fit”). Поэтому и происходит LLM гонка - попытки выпустить frontier-модель, и за счет более долгого оттока ее окупить.

Какой все же интересный рынок развития LLM! По промкоду ROMAN дарю вам 200 руб на счет в моем сервисе VseLLM - русском аналоге OpenRouter.

⚡️ Анализируем исследование OpenRouter, вышедшее в декабре 2025 года.

В исследовании изучили 100 трлн токенов живого трафика через OpenRouter (300+ моделей, 60+ провайдеров, миллионы пользователей, данные до ноября 2025 года).

1. После выхода OpenAI o1 (декабрь 2024) индустрия дружно подсела на multi-step reasoning — думать “в несколько шагов” стало базовой потребностью.
• Reasoning-модели уже >50% всего трафика.
• xAI Grok Code Fast 1 вырвался на #1 по токенам в reasoning, обогнав Gemini 2.5 Pro и Flash. Хотя есть некий скепсис и впечатление, что цифры у Grok искусственно завышенные на OR.

2. Open Source: Китай + “средний класс” моделей
• DeepSeek + Qwen выросли с микродолей до примерно ~30% мирового объема токенов.
• И главное: OS перестал быть «одна семья правит всеми». Раньше тянул DeepSeek, теперь трафик размазан между DeepSeek / Qwen / Moonshot (Kimi) / GPT-OSS.
• Маленькие модели <15B в API теряют смысл и популярность. Побеждает “средний класс” 15B–70B — новый стандарт эффективности.

3. Кодинг — наконец-то серьезный рост
• Доля запросов по программированию выросла с 11% до ~50% всего объема токенов к концу 2025.
• Anthropic всё ещё король кодинга: Claude держит ~60% рынка платных код-запросов. Но OpenAI и MiniMax уже начали подъедать доли. (Хотя сами мы тут ставим и на Гемини, который на том же OR уже не первую неделю лидирует в «Программировании»).
• Кодинг — главная причина роста длины промптов. Контексты в коде в среднем в 3–4 раза длиннее, чем «обычные» задачи.

4. Roleplay — скрытый потенциал.
В мире Open Source 52% всех токенов тратится на... Ролплей.
• Люди используют открытые модели для создания персонажей и интерактивных историй, так как там меньше цензуры.
• Даже в китайских моделях ролплей занимает треть трафика, хотя там растет доля кодинга.

5. Эффект «Стеклянной туфельки» (The Glass Slipper Effect)
Авторы ввели крутой термин для удержания пользователей.
• Если модель первой «идеально решает» специфическую задачу юзера (надевается как туфелька Золушки), этот юзер остается с ней навсегда, даже если выходят модели новее.
• У DeepSeek обнаружен уникальный «Эффект бумеранга»: пользователи уходят пробовать новинки, но возвращаются обратно, поняв, что соотношение цена/качество у DeepSeek лучше.

6. Цена vs Качество
Рынок разделился на два лагеря:
• Efficient Giants: Дешево и много (Gemini Flash, DeepSeek). Здесь царствует закон Джевонса — снижение цены ведет к взрывному росту потребления.
• Premium Leaders: Дорого и качественно (Claude 3.7/4 Sonnet, GPT-5 Pro). Спрос здесь неэластичен: профи готовы платить любые деньги за топовое качество рассуждений.

Жесть, зарубежная LMArena привлекла второй раунд в $150M под оценку $1.7B.

Как думаете, под какую оценку мы в России можем в свою llmarena.ru привлечь инвестиции?

Перевод поста LMArena в Х:

Сегодня мы с радостью объявляем о привлечении 150 миллионов долларов в рамках раунда финансирования серии А при оценке компании в 1,7 миллиарда долларов — почти в 3 раза больше, чем в майском посевном раунде. С момента начала оценки в сентябре наш годовой объем потребления превысил 30 миллионов долларов.

Наша миссия ясна: измерять и продвигать границы применения ИИ в реальном мире, обеспечивая разработчикам, исследователям, предприятиям и обычным пользователям возможность понимать, как ИИ ведет себя там, где это наиболее важно.

Раунд возглавили @Felicis и UC Investments (@UofCalifornia), при участии @a16z, @TheHouseFund, LDVP, @kleinerperkins, @lightspeedvp и @LaudeVentures. Это достижение отражает растущий консенсус в отрасли: ИИ не может масштабироваться ответственно без независимой, прозрачной и непрерывной оценки.

За последний год LMArena стала самой надежной в мире платформой для сообщества, позволяющей понять, как модели ИИ работают в реальных условиях. Поскольку ИИ охватывает миллиарды людей по всему миру, потребность в измерениях, основанных на реальном опыте, а не только на эталонных показателях, никогда не была столь актуальной.

Сегодня мы обслуживаем более 5 миллионов пользователей в месяц в 150 странах. Вместе наше сообщество ежемесячно генерирует более 60 миллионов диалогов, оценивая возможности и надежность моделей в текстовом, программном, графическом, видеоформате и поиске. Мы будем двигаться еще быстрее, чтобы создавать новые функции и улучшать пользовательский опыт, позволяя сообществу оценивать передовые достижения в области искусственного интеллекта.

Этот беспрецедентный уровень вовлеченности свидетельствует о фундаментальном сдвиге в ожиданиях: сегодня мир требует от ИИ измеримых, сопоставимых и подотчетных результатов.

Новое финансирование позволит нам значительно расширить масштабы наших инженерных разработок, исследований, работы платформы и инициатив, направленных на развитие сообщества, чтобы удовлетворить растущий глобальный спрос. При поддержке нашей команды, партнеров и глобального сообщества мы продолжим переосмысливать методы оценки и развития искусственного интеллекта — на пути к созданию самой надежной в мире платформы для оценки.

Ключевые выводы McKinsey из отчета The State of AI in 2025 о применении AI агентов
1. Большинство организаций всё ещё находятся на стадии экспериментов или пилотных проектов: две трети респондентов говорят, что их организации пока не начали масштабировать ИИ на уровне всей компании.
2. Высокий интерес к ИИ-агентам: 62% участников опроса отмечают, что их организации как минимум экспериментируют с ИИ-агентами.
3. Позитивные ранние сигналы влияния ИИ: Респонденты сообщают о выгодах по отдельным сценариям применения — снижении затрат и росте выручки — и 64% говорят, что ИИ помогает инновациям.
4. Лидеры используют ИИ для роста, инноваций и снижения затрат: 80% респондентов говорят, что их компании ставят повышение эффективности целью ИИ-инициатив.
5. Перепроектирование рабочих процессов — ключевой фактор успеха: половина наиболее успешных компаний в ИИ намерена использовать ИИ для трансформации бизнеса, и большинство из них пересматривают рабочие процессы.

Цифры крутые! Но потом читаю юмористические посты
Вити Тарнавского https://t.me/singularityfm/375
Леши Хахунова https://t.me/aihappens/392

И складывается картинка как их внедряют😀😀😀

Один график из отчёта The State of AI in 2025 — и сразу понятно, где AI-агенты реально прижились.

McKinsey разложили по полочкам: кто именно (по профессиям) и в каких индустриях их использует.

🔫 GenCode Mini Gallery Bench

LLM Arena совместно с Сергеем Курбановым (руководитель направления RnD в компании MWS) рады представить новый бенчмарк.

📈 LLM стремительно эволюционируют и выходят на уровень AGENT-поведения, где модели решают задачи от анализа данных до полноценной разработки. На этом фоне особенно интересно посмотреть на то, как модели в режиме реального времени справляются даже с такими, на первый взгляд, простыми задачами вёрстки.

GenCode Mini Bench не содержит выводов — только чистый эксперимент и результат работы моделей.

Да, это не совсем привычный бенчмарк, но надеемся, что вам понравится его формат. Кроме того, там подключена форма обратной связи, где вы можете прислать собственные промпты, а мы каждые 2 недели будем обновлять его содержимое.

Генерации обновляются каждые 6 часов, поэтому заглядываете периодически, чтобы посмотреть на результаты различных моделей.

❗️ Модели, используемые для генераций доступны по API на VSELLM

♾ Вкладка с бенчмарком доступна на https://llmarena.ru/ или напрямую по ссылке https://clocks.llmarena.ru/.

📸 Ждем вашего мнения и обратной связи.

Лучшее, что я видел на этой неделе.
Как перестать напевать эту песенку?😂😂😂