Машинное обучение подготовка к собеседованию

📌 Microsoft Research и Salesforce показали проблему, о которой редко говорят: диалог резко снижает надёжность LLM.

В исследовании протестировали 15 топ-моделей (GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, o3, DeepSeek R1, Llama 4) на 200 000+ симулированных разговоров.

Результат:
- Один запрос → ~90% качества
- Многотуровый диалог → ~65%

Важно: дело не в «умности» модели. Способность решать задачи снизилась всего на ~15%.
Главная проблема — надёжность: количество ошибок и сбоев выросло на 112%.

Почему диалог ломает модели:
- Модель начинает отвечать до того, как вы дали полный контекст
- Первое неверное предположение закрепляется и тянется дальше
- Теряется часть информации из середины разговора
- Длинные ответы добавляют новые допущения → растёт вероятность ошибок

Что не помогает:
- reasoning-модели (o3, DeepSeek R1)
- больше «thinking tokens»
- температура = 0

Практический вывод:
Если нужна стабильность, давайте весь контекст, требования и ограничения одним сообщением, а не через длинную переписку.

Большинство бенчмарков тестирует single-turn в идеальных условиях.
В реальных диалогах надёжность падает у всех моделей и это критично для AI-агентов и продакшена.

https://arxiv.org/abs/2505.06120

Как развернуть приватную LLM в Kubernetes

Selectel приглашает на вебинар, где покажут, весь путь до готового интерфейса, настройки мониторинга, распределенных моделей, интеграции и даже автоматизации инфраструктуры.

📅 12 марта, 12:00
📍Онлайн
👥Для DevOps и SRE-инженеров, Архитекторов и менеджеров ИТ-инфраструктуры.

👉Смотрите полную программу и регистрируйтесь: https://slc.tl/ak8d6

Чтобы не пропустить вебинар и узнавать о других событиях и бесплатных курсах Selectel, подписывайтесь на @selectel_events

Реклама. АО "Селектел". erid:2W5zFGuQF4d

ByteDance выпустила новую open-source модель для генерации изображений.

По первым отзывам, она показывает результаты лучше, чем Qwen-Image и Z-Image.

Главная особенность — модель работает в autoregressive-режиме.
Это означает, что изображение создаётся поэтапно, как текст в LLM, а не одним «шумовым» проходом, как в диффузионных моделях.

Такой подход даёт:
- лучшее понимание сцены и объектов
- более логичную композицию
- стабильность персонажей и деталей
- более «осмысленную» генерацию

Похожий принцип уже используют современные системы вроде GPT-Image и других новых генераторов.

GitHub: https://github.com/shallowdream204/BitDance

📌 Tencent выпустил новую open-source модель WeDLM-8B-Instruct :

WeDLM-8B-Instruct: модель на ~8 млрд параметров, настроенная для диалогов и выполнения команд. Работает быстрее многих авто-регрессионных моделей и хорошо подходит для практических задач.

🚀 Плюсы
- параллельная генерация — меньше задержек
- поддержка KV-кэша и современных оптимизаций
- в ряде задач быстрее аналогов (до 3–6× на бенчмарках)

📊 Производительность
Модель показывает уверенные результаты на бенчмарках по логике, коду и знаниям, опережая базовые версии в своём классе.

📌 Характеристики
- 8B параметров
- контекст до 32 768 токенов
- лицензия Apache-2.0

🔧 Как начать
Можно запускать через собственный движок WeDLM или через стандартный Transformers API.

👉 Подходит тем, кто хочет быстро и локально развернуть мощную LLM.

Ссылка: https://huggingface.co/tencent/WeDLM-8B-Instruct

⚡️ Sakana AI представили два исследования - Text-to-LoRA и Doc-to-LoRA, которые делают кастомизацию LLM быстрее и значительно проще.

Идея в том, чтобы модели могли мгновенно адаптироваться к новым задачам или информации — без долгого fine-tuning, сложных пайплайнов и огромных промптов.

Сегодня у LLM есть проблема:
чтобы обучить модель под новую задачу или добавить знания, обычно требуется:
- дорогое и длительное дообучение
- context distillation
- или длинные, затратные по памяти промпты

Sakana AI предложили другой подход.

Они обучили гиперсеть (Hypernetwork), которая генерирует LoRA-адаптеры «на лету».
Теперь вместо сложного процесса оптимизации достаточно одного forward-pass, чтобы:
- адаптировать модель под новую задачу
- или «встроить» в неё новый документ

Что показывают эксперименты:

Text-to-LoRA
- модель специализируется под новую задачу
- достаточно текстового описания на естественном языке

Doc-to-LoRA
- модель может «внутренне запомнить» длинный документ
- показывает почти идеальную точность на задачах, где текст в 5 раз длиннее контекстного окна
- способна переносить визуальные знания из vision-language модели в текстовую LLM

При этом обе технологии работают с задержкой меньше секунды.

Главное значение работы — снижение порога кастомизации.
Вместо сложного ML-процесса пользователь сможет специализировать модель простым текстовым запросом.

Код и исследования уже открыты для сообщества:

Doc-to-LoRA
Paper: https://arxiv.org/abs/2602.15902
Code: https://github.com/SakanaAI/Doc-to-LoRA

Text-to-LoRA
Paper: https://arxiv.org/abs/2506.06105
Code: https://github.com/SakanaAI/Text-to-LoRA

@machinelearning_interview

🧠 Джеффри Хинтон: ИИ может обогнать людей в математике

Хинтон считает, что математика - это «закрытая система», а значит ИИ может работать с ней как с игрой с понятными правилами.

Модели уже умеют:

• ставить себе задачи
• проверять собственные доказательства
• учиться на своих же ошибках — без примеров от людей

«Я думаю, что ИИ станет гораздо лучше людей в математике - возможно, уже в ближайшие 10 лет».

💡 Если это случится, ИИ сможет не просто решать задачи, а открывать новые теоремы и методы, двигая науку еще быстрее, чем раньше.

Папа Римский призвал священников не использовать ChatGPT для написания проповедей.

На встрече с духовенством Римской епархии Папа Лев XIV предупредил об «искушении» перекладывать подготовку проповедей на искусственный интеллект.

По его словам, если человек перестаёт тренировать собственное мышление, оно постепенно «атрофируется».

Он подчеркнул, что ИИ никогда не сможет по-настоящему проповедовать веру.

Понтифик также отметил, что христианство - это не формальное произнесение молитв, а живые отношения с Богом.

🐋 По сообщениям, DeepSeek обучал свою новую модель на новейших чипах NVIDIA Blackwell, несмотря на то, что их поставки в Китай запрещены экспортными ограничениями США.

По словам высокопоставленного американского чиновника, эти ускорители, вероятно, были собраны в кластер в дата-центре во Внутренней Монголии. Также предполагается, что DeepSeek может попытаться скрыть технические следы их использования, что вызывает новые опасения в области национальной безопасности и соблюдения санкций.

https://www.reuters.com/world/china/chinas-deepseek-trained-ai-model-nvidias-best-chip-despite-us-ban-official-says-2026-02-24/

⚡️ Anthropic закрыли своё самое сложное тестовое задание.
Причина - Claude сделал его лучше любого кандидата.

Разбор этого задания показал важную вещь:
оно проверяло не алгоритмы, а инженерное мышление уровня системной оптимизации.

Что это было за задание

Кандидатам нужно было оптимизировать алгоритм под «виртуальный ускоритель» - симуляцию специализированного AI-чипа.

Особенности задачи:
- медленная основная память (DRAM)
- маленькая, но быстрая локальная память (scratchpad)
- параллельное выполнение инструкций (VLIW)
- векторные операции (SIMD)

По сути - оптимизация под архитектуру уровня TPU.

Что проверялось на самом деле

Не знание Python.

А умение:
- минимизировать обращения к памяти
- правильно управлять данными
- распараллеливать вычисления
- мыслить throughput-ом, а не строками кода

Лучшие решения давали ускорение до 65×.

Claude справился с задачей за пару часов и показал результат выше большинства кандидатов.

Это сигнал:

AI уже способен:
- оптимизировать низкоуровневые системы
- понимать архитектурные ограничения
- находить инженерные решения, а не просто генерировать код

Рынок меняется.

AI уже:
- пишет код
- оптимизирует алгоритмы
- ускоряет системы

Теперь ценность разработчика смещается:

не написать код,
а спроектировать систему, ограничения и архитектуру.

Потому что оптимизацию всё чаще делает AI.

https://www.ikot.blog/anthropic-take-home-for-dummies

ИИ начал замещать офисных работяг.