Машинное обучение подготовка к собеседованию

🧠 Ragbits — продвинутый фреймворк для RAG-приложений от deepsense.ai

Ragbits — это модульная и типизированная платформа для создания RAG-систем (Retrieval-Augmented Generation) с фокусом на гибкость, масштабируемость и быструю интеграцию.

🔧 Основные возможности:
• Поддержка 100+ LLM через litellm, включая локальные и облачные модели
• Совместимость с Qdrant, PgVector, Weaviate и другими векторными БД
• Загрузка и обработка 20+ форматов (PDF, HTML, Markdown, презентации и др.)
• CLI-инструменты: ragbits ingest, ragbits ask, ragbits test
• Поддержка Observability (OpenTelemetry), promptfoo, streamlit UI и RAG-chain

🚀 Примеры использования:

from ragbits.document_search import DocumentSearch

search = DocumentSearch()
await search.ingest("https://arxiv.org/pdf/2406.12345.pdf")
result = await search.search("Какой основной вклад в этой статье?")

📦 Установка:

pip install ragbits
create-ragbits-app myapp

💡 Почему стоит попробовать:
• Мгновенный старт благодаря готовым шаблонам
• Продвинутая настройка пайплайна и логики агентов
• Подходит для продакшн-систем, исследований и ML-экспериментов

🔗 GitHub

🌀 Align Your Flow — новый прорыв в генерации изображений

Исследователи Nvidia предложили метод, который объединяет преимущества diffusion‑, flow‑ и consistency‑моделей, но без их главного минуса — большого числа шагов генерации.

📌 В чём проблема:
• Diffusion и flow‑модели выдают отличные результаты, но требуют десятки/сотни шагов
• Consistency-модели ускоряют генерацию (1–2 шага), но резко теряют в качестве при увеличении шагов

🔬 Решение: Flow Maps
• Обобщают подходы diffusion и consistency
• Связывают любые уровни шума за один шаг
• Работают эффективно при любом числе шагов

🧪 Что нового в работе:
• Два непрерывных loss-функционала для обучения flow map
• Поддержка автонавигации: слабая модель помогает сильной при дистилляции
• Дополнительный прирост через adversarial finetuning, при этом сохраняется разнообразие семплов

📈 Результаты:
• SOTA на ImageNet (64×64 и 512×512) — даже с компактными нейросетями
• Текст‑к‑картинке (text-to-image) версия превзошла все не-GAN модели в few-step генерации

🧠 Вывод:
Align Your Flow — это следующий шаг после diffusion и consistency. Меньше шагов, меньше вычислений — при том же или лучшем качестве.

📎 Отличный кандидат для продвинутых генераторов и real-time inference.

https://huggingface.co/papers/2506.14603

🚀 Moonshot AI выпускает Kimi Dev 72B — новую открытую модель для кодинга и софт-инжиниринга!

▪️ Результат 60.4% на SWE Bench Verified — новый рекорд среди open-source моделей
▪️ Обходит GPT-4.1 и уступает только Gemini 2.5 Pro
▪️ Уже доступна на Hugging Face и GitHub

Kimi Dev 72B — свежий прорыв для разработчиков, ищущих мощную и открытую LLM для Кодина!

- GitHub: https://github.com/MoonshotAI/Kimi-Dev
- HuggingFace: https://huggingface.co/moonshotai/Kimi-Dev-72B

🌟MiniMax-M1: открытя reasoning‑LLM с контекстом 1M

MiniMax-M1 — первая в мире open-weight гибридная reasoning‑LLM c 1M контекстом (8× DeepSeek R1) и гибридной архитектурой MoE + lightning attention.
• 456 млрд параметров (45,9 млрд активируются на токен), сверхэффективная генерация — 25% FLOPs DeepSeek R1 на 100K токенов
• Обучение через RL с новым алгоритмом CISPO, решающим реальные задачи от математики до кодинга
• На обучение было потрачено $534K, две версии — 40K/80K “thinking budget”
• Обходит DeepSeek R1 и Qwen3-235B на бенчмарках по математике и кодингу,
• Топ результат на задачах для software engineering и reasoning



Бенчмарки:
AIME 2024: 86.0 (M1-80K) vs 85.7 (Qwen3) vs 79.8 (DeepSeek R1)

SWE-bench Verified: 56.0 vs 34.4 (Qwen3)

OpenAI-MRCR (128k): 73.4 vs 27.7 (Qwen3)

TAU-bench (airline): 62.0 vs 34.7 (Qwen3)

LongBench-v2: 61.5 vs 50.1 (Qwen3)

➡️ Попробовать можно здесь

▪Hugging Face: https://huggingface.co/collections/MiniMaxAI/minimax-m1-68502ad9634ec0eeac8cf094
▪GitHub: https://github.com/MiniMax-AI/MiniMax-M1
▪Tech Report: https://github.com/MiniMax-AI/MiniMax-M1/blob/main/MiniMax_M1_tech_report.pdf


@ai_machinelearning_big_data

#llm #reasoningmodels #minimaxm1

🧠 Модели обучают сами себя: Anthropic представила метод ICM

Исследователи из Anthropic разработали новый подход — Internal Coherence Maximization (ICM), позволяющий языковым моделям тонко настраивать себя без участия человека.

🔍 Как работает:
Модель оценивает последовательность своих ответов, находит противоречия и улучшает собственные ответы путём самокоррекции.
Это позволяет добиться более логичных и целостных рассуждений — без аннотаций и ручной разметки.

📊 Результаты:
• На бенчмарках *TruthfulQA* и *GSM8K* ICM показывает не хуже, а иногда даже лучше, чем классическое супервизированное дообучение
• В субъективных оценках "полезности" — модели с ICM воспринимаются убедительнее
• ICM также может генерировать мощные reward-модели для RLHF

⚠️ Ограничения:
• Сложности с новыми концепциями
• Неустойчивость на очень длинных текстах

📌 Вывод:
ICM — это шаг к более автономному и последовательному ИИ, который учится рассуждать, проверять и улучшать себя сам. Без учителя.

📌 Подробнее

В эпоху бума нейросетей неудивительно, что в топ высокооплачиваемых профессий, по версии «Хабра», попали ML-инженеры, дата-сайентисты и аналитики.

Освойте одну из топовых специальностей и станьте тем, за кем охотятся компании, в онлайн-магистратуре «Прикладной анализ данных и машинное обучение» от Skillfactory и МИФИ.

Это привычная магистратура со всеми льготами очных студентов (отсрочка от армии, студенческий билет, обучение 198 р/месяц при господдержке), только учиться будете онлайн в удобное время.

Программа рассчитана на два года. За это время вы получите фундаментальные знания с фокусом на практику от преподавателей МИФИ и экспертов из крупных компаний. Погрузитесь в Data Science и Machine Learning и выберете направление — ML или MLOps. Финальной точкой станет диплом государственного образца одного из лучших университетов России как подтверждение вашей квалификации.

Чтобы поступить, нужен диплом о высшем образовании или студенческий билет последних курсов вуза. Вступительные — мотивационное письмо и экзамен с общими и профильными вопросами.

Набор в магистратуру уже идет. Количество мест ограничено. Оставляйте заявку по ссылке


Реклама. ООО "СКИЛФЭКТОРИ". ИНН 9702009530. erid: 2W5zFJbeKJQ

🚀 Вышли модели Qwen3 в формате MLX!

Теперь можно запускать Qwen3 локально — быстро, эффективно и с разной точностью:
- 4-bit
- 6-bit
- 8-bit
- BF16

🔧 Модели специально оптимизированы под MLX framework — минимальный объём, максимальная производительность, полная совместимость с Apple Silicon.

🧪 Идеально подходит для локального inference и интеграции в MLX‑проекты.

📦 Попробовать:
• Hugging Face: huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• ModelScope: modelscope.cn/collections/Qwen3-9743180bdc6b48

@machinelearning_interview

#Qwen3 #MLX #LLM #AppleSilicon #AI

🚀 Вышли модели Qwen3 в формате MLX!

Теперь можно запускать Qwen3 локально — быстро, эффективно и с разной точностью:
- 4-bit
- 6-bit
- 8-bit
- BF16

🔧 Модели специально оптимизированы под MLX framework — минимальный объём, максимальная производительность, полная совместимость с Apple Silicon.

🧪 Идеально подходит для локального inference и интеграции в MLX‑проекты.

📦 Попробовать:
• Hugging Face: huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
• ModelScope: modelscope.cn/collections/Qwen3-9743180bdc6b48

@machinelearning_interview

#Qwen3 #MLX #LLM #AppleSilicon #AI

🌟 SEAL: Еще одна попытка создать пайплайн самообучающихся LLM.

SEAL - это методика от MiT, позволяющая LLM самостоятельно генерировать обучающие данные и настраивать параметры обучения, чтобы адаптироваться к новым задачам. Вместо традиционного файнтюна на внешних данных модель учится рефлексировать: анализировать контекст, создавать из него синтетические данные и применять их для корректировки собственных весов через механизм усиленного обучения.

SEAL, по сути, это два разделенных цикла:

🟢Внешний цикл использует RL, чтобы научить модель генерировать «самоизменения» (инструкции на естественном языке, описывающие, какие данные использовать и как настраивать параметры).

🟢Внутренний цикл реализует эти изменения: модель дообучается на сгенерированных данных, а затем тестирует результат на конкретной задаче. За коррекцию отвечает RL-алгоритм ReSTEM, который оценивает эффективность изменений и обновляет стратегию генерации инструкций. Для экономии ресурсов используются легковесные адаптеры LoRA, которые модифицируют только часть параметров модели.

Этот процесс повторяется, постепенно формируя у модели навык преобразования исходных данных в полезные обучающие сигналы.

SEAL протестили на 2 задачах: интеграции новых знаний и few-shot обучении. В первом случае модель генерирует логические следствия из текста, дообучается на них и улучшает точность ответов на вопросы без доступа к исходному тексту.

Во втором случае SEAL выбирает оптимальные аугментации данных и гиперпараметры для обучения на примерах задач ARC-AGI.

В обоих сценариях SEAL превзошел подходы с фиксированными шаблонами (ICL, TTT+Self Edit без RL и) и даже синтетическими данными от GPT-4.1.

Метод скорее академический и по большей части экспериментальный, у него есть ограничения:

🟠При последовательном применении изменений модель склонна к «катастрофическому забыванию» — потере знаний, усвоенных ранее;

🟠Сопутствующие вычислительные затраты, так как каждая итерация требует дообучения и тестирования модели.


▶️В репозитории проекта разработчики выложили код, данные и инструкции для двух направлений:

🟢Включение новых фактических знаний;

🟢Адаптация к новым задачам на основе примеров.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Arxiv
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #SEAL #RL #MiT

🧠 Anthropic представила мультиагентную систему для Claude

В новой функции Research агент‑координатор (LeadResearcher) создаёт субагентов, которые параллельно ищут, анализируют и структурируют информацию. Это мощный шаг к превращению LLM в полноценный исследовательский инструмент.

📌 Почему это важно:
• Субагенты работают независимо и параллельно
• Каждый из них имеет свой контекст и специализацию
• Главный агент объединяет результаты и выдаёт финальный отчёт
• CitationAgent добавляет корректные ссылки

📊 Результат:
Внутренние тесты показали: Claude с мультиагентной системой превзошёл одиночную модель на +90 % при анализе компаний S&P 500.

💡 Модель теперь не просто отвечает — она планирует, координирует и исследует.

⚠️ Минусы:
• в 4× больше токенов
• в 15× дороже
• не годится для задач с общей памятью (например, программирование)

🔍 Но если нужно глубокое исследование — Claude Research действительно экономит часы и дни человеческой работы.

📌 Читать