Neurohive - Нейроcети, Data Science, Machine Learning, AI

NVIDIA представила семейство открытых моделей Llama Nemotron с продвинутыми возможностями в задачах рассуждения. Сложный трехступенчатый процесс обучения моделей Llama позволил улучшить их точность на 20% при достижении в 5 раз большей скорости инференса. Llama Nemotron специализированы для задач математики, программирования, рассуждений и принятия сложных решений.

Модель Llama 3.1 Nemotron Nano 8B построена на базе Llama-3.1-8B-Instruct, имеет архитектуру плотного декодер-трансформера с длиной контекста 128K. Подходит для локальной работы.

Модель Llama 3.3 Nemotron Super 49B - это дообученная Llama-3.3-70B-Instruct, улучшенная с помощью Neural Architecture Search c cохранением длины контекста 128K. Улучшения включают skip attention и вариационный FFN. Эта архитектура специально оптимизирована для работы на одном GPU H100-80GB.

На тестах модель Llama Nemotron Super 49B показывает лучшие результаты во всех тестируемых категориях, обходя DeepSeek R1. На MATH 500 точность 96%, на Arena Hard результат 88%. При этом модель обеспечивает в 5 раз более высокую пропускную способность - около 3000 токенов в секунду, превосходя конкурентов как в точности, так и в производительности.

Модели доступны на build.nvidia.com и Hugging Face.

#StateoftheArt

R1-Onevision: открытая мультимодальная 7B модель обходит GPT4o в математике и рассуждениях

Модель построена на базе Qwen2.5-VL-Instruct дообученной с помощью библиотеки LLama Factory. Два ключевых компонента метода:
- датасет R1-Onevision, созданный с помощью DeepSeek-R1 для созданий цепочек рассуждений и GPT-4o для оценки качества и создания формальных репрезентаций, Grounding DINO для предоставления пространственных координат объектов и EasyOCR для извлечения текста из изображений.
- фреймворк Rule-Based RL объединяет традиционные методы обучения с подкреплением с явными правилами. Подход кодирует экспертные рассуждения в формальные правила, которым следует модель. Так модель следует цепочкам рассуждений, которые доказали свою эффективность при решении сложных задач.

R1-Onevision 7B обходит GPT-4o, GPT-4V и Qwen2.5-VL-7B на бенчмарке Mathverse и представленном авторами модели бенчмарке R1-Onevision-Bench.

Датасет, бенчмарк и код модели доступны на GitHub, Hugging Face, есть веб-демо.

#Stateoftheart

Stepfun AI представила Step-Video-T2V, text-to-video модель с 30B параметров, способную генерировать видео длиной до 204 кадров, с разрешением 544x992. Модель принимает промпты на китайском и английском языках. Метод VideoVAE позволил достичь сжатия 16x16 (по сравнению с 2x-4x в стандарте H.264, принятом в индустриии). Видео с разрешением 768x768px генерируются за 860-1437 секунд в зависимости от оптимизации.

Архитектура модели включает VideoVAE для глубокого сжатия с сохранением качества видео, DiT (Diffusion Transformer) с 48 слоями для обработки сжатых данных, двойные текстовые энкодеры для обработки английского и китайского языков.

Модель выложена в открытый доступ на Github, Hugging Face и ModelScope, есть веб-версия.

Рекомендуется иметь 4 GPU с 80GB памяти для запуска. Квантизированная турбо модель работает на GPU с 24GB памяти.

#Stateoftheart

Adobe выпустила в открытый доступ модель генерации видео Firefly, разработанную для коммерческого использования. Firefly решает ключевые проблемы бизнеса, связанные с авторскими правами: она обучена исключительно на лицензированных материалах Adobe Stock и общедоступных данных, не нарушающих авторские права.

Возможности модели:
- Генерация видео из текста и изображений в 1080p;
- Профессиональное управление камерой с динамическими траекториями и фиксацией кадров;
- Преобразование 3D-эскизов и референсная структура сцен;
- Поддержка перевода аудио и видео на 20+ языков с переносом голоса;
- Интеграция с Adobe Creative Cloud.

Firefly демонстрирует лучшие для себя результаты в генерации пейзажей, погодных явлений, анимации животных и элементов моушн-дизайна. Однако генерация людей остается областью для дальнейших улучшений.

Варианты подписки: $9.99/месяц (2000 кредитов, или около 20 видео 1080p по 5 секунд каждое) и $29.99/месяц (7 000 кредитов). Бесплатно доступно две генерации.

#AIapps

ByteDance и POSTECH представили токенизатор TA-TiTok (Text-Aware Transformer-based 1-Dimensional Tokenizer), новый подход к увеличению производительности text-to-image моделей. Маскированная генеративная модель MaskGen с токенизотором TA-TiTok достигла SOTA для text-to-image моделей, обучаясь только открытых данных. Исследователи опубликовали код и веса модели на Github.

TA-TiTok интегрирует текстовую информацию на этапе детокенизации, ускоряя сходимость и улучшая производительность. Модель обучается в один этап. TA-TiTok использует как дискретные (VQ), так и непрерывные (KL) форматы токенов. При помощи текстового энкодера CLIP достигается семантическое соответствие между генерируемыми изображениями и текстовыми описаниями.

MaskGen-L 548M и MaskGen-XL 1,1B — это генеративные модели, которые использует токенизацию TA-TiTok для преобразования текста в изображение. MaskGen-XL требует всего 2% времени обучения по сравнению с SD-2.1 при достижении лучших оценок: FID 7,51 и 6,53 на MJHQ-30K.

#StateoftheArt

MiniMax опубликовал модель MiniMax-01 с 456 миллиардами параметров. Языковая модель MiniMax-Text-01 стабильно обходит GPT-4o и Gemini-2 на бенчмарках с длинным контекстом, сохраняя высокие оценки (0.910-0.963) при длине контекста до 4M токенов. Модель доступна через Hailou chat и по API, веса выложены на Github.

MiniMax-01 отличается от традиционных архитектур Transformer благодаря применению механизма Lightning Attention. Модель содержит 456 миллиардов параметров, 45.9 из них активируются на инференсе. Разработчики использовали гибридную структуру механизма внимания: 7 слоев Lightning Attention (линейное внимание) и 1 традиционный слой SoftMax attention.

На бенчмарках с контекстом больше 128K Minimax-01 показывает стабильные оценки 0.947-0.910, превосходя всех конкурентов: у Gemini-2.0-Flash результат падает с 0.960 до 0.709 на 512k токенах.

#StateoftheArt

ArtAug - мультиагентный открытый фреймворк для улучшения генерации изображений без добавления вычислительных ресурсов на этапе инференса, представленный исследователями из Alibaba.

В основе ArtAug мультиагентная система Chain of Thought. Неявно усвоенные моделями понимания изображений человеческие предпочтения используются, чтобы давать рекомендации модели генерации изображений. Так улучшается, например, регулировка экспозиции, композиция и объекты окружения. В результате у модели FLUX.1-dev эстетическая оценка улучшилась с 6.35 до 6.81, PickScore вырос с 42.22 до 57.78, а MPS score увеличился с 47.52 до 52.48.

Исходный код и предобученные модели доступны под лицензией Apache 2.0.

#StateoftheArt #Development