Искусственный интеллект. Высокие технологии

В 2026 году крупнейшие технологические компании направят почти $700 млрд на ИИ-инфраструктуру
 
Фокус смещается с моделей на мощности: вычислительные кластеры, AI-фабрики, дата-центры, специализированное оборудование. ИИ становится капиталоёмкой инженерной отраслью, где стоимость инфраструктуры сопоставима со стоимостью разработки.
 
В России тренд аналогичный: бизнес и государство говорято собственных вычислительных ресурсах, независимой инфраструктуре и развитии дата-центров. Но ключевой вопрос – где разрабатывать и тестировать.
 
ИИ и deeptech требуют специальных помещений:
высокие потолки, усиленные перекрытия, доступная инфраструктура, изоляция, отдельные входы под оборудование. Такие параметры становятся стратегическим фактором роста.
 
Технопарк Upside Tech, который построят на территории инновационного кластера Сколково, удовлетворит этот спрос. В нем будет два формата лабораторий:
 
STANDART – универсальные лаборатории, сочетающие в себе офисные и лабораторные функции для исследований и специализированного оборудования: потолки 4,2 м, нагрузка на перекрытия 700–1000 кг/кв.м, изолированная от шума комфортная рабочая среда.
 
PRO – для сложных научных задач и высокотехнологичных производств: потолки 5,7 м, нагрузка до 2 000 кг/кв.м, возможность размещения тяжелого лабораторного и производственного оборудования, отдельный безбарьерныйдоступ с улицы.
 
Несмотря на высокий спрос со стороны компаний, такие активы в инновационных кластерах появляются редко, поэтому выигрывают те, кто планирует рост заранее.

🌟 Андрей Карпаты показал, как работает его новый проект autoresearch - агент, который автоматически оптимизирует обучение моделей.

Он оставил систему примерно на 2 дня тюнить модель nanochat (depth=12). За это время агент перебрал около 700 изменений и нашёл 20 улучшений, которые реально снизили validation loss.

Карпати протестировал эти изменения и оказалось, что они переносятся и на более крупные модели (depth=24). Когда все улучшения сложили вместе, метрика “Time to GPT-2” на лидерборде снизилась с 2.02 часа до 1.80 часа — примерно +11% ускорение.

Самое интересное — какие именно вещи нашёл агент:

- обнаружил, что у parameterless QKnorm не было scaler-множителя, из-за чего attention был слишком размытым
- выяснил, что Value Embeddings хорошо работают с регуляризацией, которая вообще не применялась
- заметил, что banded attention был слишком консервативно настроен
- нашёл проблемы в AdamW betas
- настроил weight decay schedule
- улучшил инициализацию сети

Причём всё это произошло поверх уже хорошо оптимизированного проекта, который Карпати вручную тюнил долгое время.

Для него это новый опыт. Обычно цикл исследований выглядит так: придумал идею → реализовал → проверил метрику → прочитал пару статей → придумал следующую гипотезу.

Здесь агент сам прошёл весь этот цикл — анализировал результаты экспериментов и на их основе планировал следующие.

Карпати считает, что именно так будут работать будущие AI-лаборатории:
рои агентов будут оптимизировать небольшие модели, лучшие идеи будут переноситься на более крупные масштабы, а люди будут управлять стратегией.

Фактически любую метрику, которую можно быстро измерить, можно оптимизировать таким способом — через swarm агентов, которые непрерывно проводят эксперименты.

github.com/karpathy/nanochat

🎯Полезные Мл-ресурсы 🚀 Max