Nvidia представила новую модель искусственного интеллекта Nemotron 3 Nano 30B с открытыми весами и расширенным контекстным окном. Эта модель стала первым представителем нового семейства Nemotron 3, разработанного для создания современных агентных систем.

Особенности Nemotron 3 Nano 30B

Новая модель базируется на гибридной архитектуре Mamba-Transformer, которая сочетает в себе технологии «смеси экспертов» (MoE), обучение с подкреплением в интерактивных средах и уникальное контекстное окно объемом в 1 миллион токенов. Этот подход обеспечивает долговременное рассуждение и высокую производительность, что особенно важно для многоагентных приложений.

Технические характеристики

Nemotron 3 Nano 30B включает в себя 30 миллиардов параметров, из которых 3 миллиарда являются активными. Модель может работать на системах DGX Spark и использовать ускорители H100 и B200.

Семейство Nemotron 3

Nvidia анонсировала три модели в семействе Nemotron 3:

• Nemotron 3 Nano — компактная модель с 30 млрд параметров, активирующая до 3 млрд параметров для целевых задач.
• Nemotron 3 Super — высокоточная модель с 100 млрд параметров и до 10 млрд активных параметров на токен.
• Nemotron 3 Ultra — крупная модель для рассуждений.

Nemotron 3 Nano уже доступна для использования, а Nemotron 3 Super и Ultra планируются к выпуску в ближайшем будущем.

Заключение

Новая линейка моделей Nemotron 3 от Nvidia обещает значительно расширить возможности агентных систем и их применение в различных сферах. Открытые веса и расширенные характеристики делают эти модели привлекательными для разработчиков, работающих с ИИ.