В ответ на ограничения поставок ускорителей NVIDIA в Россию, Институт искусственного интеллекта МФТИ провел исследование китайских альтернатив. Основное внимание было уделено продуктам компаний Moore Threads и MetaX.

Анализ китайских ускорителей

Исследование включало в себя анализ архитектуры ускорителей, драйверов и их совместимость с современными фреймворками. Были проведены тесты под нагрузкой для задач с крупными языковыми моделями (LLM), инференсом, компьютерным зрением и распределёнными вычислениями. В результате, ускорители Moore Threads s4000 и MetaX C500 продемонстрировали достойную производительность, не уступая, а порой и превосходя NVIDIA A100 в отдельных задачах.

Создание Центра компетенций

На основе проведенного исследования в МФТИ был создан Центр компетенций, призванный объединить лучшие инженерные практики и опыт взаимодействия с поставщиками. Центр будет помогать компаниям в подборе оборудования, его тестировании и настройке вычислительных цепочек.

Перспективы и планы

В будущем МФТИ планирует продолжать исследования новых поколений ускорителей, расширяя перечень поддерживаемых моделей и формулируя отраслевые рекомендации для создания автономной ИИ-инфраструктуры.

"Разработанный стек ПО позволяет эффективно распределять ресурсы и объединять мощности для работы с крупными моделями," - сообщили в МФТИ.