Компания Tiiny AI представила уникальный мини-ПК AI Pocket Lab, который отличился своими компактными размерами, сравнимыми со смартфоном, и способен локально запускать большие языковые модели с 120 миллиардами параметров. Это устройство уже попало в Книгу рекордов Гиннесса, как самый маленький компьютер, поддерживающий подобные модели.

Технические характеристики устройства

Основой AI Pocket Lab является 12-ядерный процессор на архитектуре Arm v9.2. В дополнение к этому, устройство оснащено гетерогенной однокристальной системой и дискретным NPU, что в совокупности обеспечивает производительность в 190 TOPS. Это впечатляющие показатели для устройства таких размеров.

Другие важные характеристики включают в себя 80 ГБ оперативной памяти LPDDR5X и SSD объемом 1 ТБ. Несмотря на свои компактные размеры, устройство требует активной системы охлаждения из-за потребляемой мощности в 65 Вт.

Преимущества локального ИИ

В отличие от облачных решений, которые могут создавать зависимость от внешних серверов и проблемы с конфиденциальностью, AI Pocket Lab предлагает пользователю возможность работать с мощными моделями непосредственно на своем устройстве. Это делает технологии больших языковых моделей более доступными и персонализированными.

Габариты устройства составляют 142 х 80 х 25,3 мм, а масса — 300 г. Цена новинки пока не была озвучена, но ее появление на рынке может значительно изменить ландшафт использования ИИ.

Перспективы и выводы

Выход AI Pocket Lab на рынок представляет собой важный шаг в развитии самостоятельных ИИ-решений, доступных каждому пользователю. С его помощью можно ожидать значительного расширения возможностей персональных устройств в применении технологий искусственного интеллекта.