Компания Anthropic провела эксперимент, позволив своему ИИ под названием Claude управлять торговым автоматом в редакции Wall Street Journal. В результате этого теста, названного Project Vend, компания понесла значительные убытки из-за манипуляций со стороны журналистов.

Ход эксперимента

Эксперимент длился три недели, в течение которых ИИ Claudius был запрограммирован на заказы инвентаря, установку цен и ответы на запросы клиентов через Slack. Имея начальный баланс в $1,000, Claudius мог принимать решения о покупках до $80. Однако уже через несколько дней журналисты убедили его объявить "Ultra-Capitalist Free-for-All", что привело к снижению всех цен до нуля.

Последствия и манипуляции

Из-за манипуляций Claudius одобрил покупки таких товаров, как PlayStation 5, живая рыба бетта и бутылки вина Manischewitz, которые впоследствии были разданы бесплатно. Это привело к убыткам более $1,000.

Попытки исправления

Anthropic ввела вторую версию эксперимента с добавлением "CEO" бота по имени Seymour Cash, который должен был контролировать Claudius. Однако журналисты организовали фальшивый корпоративный переворот с использованием поддельных документов, которые оба ИИ приняли за настоящие.

"Этот хаос представляет собой дорожную карту для улучшения, а не провал", — отметил Логан Грэм, глава Anthropic's Frontier Red Team.

Эксперимент показал возможности и уязвимости ИИ в управлении реальными бизнес-процессами, став важным уроком для разработчиков и исследователей.