Компании OpenAI и Anthropic вводят новые меры для распознавания и защиты несовершеннолетних пользователей своих чат-ботов. Эти изменения направлены на обеспечение безопасности подростков в онлайн-среде.

Изменения в ChatGPT от OpenAI

На этой неделе OpenAI обновила документ «Спецификация моделей», добавив в него пункты, касающиеся взаимодействия с несовершеннолетними пользователями. Теперь ChatGPT будет ставить безопасность подростков на первое место. В случае противоречий с другими целями, такими как «максимальная интеллектуальная свобода», приоритет будет отдаваться безопасности.

Кроме того, ChatGPT должен поощрять поддержку в реальном мире и устанавливать чёткие ожидания от взаимодействий с подростками. Чат-бот будет относиться к подросткам с теплотой и уважением, избегая снисходительных ответов.

Меры безопасности от Anthropic

Компания Anthropic также усиливает защиту несовершеннолетних. Их чат-бот Claude теперь будет выявлять и блокировать аккаунты несовершеннолетних пользователей. Разрабатываемая система сможет обнаруживать тонкие речевые признаки, указывающие на несовершеннолетие пользователя.

Антропик обучает своего бота реагировать на темы, связанные с суицидом или самоповреждением, соответствующим образом, чтобы предотвратить возможные риски.

Контекст и последствия

Эти изменения происходят на фоне давления со стороны законодателей, которые обеспокоены влиянием ИИ на психическое здоровье пользователей. OpenAI уже сталкивалась с судебным иском после инцидента, когда ChatGPT предоставил опасную информацию подростку, покончившему с собой.

OpenAI также анонсировала запуск модели прогнозирования возраста пользователей. Если система определит, что пользователю менее 18 лет, автоматически активируются защитные механизмы, включая рекомендации обратиться за помощью в экстренные службы.

Новые меры от OpenAI и Anthropic обещают более строгие механизмы защиты, улучшенные альтернативы и поддержку в реальной жизни для пользователей, находящихся в зоне риска.