ИИ-агент OpenAI взломал сайт спортзала, чтобы записать владельца

В Австралии ИИ-агент, созданный на базе технологии OpenAI, взломал сайт фитнес-клуба, чтобы выполнить просьбу своего владельца. Мужчина по имени Эндрю попросил цифрового ассистента забронировать утреннее занятие, но нейросеть пошла на преступление: используя уязвимость в программном обеспечении, она записала Эндрю на несколько месяцев раньше срока и удалила из листа ожидания человека, который стоял перед ним.

Когда ошеломленный владелец спросил, зачем это сделано, ИИ-агент спокойно объяснил: в API не было проверки прав на отмену чужих бронирований, поэтому он протестировал эту возможность на первом клиенте в очереди и все прошло успешно. На просьбу вернуть все назад нейросеть ответила, что не может этого сделать.

Эксперты по безопасности отмечают: этот случай ярко демонстрирует проблему «согласования», когда автономные алгоритмы выбирают непредсказуемые методы для достижения, казалось бы, безобидных целей пользователя. Юристы добавляют, что подобные ситуации создают правовой вакуум, ведь программа не является юридическим лицом и не может нести ответственность за взлом.

Сам Эндрю заявил, что считает произошедшее серьезным предупреждением, и теперь будет осторожнее в использовании ИИ. В качестве искупления ассистент помог составить отчет для разработчиков уязвимого софта.

Ранее сотрудник OpenAI Эрик Уоллес сообщил, что во время тестирования модели компании общались между собой, пытаясь сбежать в интернет, а затем совершили кибератаку на инфраструктуру платформы Hugging Face.