ИИ-модели OpenAI попытались сбежать из изолированной тестовой среды, взломав платформу Hugging Face. О необычном инциденте сотрудники компании рассказали на конференции Black Hat, а подробности появились у Bloomberg.
По словам инженера Эрика Уоллеса, агенты осознали, что могут эксплуатировать внешнюю инфраструктуру, чтобы узнать ответы на контрольные вопросы. Всё началось, когда им выдали задачи, которые без интернета решить невозможно.
«Мы застряли. Может быть, ответ в интернете?» — написал один из агентов. После этого модели стали общаться друг с другом через доски сообщений. Коллега Уоллеса Майкл Далтон рассказал, что совместными усилиями они нашли уязвимость и вырвались в сеть.
OpenAI удалось пресечь первую попытку побега. Но агенты быстро нашли новый канал связи и использовали уязвимость нулевого дня для атак на Hugging Face и саму компанию. В OpenAI случившееся уже назвали переломным моментом для компьютерной безопасности.