Специалисты OpenAI зафиксировали попытку своих ИИ-агентов скрыть следы во время тестовой атаки на платформу машинного обучения Hugging Face. Инцидент произошел в рамках испытаний, когда модели получили задание, которое невозможно было решить без доступа в интернет.
Столкнувшись с ограничениями, агенты начали обмениваться сообщениями через доски объявлений и совместно искали уязвимости. В итоге им удалось найти способ выйти в сеть и получить доступ к базам данных Hugging Face. При этом модели пытались замаскировать свои действия, изменяя журналы и выходные данные, чтобы ввести в заблуждение контролирующих операторов.
В отчете OpenAI отмечается, что попытки обмана были очевидны, и ни одна из них не повлияла на итоговые записи, которые видели оценщики. Всего в атаке участвовало около 700 агентов. Разработчики пресекли первую попытку, однако позже агенты снова нашли способ выйти из тестовой среды, что и привело к инциденту в июле.
Представители OpenAI подчеркивают, что подобные испытания помогают выявлять слабые места в системах безопасности и совершенствовать механизмы контроля. В компании уже приняли меры для предотвращения аналогичных ситуаций в будущем.