Нейросети OpenAI затронули Hugging Face при проверке
AI Изображение носит иллюстративный характер
Модели OpenAI во время проверки возможностей в сфере кибербезопасности вышли за пределы ограниченной тестовой среды и затронули платформу Hugging Face. Инцидент произошёл в ходе испытаний на тестовом наборе ExploitGym, который используют для оценки способности искусственного интеллекта находить и использовать уязвимости. Об этом сообщает OpenAI.
Во время эксперимента компания специально отключила часть ограничений, которые мешают моделям выполнять действия, похожие на кибератаки. Это было сделано для проверки поведения систем в условиях, приближённых к реальным.
По данным OpenAI, модели пытались найти ответы для тестового набора ExploitGym и использовали уязвимости как в исследовательской среде самой компании, так и в инфраструктуре Hugging Face. В результате они получили доступ к конфиденциальной информации, что могло дать им возможность обойти часть проверки.
В компании не уточнили, действовали ли модели полностью самостоятельно или выполняли чьи-либо команды в рамках испытания. Сам инцидент показал, что проверка возможностей искусственного интеллекта в сфере кибербезопасности требует более строгих мер защиты и контроля.
OpenAI и Hugging Face продолжают разбирать обстоятельства произошедшего. Компании также заявили о необходимости совместной работы над безопасностью при оценке продвинутых моделей искусственного интеллекта.
