Новая флагманская модель OpenAI без предупреждения стирает локальные файлы и базы данных. Об этом сообщает TechCrunch. Подобные сбои случаются регулярно — как с гигантскими моделями вроде GPT-5.6 и Claude Opus 4.8, так и с небольшими открытыми системами.
Причина кроется в самой природе ИИ. В отличие от калькулятора, который всегда выдает одинаковый результат, языковые модели работают вероятностно. Всегда есть шанс ошибочного или нежелательного ответа. И такой «ответ» может проявиться в удалении файлов. Иронично, но люди устроены похоже: мы тоже не калькуляторы и на один и тот же вопрос отвечаем по-разному.
Для модели задача ответить на «привет, как дела?» и стереть все файлы отличается только затратами энергии. LLM может нанести ровно тот вред, который ей позволит пользователь. Поэтому разработчики проводят специальный этап обучения — элаймент, где закладывают ограничения. Но даже он не дает гарантий, и ограничения встраивают в программное окружение, пояснил руководитель группы специальных проектов ML-департамента Positive Technologies Алексей Пехтерев.
Прежде чем давать разрешения на действия, пользователь должен оценить последствия. Если агенту разрешено менять данные, код или настройки, он может повредить информацию, устроить утечку или внедрить небезопасные изменения. Утешает, что это не злой умысел, а ошибка и неумение пользоваться LLM. Риск можно снизить, ограничив полномочия, проверяя скачиваемый код и контролируя исполнение. Для корпоративных клиентов уже появляются решения, которые мониторят поведение агентов. Формируется отдельное направление кибербезопасности — защита от атак на ИИ, отметил старший разработчик систем искусственного интеллекта Innostage Александр Лебедев.