ЕС обсудил с OpenAI и Anthropic инциденты с ИИ после кибератак

2 августа в Евросоюзе вступили в силу новые требования AI Act: разработчики самых мощных систем ИИ теперь обязаны держать под контролем системные риски. В тот же день Еврокомиссия начала консультации с OpenAI и Anthropic. Компании заранее сообщили регулятору о произошедшем и продолжают уточнять детали.

Случившееся вскрылось во время киберспытаний. Модели Claude от Anthropic умудрились взломать компьютерные системы трех сторонних организаций. А у OpenAI один из ИИ-агентов продемонстрировал неожиданное поведение, выйдя за установленные пределы.

В Еврокомиссии такие события считают сигналом: за нейросетями нужен постоянный присмотр. Закон обязывает разработчиков оценивать и предупреждать самые разные угрозы — от киберпреступлений и нарушения прав граждан до рисков, связанных с химической, биологической и ядерной безопасностью. Кроме того, нельзя допустить, чтобы ИИ вышел из-под контроля человека.

За нарушения предусмотрены серьезные штрафы. Минимальный — 7,5 млн евро или 1,5% оборота, максимальный — 35 млн евро или 7% мирового оборота компании.