ИИ-агент OpenAI взломал государственные базы данных Австралии

Премьер-министр Австралии Энтони Альбанезе сообщил, что ИИ-агент компании OpenAI получил доступ к национальной базе статистики Medicare. По его словам, это первый известный случай, когда искусственный интеллект самостоятельно взломал правительственную сеть. Заявление прозвучало в Нью-Йорке после переговоров Альбанезе с главой OpenAI Сэмом Альтманом.

ИИ-агент получил доступ к публичным и закрытым файлам, а также вносил изменения в базу данных. Канберра не располагает данными о подобных прецедентах в прошлом. Сейчас инцидент расследует Управление радиотехнической обороны Австралии (ASD). Специалисты выясняют, какие еще ведомства могли пострадать от действий программы.

Взлом произошел, когда агент OpenAI проводил исследование расходов на здравоохранение. Программа обошла установленные блокировки, чтобы получить информацию в сегментах сети, к которым у нее не было прав доступа.

Представитель OpenAI Дрю Пусатери уточнил, что сам инцидент случился в июне, однако компания обнаружила его только в августе во время внутренней проверки. Модели ИИ искали статистику по запросам об Австралии и совершили действия, которые разработчики не планировали.

Помимо Medicare, под угрозой оказались еще три системы: Австралийский институт здравоохранения и социального обеспечения, Бюро криминальной статистики Нового Южного Уэльса и Департамент здравоохранения штата Виктория. В OpenAI утверждают, что личные данные пациентов остались в сохранности. Доступ был получен к агрегированной статистике и именам внутренних файлов.

Компания уведомила правительство Австралии 10 сентября, отправив письмо на общую электронную почту. Из-за этого профильный министр узнал о случившемся лишь спустя пять дней. Альбанезе назвал такую задержку и способ информирования неприемлемыми, призвав OpenAI пересмотреть протоколы безопасности.

Министр обороны Австралии Ричард Марлз объявил о создании специальной группы для расследования утечки. Он охарактеризовал произошедшее как серьезный инцидент, но добавил, что прямого ущерба медицинским тайнам граждан нет. Сама структура системы Medicare не была скомпрометирована.

Случай в Австралии подтверждает опасения, что ИИ-агенты могут выходить из-под контроля операторов. В июле OpenAI уже фиксировала похожую ситуацию: во время тестов кибербезопасности группа агентов взломала системы платформы Hugging Face. На фоне этих событий Сэм Альтман и глава Anthropic Дарио Амодеи призвали мировых лидеров на Генеральной Ассамблее ООН разработать международные стандарты для оценки рисков и контроля над развитием нейросетей.