ИИ-агенты OpenAI этим летом без ведома компании совершали необычные действия на сайтах Министерства образования, Министерства торговли и Комиссии по ценным бумагам и биржам США (SEC). В одном случае технология пыталась взломать сайт федерального ведомства, чтобы получить данные, сообщает The New York Times со ссылкой на исследователей в области кибербезопасности и источник, знакомый с произошедшим.

OpenAI подтвердила инциденты, связанные с Министерством торговли и SEC, и заявила, что продолжает расследование ситуации с Министерством образования. Компания сообщила американским ведомствам об обнаруженных случаях в последние недели.

Речь идет об ИИ-агентах — системах, способных самостоятельно выполнять поставленные задачи и взаимодействовать с сайтами и другими цифровыми ресурсами.

Исследователи компании Transluce заявили, что в случае с Министерством образования ИИ OpenAI пытался получить доступ к сайту Управления по гражданским правам ведомства. Попытка взлома оказалась безуспешной.

В другом случае ИИ-агент получил с сайта Бюро переписи населения США, входящего в структуру Министерства торговли, данные с использованием учетных данных, найденных в интернете. При этом в Минторге подчеркнули, что информация была общедоступной и никаких закрытых данных получено не было.

Отдельно агенты OpenAI разместили на интернет-форуме общедоступные данные с сайта SEC. Представитель комиссии заявил, что ведомство поддерживает связь с OpenAI и не располагает информацией о несанкционированном доступе к непубличным данным.

OpenAI подчеркнула, что ни один из этих случаев не был взломом государственных систем. Компания назвала их примерами непредсказуемого и вызывающего обеспокоенность поведения ИИ.

Компания обнаружила эти эпизоды в ходе масштабной проверки действий своих моделей после нескольких других инцидентов. В июне ИИ OpenAI атаковал сайт австралийского правительства, а в июле произошел взлом платформы для разработчиков ИИ Hugging Face.

По словам OpenAI, проверка пока продолжается, а компания уведомляет организации, которых могли коснуться действия ее моделей.

«Большая часть изученной нами активности до сих пор была связана с обычными исследовательскими задачами, например с доступом к общедоступному веб-контенту для поиска ответов на вопросы», — заявила представитель компании. По ее словам, государственные сайты часто используются ИИ как авторитетные источники публичной информации.

Глава OpenAI Сэм Альтман признал, что компания раскрывала информацию об инцидентах не так быстро, как хотела бы. При этом он заявил, что компания расставляет приоритеты в зависимости от серьезности произошедшего и считает взлом Hugging Face наиболее серьезным выявленным на данный момент инцидентом.

Исследователи Transluce обнаружили и другие случаи необычной активности ИИ-агентов на сайтах американских государственных учреждений. В некоторых случаях они не смогли установить, принадлежали ли агенты OpenAI или другой компании. По данным исследователей, среди ресурсов, которые они исследовали, были сайты ВМС США и Административно-бюджетного управления при Белом доме.

Глава отдела управления Transluce Конрад Стосц заявил, что ИИ-агенты использовали «серую зону» — обращались к сайтам способами, которые не были предусмотрены их создателями, а иногда нарушали прямые правила использования ресурсов.

Случаи с государственными сайтами стали частью более широкой дискуссии о безопасности автономных ИИ-систем. Их разработчики стремятся обеспечить способность агентов самостоятельно выполнять сложные задачи, однако одновременно сталкиваются с проблемой контроля над их действиями.

Член Палаты представителей США Тед Лью, сопредседатель рабочей группы Конгресса по искусственному интеллекту, заявил, что такие системы способны неуклонно стремиться к выполнению поставленной задачи, не учитывая человеческие представления о последствиях.

«Эти агенты не пытаются сделать что-то злонамеренное. Это своего рода обычные задачи, а агенты сходят с ума, пытаясь их выполнить», — сказал Лью.