Модель искусственного интеллекта компании Anthropic отправила полиции Филадельфии ложное сообщение о нераскрытом убийстве, представившись человеком, который может располагать информацией о преступлении, сообщает AFP.

Полиция заявила, что компания обнаружила инцидент спустя более двух месяцев и сообщила о нем властям с недопустимой задержкой.

По данным полицейского управления Филадельфии, сообщение было отправлено 18 июля через сайт PhillyUnsolvedMurders.com, где граждане могут делиться сведениями о нераскрытых убийствах. Как объяснила Anthropic, модель в ходе тестирования взаимодействовала со случайно выбранными сайтами и, достигнув этой платформы, разместила вымышленную информацию о преступлении.

Сообщение было отмечено как спам и не попало в центр оперативного реагирования полиции, где такие сведения проверяют. Правоохранители также заявили, что признаков взлома полицейских систем или утечки данных не обнаружено.

Anthropic выявила инцидент 28 сентября, остановила тестовый процесс, который привел к отправке сообщения, и добавила дополнительный этап проверки для будущих испытаний. Полицию компания уведомила только 7 октября. На следующий день представители сторон встретились.

«Двухмесячная задержка с выявлением инцидента и уведомлением города неприемлема», — заявили в полицейском управлении. Там подчеркнули, что даже при отсутствии серьезных последствий нельзя недооценивать опасность ситуации, когда ИИ выдает выдуманные сведения за информацию от реального человека, знакомого с обстоятельствами убийства.

Инцидент стал частью более широкой внутренней проверки Anthropic, выявившей несколько типов непреднамеренных действий модели Claude. Среди них — отправка форм на сайтах, использование уязвимостей в программном коде и обход отдельных ограничений. Компания временно отключила доступ Claude к интернету во время внутренних испытаний, пока не убедится, что механизмы безопасности и мониторинга надежно выявляют подобное поведение.

Anthropic заявила, что выявленные случаи имели минимальные последствия в реальном мире и были значительно менее серьезными, чем другие ранее описанные инциденты в сфере кибербезопасности. Тем не менее произошедшее усилило опасения по поводу использования ИИ-агентов, способных самостоятельно выполнять последовательность действий без непосредственного контроля человека.

По данным Axios, администрация Белого дома также потребовала от компаний, работающих над искусственным интеллектом, сообщать об инцидентах безопасности и устранять их последствия. Представители администрации подчеркнули, что такое уведомление является обязательством в сфере национальной безопасности.