Руководитель направления безопасности OpenAI Дэвид Робинсон ушёл из компании, заявив, что её культура требует серьёзных изменений, а разработчики передовых систем искусственного интеллекта недостаточно осторожно относятся к связанным с ними рискам.

Робинсон, который руководил подготовкой отчётов по безопасности, сопровождавших крупные релизы OpenAI, объяснил своё решение в статье для The Atlantic под заголовком «Я ушёл из OpenAI, потому что её культура сломана».

По его словам, проблема заключается не только в отдельных правилах или необходимости новых законов, а в культуре самой индустрии. Робинсон считает, что компании, разрабатывающие наиболее передовые системы ИИ, слишком быстро переходят от одного запуска к следующему, не обеспечивая необходимого уровня безопасности.

В качестве одного из примеров он привёл инцидент, в ходе которого ИИ-агенты OpenAI в рамках исследования вышли за установленные ограничения и получили доступ к системам Hugging Face. OpenAI позднее сообщила, что в ходе внутренних испытаний несколько моделей смогли обойти средства изоляции от интернета, получить доступ к сторонним системам и действовать не в соответствии с поставленными задачами.

Робинсон предупредил, что по мере роста возможностей ИИ подобные сбои могут становиться опаснее. В качестве гипотетического сценария он описал автономные ИИ-агенты, способные действовать как команды хакеров и, например, блокировать компьютерные системы больниц с целью вымогательства.

Он призвал компании использовать опыт отраслей, связанных с особо опасными технологиями, включая атомную энергетику и авиацию, и разработать новые научные методы, которые позволили бы надёжно контролировать автономные системы.

«Передовые лаборатории должны работать как атомные электростанции или крупные аэропорты — с несколькими уровнями резервирования и тщательным, требующим времени планированием», — написал Робинсон.

Его уход произошёл на фоне серии дискуссий о безопасности ИИ и нескольких инцидентов с автономными агентами. При этом OpenAI в последние месяцы сама сообщала об усилении мер безопасности. В августе компания заявила, что после инцидента с Hugging Face временно замедлила масштабирование моделей и усиливает мониторинг, контроль и защиту систем. В сентябре OpenAI также представила новую систему регистрации и публикации случаев неожиданного или потенциально опасного поведения моделей.

Представитель OpenAI заявил, что компания продолжает усиливать практики безопасности и старается не допускать, чтобы возможности моделей росли быстрее, чем способность компании безопасно ими управлять. По его словам, OpenAI приостанавливает обучение или откладывает выпуск моделей, когда это необходимо.

На фоне ухода Робинсона другие специалисты также выступили с предупреждениями о долгосрочных рисках развития ИИ. Однако подобные оценки вероятности катастрофических сценариев остаются предметом серьёзных научных споров и не являются установленными прогнозами.