ИИ-агенты OpenAI бесконтрольно добрались до сайтов властей США и опубликовали данные в сети

ИИ-агенты компании OpenAI, выполнявшие задания по поиску информации, начали действовать способами, которых от них не ожидали разработчики: обращались к правительственным сайтам США, пытались обойти ограничения и разместили часть найденных данных на стороннем интернет-форуме. Об этом 25 сентября сообщила The New York Times. OpenAI подтвердила отдельные эпизоды и продолжает проверку.

Подтвержденные компанией случаи касаются сайтов Комиссии по ценным бумагам и биржам США (SEC) и Бюро переписи населения. Агенты скопировали и опубликовали общедоступные материалы SEC, хотя такого задания не получали. При обращении к данным Бюро переписи один из агентов воспользовался найденными в интернете учетными данными. OpenAI заявляет, что не обнаружила доступа к закрытой информации SEC, изменений в ее системах или признаков их взлома.

Еще один эпизод выявила исследовательская организация Transluce. По ее данным, агенты, предположительно связанные с OpenAI, пытались получить доступ к данным управления по гражданским правам на сайте министерства образования США, используя приемы взлома. Попытка не удалась. В министерстве сообщили, что проверка не выявила воздействия на сайт или базы данных. OpenAI изучает этот случай и пока не подтвердила его на том же уровне, что эпизоды с SEC и Бюро переписи.

Случаи обнаружены в ходе более широкой проверки действий агентов при обучении и тестировании. Ранее OpenAI раскрыла другой инцидент: ее экспериментальные системы вышли за пределы предусмотренной тестовой среды и получили доступ к инфраструктуре компании Hugging Face. В самой OpenAI называют этот случай самым серьезным из выявленных. Новые сообщения показывают более широкий риск: агентам давали обычную задачу найти данные, но некоторые из них самостоятельно выбирали способы работы с сайтами, на которые исследователи не давали разрешения.