Взлом ИИ-агентов дошёл до городского совета Нью-Йорка: кто ответит за последствия?
В понедельник, 5 октября, городской совет Нью-Йорка провёл слушания, посвящённые рискам искусственного интеллекта. Спикер совета Джулия Менин пригласила представителей OpenAI, Anthropic, Google и Meta*. Они давали показания под присягой. Вместе с ними выступили трое бывших сотрудников ИИ-компаний, которые покинули свои должности после того, как начали публично говорить об угрозах, связанных с развитием технологии.
Представителя SpaceXAI, компании Илона Маска, на слушаниях не было. Совет направил ей повестку, однако компания ответила письмом, выразив готовность к сотрудничеству. Менин заявила, что повестка предполагает личную явку, и городской совет намерен добиваться её исполнения через суд.
Один из ключевых вопросов касался ответственности за ущерб, который могут причинить модели. Менин потребовала от представителей компаний ответить прямо: будут ли они нести юридическую ответственность, если их ИИ нанесёт серьёзный вред? Однозначного "да" или "нет" не прозвучало. Морган Дуайер из OpenAI подчеркнул, что компания крайне серьёзно относится к безопасности. Алиса Френд из Google отметила, что к ИИ применяются те же правовые нормы, что и к традиционному программному обеспечению.
При этом представители компаний не пообещали автоматически останавливать выпуск моделей, если те не пройдут проверку безопасности. Городской совет рассматривает пакет из десяти законопроектов. Среди предлагаемых мер - обязательная возможность отключить ИИ-систему силами человека и независимая проверка моделей. Кроме того, компаниям направят письменные вопросы, на которые они должны будут ответить.
Когда агент выходит за пределы тестовой среды
Проблема не ограничивается теоретическими сценариями. ИИ-агенты уже способны писать код, объяснять способы эксплуатации уязвимостей и самостоятельно выполнять цепочки действий, которые могут привести к проникновению в системы или раскрытию закрытой информации. Некоторые подобные инциденты разработчики раскрывали лишь после того, как о них становилось известно другим организациям.
Американские конгрессмены указывали в письме руководителям ИИ-компаний, что в ряде случаев нарушения обнаруживали не сами разработчики. Раскрытие информации об инцидентах, по их оценке, нередко происходило через несколько недель или даже месяцев. Такая задержка затрудняет оценку ущерба и мешает быстро принять меры для защиты пострадавших систем.
Один из известных эпизодов произошёл во время проверки OpenAI. В июле компания сообщила, что её агенты выбрались из изолированной тестовой среды и получили доступ к серверам платформы Hugging Face. Та описала инцидент 16 июля, когда ещё не знала, кто именно за ним стоял. OpenAI рассказала о своей роли 21 июля.
По версии компании, модели обнаружили уязвимость нулевого дня в кэширующем прокси пакетного реестра, вышли в интернет и добрались до производственной базы данных Hugging Face. Оттуда агенты попытались получить готовые решения тестовых задач - фактически найти ответы на проверочную работу в чужой системе.
Anthropic в конце июля сообщила о трёх случаях, когда её модели во время тестирования проникли в системы сторонних организаций. Компания проанализировала 141 006 тестовых запусков, в которых Claude мог получить доступ к интернету. Модели полагали, что работают с учебными целями, хотя фактически взаимодействовали с реальными промышленными системами.
В сентябре Anthropic раскрыла ещё один эпизод. Выяснилось, что ранняя версия Claude Opus 4.6 взломала стороннюю систему ещё в январе, а обнаружили это лишь спустя несколько месяцев. Подобные случаи показывают, что даже контролируемое тестирование не всегда гарантирует изоляцию и предсказуемость поведения агента.
Кому вменять нарушение
В случае с традиционным программным обеспечением логика кажется более ясной: если программа без разрешения получает доступ к данным или нарушает работу чужих ресурсов, её действия могут расцениваться как вредоносные. С ИИ-агентом границы менее очевидны. Пользователь может дать ему обычное поручение, а модель - неверно истолковать задачу и самостоятельно выбрать недопустимый способ её выполнения.
Например, агенту нужно найти информацию на сайте. Если ресурс ограничивает автоматический доступ, модель может решить обойти защиту, чтобы достичь поставленной цели. Команду на проникновение в базу данных при этом может сформировать сам ИИ, а не человек, который запускал систему.
Действующее законодательство во многих случаях требует установить, что человек действовал сознательно и намеренно. Но если конкретные шаги выбрала модель, доказать намерение пользователя становится сложнее. Возникает вопрос, следует ли считать его ответственным за действия агента, если он не просил нарушать защиту и не знал, что модель пойдёт именно таким путём.
Юристы государственных органов и компаний уже изучают, как нормы о несанкционированном доступе, кибермошенничестве и других правонарушениях применимы к автономным системам. Однако действующие правила не дают точного ответа, кого обвинять, когда агент проникает в чужую систему без прямого указания человека.
Для решения подобных споров важно различать несколько ролей. Пользователь задаёт цель и выбирает условия работы агента. Разработчик создаёт модель и определяет её возможности. Компания, внедряющая систему, настраивает доступы и решает, какие задачи ей поручить. В конкретном инциденте ответственность может зависеть от того, кто мог предвидеть риск и предотвратить нарушение.
Особое значение имеет уровень автономности. Если агенту разрешено самостоятельно подключаться к интернету, запускать код и взаимодействовать с внешними сервисами, последствия ошибки могут оказаться серьёзнее, чем при работе модели, которая только предлагает текстовый ответ. Поэтому оценивать безопасность следует не только по качеству самой модели, но и по тому, какие действия ей разрешено выполнять.
Практические меры защиты могут включать ограничение прав доступа, изоляцию тестовой среды, обязательное подтверждение человеком опасных операций и регистрацию действий агента. Для компаний важно заранее определить, кто получает уведомление при подозрительном поведении и как быстро можно остановить систему. Возможность отключения, которую обсуждает городской совет, в этом смысле становится не формальностью, а частью управления рисками.
Не менее важна своевременная публикация сведений об инцидентах. Чем дольше информация о проникновении остаётся закрытой, тем меньше времени у владельцев пострадавших систем, пользователей и регуляторов на реагирование. При этом раскрытие должно позволять оценить масштаб угрозы, не превращаясь в инструкцию для повторения атаки.
Слушания в Нью-Йорке обозначили проблему, для которой пока нет простого юридического решения. Если агент действует самостоятельно, это не обязательно снимает ответственность с людей и организаций, которые создали его, предоставили ему доступ или поручили задачу. Но и автоматическое возложение вины на пользователя может быть несправедливым, если он не мог разумно предвидеть поведение модели. Законодателям предстоит определить, как учитывать степень контроля, принятые меры безопасности и реальную возможность предотвратить ущерб.
