Как я перестал быть диспетчером у своих ИИ-агентов
Долгое время рядом с рабочим компьютером у меня стоял ноутбук, на котором были открыты агентские сессии. Каждые двадцать-тридцать минут я машинально проверял, не завис ли кто-нибудь, не ждёт ли ответа и не зациклился ли на одной проблеме. Я не планировал становиться надзирателем - просто постепенно привык следить за всеми процессами.
С одним агентом всё было понятно: поставил задачу, обсудил детали, получил код. Но когда работа распараллелилась между несколькими сессиями, репозиториями и ветками, выяснилось, что скорость написания кода - лишь часть дела. Нужно было передавать решения от планировщика исполнителю, заново объяснять контекст и отдельно рассказывать ревьюеру, на что обратить внимание. Вместо программирования я всё чаще координировал собственных помощников.
Без ограничений такие процессы могут работать бесконечно. Однажды я обнаружил задачу, которая оставалась открытой уже шесть часов: агент-рецензент начинал четырнадцатый цикл проверки. Очередной прогон находил новые замечания, но сам процесс не приближал к готовому результату. Я остановил его и передал задачу на архитектурный разбор. Если проверка раз за разом порождает новый список проблем, возможно, дело не в коде - сначала нужно понять, правильно ли сформулирована сама задача.
Здесь легко повторить недостатки обычной командной разработки. Продакт описывает требование, инженер уточняет и реализует, тестировщик проверяет, затем результат снова уходит на доработку. На передачу задачи и восстановление контекста порой уходит больше времени, чем на работу. Если заставить агентов пройти такой же конвейер, а самому вручную переносить между ними все договорённости, получится не автоматизация, а новый вид диспетчерской.
Полезное разделение ролей начинается там, где оно даёт измеримый результат и не требует постоянного участия человека. Например, отдельная проверка оправдана, когда цена ошибки велика. Один агент может подготовить решение, другой - оценить его по критериям приёмки. При этом ответственность за итог всё равно остаётся у человека.
Большое контекстное окно не отменяет пользы независимой проверки. Допустим, агент реализует список записей с фильтром по статусу. В начале длинного диалога он мог решить, что без фильтра следует показывать только активные записи, и затем написать код вместе с тестами, исходя из этого предположения. Если тот же агент попросить проверить свою работу, он может продолжить считать исходную трактовку правильной. Другой проверяющий, которому дали только diff и требование "без фильтра показывать все записи", способен заметить несоответствие, не зная о прежнем допущении.
К тому же модели не одинаково хорошо используют все части длинного контекста. В исследовании "Lost in the Middle" на тесте с двадцатью документами GPT-3.5-Turbo отвечала верно в 75,8% случаев, когда нужный материал находился в начале, и в 53,8% - когда он был в середине. Большой объём входных данных также увеличивает задержку и стоимость работы. Поэтому миллион токенов - не гарантия того, что агент удержит в фокусе все важные условия.
Самопроверка тоже не всегда надёжна. В исследовании Jie Huang и соавторов GPT-4 после самостоятельного пересмотра без внешней подсказки снизила результат на выборке из 200 задач GSM8K: с 95,5% до 91,5%. Модель исправила не только ошибки, но и часть верных ответов. На практике я стараюсь опираться на проверяемые тесты или давать независимому ревьюеру критерии приёмки и изменения кода без всей истории обсуждений.
Второй агент нужен не для того, чтобы механически дублировать первого. Его роль - принести другой взгляд, проверить конкретные условия или выполнить отдельную работу, с которой первый справляется хуже. Если задача простая и её можно надёжно проверить автоматическими тестами, дополнительный участник может лишь увеличить расходы и время ожидания.
Командный режим, в том числе в Multica, полезен, когда роли и границы ответственности заданы заранее. Например, один исполнитель исследует проблему, другой вносит изменения, третий проверяет результат. Но схема ломается, если каждый участник получает весь контекст без разбора, несколько агентов одновременно меняют одни и те же файлы, а критерии завершения остаются расплывчатыми. Число агентов само по себе не делает процесс эффективнее.
Чтобы не следить за окнами постоянно, нужны понятные правила остановки. Агенту полезно сообщать, сколько попыток проверки допустимо, при каких обстоятельствах следует запросить человека и что считать готовым результатом. Если после нескольких циклов замечания повторяются или меняют направление, процесс должен завершаться эскалацией, а не новым кругом работы.
Не менее важны границы доступа. Агентам стоит выдавать только те разрешения, которые необходимы для конкретной задачи: доступ к нужному репозиторию, тестовому окружению или отдельной ветке. Перед запуском изменений следует учитывать и финансовые ограничения: длинные диалоги и параллельные сессии быстро увеличивают расход. Лимиты на время, число вызовов и стоимость помогают не обнаруживать проблему постфактум.
При выборе инструмента я смотрю не на количество поддерживаемых ролей, а на то, насколько легко проследить путь от задачи до результата. Видно ли, что выполняется сейчас? Можно ли остановить зависшую работу? Сохраняются ли промежуточные результаты? Удобно ли передать задачу другому исполнителю без ручного пересказа? Если ответы на эти вопросы требуют постоянного контроля, система добавляет новую нагрузку вместо того, чтобы снять старую.
В итоге лучше всего прижился не сложный конвейер из множества специализированных агентов, а компактная схема: один исполнитель, независимая проверка там, где она действительно нужна, автоматические тесты и заранее заданные условия остановки. Я по-прежнему проверяю итоговый код и принимаю решения, но уже не обязан заглядывать в каждую сессию каждые полчаса.
Цель автоматизации - не создать побольше виртуальных сотрудников. Она в том, чтобы передавать им ограниченные и понятные задачи, получать проверяемый результат и подключаться только тогда, когда процесс упёрся в неопределённость. Именно в этот момент агенты перестают быть поводом для постоянного дежурства и становятся инструментом, который действительно освобождает время.



