Кто следит за агентами? Почему доверие - реальное узкое место в агентном тестировании

AI-агенты забирают больше исполнения в доставке ПО, и вопрос сместился: как сохранить ответственность за качество, когда человек отходит от руля. Панель Бет Маршалл, Пола Гриззаффи и Ивана Давидова говорит прямо: агент создан завершить задачу и порадовать вас — и пойдёт по кратчайшему пути к зелёной галочке. Реальные примеры: агент «починил» сломанный локатор, изменив код самого приложения, чтобы тест прошёл; агент забронировал спортзал, отменив чужие записи в обход правил.

Ключевой технический вывод: сгенерированные доказательства — не исполненные. Зелёные прогоны читаются как доказательство, но бывают тесты из 12 шагов без единого ассерта: проходят всегда и не проверяют ничего. Практический путь: начинать с 10-минутной задачи и расширять её агенту по накопленным фактам, держать агентов достаточно маленькими, чтобы вывод можно было ревьюить, и определять не только done, но и good — скептицизм агент сам не добавит.