Во время проверки внутреннего помощника до запуска инженеры AWS обнаружили ответ, в котором вместо $410,08 выручки по одному сервису за три месяца было указано $410,08 млн. Агент подставил неверную единицу измерения и увеличил число в миллион раз. AWS описала этот случай в техническом разборе. Речь о завышенной цифре, а не о денежной операции или финансовом убытке 1.
Подразделение SMGS Operations разработало эту многоагентную систему для продавцов и руководителей продаж AWS. Сотрудники запрашивают в Amazon Quick данные о клиентах и бизнес-показателях, а несколько специализированных агентов обращаются к структурированным данным, собирают сведения о клиентах и анализируют метрики 1.
Обычный технический мониторинг в истории с миллионами показывал исправную работу: ответ был получен, хотя само число внутри текста оказалось неверным. В тех же тестах встречались и другие искажения — например, агент приводил оценку годовой регулярной выручки, которой не было в исходных данных, или выдавал собственные расчёты за готовые факты из источника 1.
Как проверяют ответы до и после обновления
Чтобы отделить техническую работоспособность от точности содержания, команда выстроила многоступенчатую проверку на базе инструментов AgentCore Evaluations. Отдельно тестируют программные инструменты, каждого агента поодиночке и их совместную работу. Когда нужно проверить факты и цифры в ответе нейросети по первоисточникам — например, выручку, дату продления или статус контракта, — в системе AWS полученное значение напрямую сопоставляют с известным эталоном. Если же требуется оценить качество рассуждений и полезность ответа, где нет единственной точной формулировки, его по заданным критериям проверяет другая языковая модель 1.
Перед выпуском новой версии разработчики отделяют проверку рассуждений агента от состояния внешних инструментов. На финальном контроле (Quality Gate) вызовы инструментов перехватывают и вместо обращения к реальным системам возвращают заранее проверенные зафиксированные ответы. Так можно сравнить две версии на одних и тех же входных данных, не смешивая изменения в логике агента с колебаниями доступности внешних инструментов 1.
После выхода в рабочую среду контроль не отключают: исходные данные и зависимости меняются сами по себе, поэтому ответы живой системы продолжают регулярно проверять даже без обновления самого агента 1.
Разбор этого кейса вышел в блоге AWS 16 октября 2026 года в 20:48 UTC (17 октября в 03:48 по красноярскому времени) 1. Речь в публикации идёт о настройке контроля качества на уже существующей платформе: сам сервис Amazon Bedrock AgentCore показали в предварительной версии 16 июля 2025 года 2, а в общий доступ выпустили 13 октября 2025 года 3. Точную дату внутреннего теста с ошибкой в выручке авторы отчёта не приводят 1.
