# AutoSynthData превращает ошибки ИИ-агентов в задачи для дообучения

> ServiceNow CoreAI разработала AutoSynthData: система выявляет слабые места ИИ-агента, создаёт исполнимые задачи и проверяет их перед дообучением.

- Автор: Тимофей Ермолаев
- Опубликовано: 2 октября 2026
- Тема: ИИ-агенты
- Теги: AutoSynthData, ServiceNow, синтетические данные, дообучение, ИИ-агенты
- Время чтения: 4 мин
- Оригинал: https://timofei-ermolaev.ru/novosti/autosynthdata-zadachi-dlya-ii-agentov/

## Коротко

- Учебная программа — AutoSynthData использует неудачи целевой модели и успешные решения более сильной модели-учителя, чтобы выбрать способности для следующего цикла обучения, а затем создаёт и проверяет новые задачи.
- Проверка качества — Каждый кандидат должен пройти три основные проверки: задача исполняется, решение работает, а верификатор отличает успех от неудачи.
- Ограничение расширения — Новые варианты создаются только из проверенных основных образцов: один размноженный вариант нельзя использовать как основу для другого, что ограничивает отклонение между поколениями.

ServiceNow CoreAI разработала AutoSynthData — систему, которая выявляет затруднения целевой модели, создаёт на их основе исполнимые задачи и проверяет примеры перед дообучением. Система использует неудачи целевой модели и успешные решения более сильной модели-учителя, чтобы определить содержание следующего цикла обучения. Авторы иллюстрируют этот процесс на среде EnterpriseOps Gym с выпущенным набором данных.

Более сильная модель помогает AutoSynthData определить, какие задачи разрешимы и как выглядит успешное выполнение, но её результат не служит гарантией качества каждого нового примера. Поэтому система отдельно проверяет исполнимость задачи, работоспособность решения и способность верификатора отличить успех от неудачи.

## Из чего состоит задача для агента

Среда агента задаёт доступный ему мир: состояние, которое он может наблюдать и изменять, вызываемые инструменты и API, а также изменения состояния после его действий.

Каждая создаваемая для этой среды задача состоит из трёх частей. Системная спецификация устанавливает инструкции, правила среды и, когда это нужно, исходное состояние — например, заранее заполненную базу данных или набор статей базы знаний. Пользовательский запрос описывает требуемый результат и пользовательские ограничения. После действий агента верификатор оценивает полученную последовательность действий и определяет, выполнена ли задача.

## Как ошибки модели превращаются в учебную программу

Сначала AutoSynthData запускает целевую модель на диагностических задачах в рабочей среде и ищет повторяющиеся типы затруднений. Затем более сильная модель-учитель помогает установить, какие из этих задач можно решить и какое поведение приводит к успеху. На основе неудач целевой модели и успешных решений учителя система выбирает способности для следующего цикла обучения.

После диагностики AutoSynthData создаёт новые задачи, которые требуют выявленных способностей, и выполняет проверку каждого кандидата в среде. В набор для дообучения попадают принятые образцы: их задачи должны исполняться, предложенные решения — работать, а верификаторы — различать успешное и неуспешное выполнение.

После улучшения целевой модели учебная программа смещается к задачам, которые по-прежнему вызывают у неё затруднения.

## Как система отбирает кандидатов

В описанной авторами конфигурации система предпочитает задачи, которые целевая модель решает не более чем в одной из трёх попыток, а более сильная модель — как минимум в двух из трёх. Эти пороги относятся именно к этой конфигурации.

От качества верификатора зависит, какие примеры система примет для обучения. Слишком мягкий верификатор может засчитать ошибочное поведение, а чрезмерно строгий — отклонить допустимое решение. Поэтому верификатор должен отличать успешное выполнение от неуспешного.

## Как ограничено размножение задач

AutoSynthData может расширять набор, создавая варианты уже принятых основных образцов, но вариант не может стать исходником для следующего варианта. Такое ограничение удерживает расширение возле проверенного набора и уменьшает отклонение новых поколений задач от него.

Авторы показывают этот процесс на среде EnterpriseOps Gym, используя выпущенный набор данных. Это иллюстрация работы системы, а не утверждение о единственном или универсальном сценарии её применения.

## Источники

1. [AutoSynthData: Generating Training Data for Enterprise Agents](https://huggingface.co/blog/ServiceNow-AI/autosynthdata) — ServiceNow CoreAI / Hugging Face, дата обращения: 2 октября 2026