ServiceNow CoreAI разработала AutoSynthData — систему, которая выявляет затруднения целевой модели, создаёт на их основе исполнимые задачи и проверяет примеры перед дообучением. Система использует неудачи целевой модели и успешные решения более сильной модели-учителя, чтобы определить содержание следующего цикла обучения. Авторы иллюстрируют этот процесс на среде EnterpriseOps Gym с выпущенным набором данных.
Более сильная модель помогает AutoSynthData определить, какие задачи разрешимы и как выглядит успешное выполнение, но её результат не служит гарантией качества каждого нового примера. Поэтому система отдельно проверяет исполнимость задачи, работоспособность решения и способность верификатора отличить успех от неудачи.
Из чего состоит задача для агента
Среда агента задаёт доступный ему мир: состояние, которое он может наблюдать и изменять, вызываемые инструменты и API, а также изменения состояния после его действий.
Каждая создаваемая для этой среды задача состоит из трёх частей. Системная спецификация устанавливает инструкции, правила среды и, когда это нужно, исходное состояние — например, заранее заполненную базу данных или набор статей базы знаний. Пользовательский запрос описывает требуемый результат и пользовательские ограничения. После действий агента верификатор оценивает полученную последовательность действий и определяет, выполнена ли задача.
Как ошибки модели превращаются в учебную программу
Сначала AutoSynthData запускает целевую модель на диагностических задачах в рабочей среде и ищет повторяющиеся типы затруднений. Затем более сильная модель-учитель помогает установить, какие из этих задач можно решить и какое поведение приводит к успеху. На основе неудач целевой модели и успешных решений учителя система выбирает способности для следующего цикла обучения.
После диагностики AutoSynthData создаёт новые задачи, которые требуют выявленных способностей, и выполняет проверку каждого кандидата в среде. В набор для дообучения попадают принятые образцы: их задачи должны исполняться, предложенные решения — работать, а верификаторы — различать успешное и неуспешное выполнение.
После улучшения целевой модели учебная программа смещается к задачам, которые по-прежнему вызывают у неё затруднения.
Как система отбирает кандидатов
В описанной авторами конфигурации система предпочитает задачи, которые целевая модель решает не более чем в одной из трёх попыток, а более сильная модель — как минимум в двух из трёх. Эти пороги относятся именно к этой конфигурации.
От качества верификатора зависит, какие примеры система примет для обучения. Слишком мягкий верификатор может засчитать ошибочное поведение, а чрезмерно строгий — отклонить допустимое решение. Поэтому верификатор должен отличать успешное выполнение от неуспешного.
Как ограничено размножение задач
AutoSynthData может расширять набор, создавая варианты уже принятых основных образцов, но вариант не может стать исходником для следующего варианта. Такое ограничение удерживает расширение возле проверенного набора и уменьшает отклонение новых поколений задач от него.
Авторы показывают этот процесс на среде EnterpriseOps Gym, используя выпущенный набор данных. Это иллюстрация работы системы, а не утверждение о единственном или универсальном сценарии её применения.
