Чтобы выполнить поручение на телефоне, ИИ-агент должен понять, что показано на экране, выбрать действие и учесть, что после него изменилось. В OpenMobile-2 исследователи проверили, как на эту способность влияет набор приложений для обучения. При одинаковом числе демонстраций более разнообразный набор помог агенту чаще справляться с незнакомыми интерфейсами.
Работа описана в препринте, поданном 9 октября 2026 года по UTC, уже 10 октября по Красноярску. Повод вернуться к ней 25 октября дал обзор The Decoder. Исследователи также проверили, что меняется, если научить агента выполнять часть действий через инструменты приложения, минуя цепочки нажатий.
Зачем строить тренировочные копии приложений
OpenMobile-2 объединяет среду для экспериментов, обучающие данные и две модели. Версия на 9 миллиардов параметров основана на Qwen3.5-9B, версия на 27 миллиардов — на Qwen3.6-27B.
Повторять опыты в реальных приложениях сложно: нужны входы в аккаунты, покупки могут оказаться настоящими, а вернуть все записи к исходному состоянию бывает трудно. Поэтому для обучения авторы расширили MobileGym++, среду с работающими в браузере симулированными приложениями. В ней 63 клиента, включая 35 новых копий коммерческих приложений. Вместе с приложениями в Android-эмуляторе общий охват проекта составляет более 110 приложений.
В симуляции сохраняются корзины, заметки, заказы и другие записи. После попытки состояние можно сбросить и начать ту же задачу заново. Например, заказ в тренировочной копии магазина не требует настоящей покупки.
В режиме работы через графический интерфейс, или GUI, агент получает изображение экрана и выбирает нажатия, ввод текста или прокрутку. Ему не выдают структуру элементов интерфейса и прямой доступ к внутренним записям приложения. Эти записи читает программа, которая проверяет результат.
В одной из задач авторского теста агент должен найти два самых популярных поста среди первых десяти результатов поиска в симулированном RedNote и перенести их заголовки в Notes. Для проверки такой работы недостаточно ответа «готово»: нужно установить, появились ли нужные записи в приложении. Возможность проверить итог и вернуть среду к началу делает подобные задачи пригодными для повторных опытов.
Те же 2000 демонстраций, больше приложений
В отдельном контролируемом опыте авторы оставили прежними базовую модель, алгоритм обновления её параметров и бюджет в 2000 траекторий. Траектория здесь означает записанную последовательность экранов и действий при выполнении задачи. Меняли охват обучения: вместо 15 приложений примеры распределили по 53.
На незнакомых приложениях Pass@1, доля заданий, выполненных с первой попытки, вырос с 60,7% до 67,5%. Прибавка составила 6,8 процентного пункта. На знакомых приложениях показатель изменился с 73,7% до 71,4%, поэтому говорить об улучшении всех результатов нельзя.
Этот опыт показывает пользу разнообразия при фиксированном бюджете данных. Он не устанавливает, что дополнительные демонстрации бесполезны или что расширение набора приложений всегда окажется лучшим способом обучения.
Полный набор данных проекта значительно больше. В OpenMobile-Data-v2 собраны 11 643 демонстрационные траектории и 2475 исполняемых задач для обучения с подкреплением, или RL. На таком этапе модель учится с вознаграждением за результат действий. Для описанного в работе RL-обучения выбрали 512 задач из подготовленного набора.
Инструкции и демонстрации создавал Gemini-3.1-Pro-Preview. Успешность демонстраций в MobileGym++ проверяли программно, а в Android-эмуляторе использовали модель, оценивающую изображения и текст. Поэтому программная проверка в симуляторе не означает, что весь набор данных подготовлен без оценки другой моделью.
Что дали инструменты обученной модели
В экспериментальных копиях приложений авторы добавили прямые операции, например добавление товара в корзину. Агент может вызвать такую операцию вместо поиска нужных кнопок. Вызов меняет те же записи, что и действие через экран; список доступных операций относится к активному приложению, а агент получает ответы на их выполнение.
Всего реализовано более 300 операций в более чем 50 симулированных приложениях. Это интерфейсы исследовательской среды, а не новые официальные API настоящих сервисов или объявленные интеграции с ними.
Само наличие инструментов не гарантировало выигрыша. Авторы обучили модели на демонстрациях, в которых действия через экран чередуются с вызовами инструментов. Такой вариант обучения по примерам в работе называется Hybrid SFT.
После него большую модель проверили в двух режимах на собственном тесте команды MobileGym++ Bench. Он включает 215 задач, из которых 106 требуют действий в нескольких приложениях. Задачи, начальные состояния и программы проверки результата в обоих режимах одинаковы.
| Режим одной модели 27B после Hybrid SFT | Успешно выполненные задания | Среднее число шагов |
|---|---|---|
| Только графический интерфейс | 55,3% | 25,0 |
| Графический интерфейс и инструменты | 65,6% | 19,2 |
Доступ к инструментам у этой обученной модели дал прибавку в 10,3 процентного пункта, а средняя последовательность действий стала короче на 5,8 шага. Здесь сравниваются два способа работы одной модели. Полученный выигрыш нельзя автоматически переносить на произвольные приложения и агентов, которых не обучали выбирать инструменты.
Что получилось на Android и какой вклад внёс RL
Авторы проверили модели и за пределами собственного теста. В таблице ниже приведена доля успешных заданий для версии 27B на AndroidWorld и SPA-Bench L3. Последний тест выполняется на физических Android-устройствах.
| Этап | AndroidWorld, Pass@1 | SPA-Bench L3 |
|---|---|---|
| Исходная Qwen3.6-27B | 67,1% | 31,9% |
| OpenMobile-2 после Hybrid SFT | 80,8% | 57,4% |
| После дополнительного RL | 79,9% | 59,6% |
Рост от исходной модели до итоговой относится ко всей цепочке дообучения. Большая часть прибавки в этих двух тестах появилась уже после обучения по демонстрациям. Дополнительный RL повысил результат на SPA-Bench L3, но на AndroidWorld показатель после него оказался ниже.
Даже на физических устройствах это успех в определённом наборе заданий, а не гарантия работы в любом приложении пользователя. В той же таблице препринта на SPA-Bench L3 указаны 68,1% у GPT-5.6-Sol и 70,2% у Gemini-3.1-Pro-Preview. Оба результата выше 59,6% у OpenMobile-2, поэтому утверждение, что он уступает только Gemini, неверно.
Все эти результаты сообщены авторами работы. В общем сравнении часть показателей других моделей взята из публикаций, часть воспроизведена командой; промпты и форматы действий не полностью одинаковы. Поэтому таблица сравнивает модели вместе с условиями их работы и не позволяет отделить влияние каждого компонента.
Что можно взять из проекта
Публично доступны код и материалы проекта: среда, данные, веса моделей и код оценки. При этом в README ещё не отмечены готовыми скрипты построения данных и часть прочих ресурсов. Публикация этих материалов сама по себе не подтверждает, что всю цепочку обучения уже можно полностью воспроизвести.
Карточка модели 27B описывает серверный запуск через vLLM. Проект предназначен для разработки и исследования мобильных агентов; готового потребительского приложения для установки на обычный телефон эти результаты не обещают.
Для разработчика практическая ценность OpenMobile-2 состоит в возможности повторять сценарии, менять условия обучения и проверять, что агент действительно сделал в приложении. Переход к поручениям в настоящих аккаунтах потребует отдельной проверки на нужных приложениях и устройствах.
