Одной и той же языковой модели давали задачи по программированию через три разные системы. В отдельных сравнениях стоимость задания различалась в несколько раз, а более сложная система не показала устойчивого преимущества перед минимальной по доле решённых задач. Результаты описаны в препринте, опубликованном 3 октября 2026 года. 24 октября The Decoder выпустил обзор этой работы.
Что меняли вокруг модели
Модель выбирает действия, а окружающая программа передаёт ей инструкции, предоставляет инструменты, ведёт историю работы и задаёт условия остановки. Эту программу называют обвязкой ИИ-агента, или harness. От неё зависит, с каким контекстом модель работает и как выполняются выбранные действия.
Авторы сравнили Claude Code, mini-SWE-agent и OpenCode, используя одну и ту же модель в каждом сравнении. Для проверки взяли задачи по программированию из SWE-bench Verified: набор из 45 сложных заданий и отдельный пул из 447 задач. На сложных заданиях сравнили пять моделей, на большом пуле только две. Claude Opus 5 запускали дополнительно лишь внутри Claude Code, поэтому её результаты не показывают, что изменилось бы при переходе на другую обвязку.
Почему одного запуска недостаточно
При повторном запуске агент иногда решает задачу, с которой прежде не справился, или проваливает ту, которую уже решил. Если сравнить обвязки по одной попытке, такую изменчивость легко принять за преимущество одной системы.
На наборе из 45 сложных задач медианная доля заданий с изменившимся исходом составила 13% по всем парам повторных запусков одной настройки. При замене обвязки медиана тоже составила 13%. Исход мог измениться в любую сторону: эта цифра показывает частоту расхождений, а не прибавку к доле правильных решений.
В приложении F авторы уточняют состав расчёта: 13% для повторов включают запуски Claude Opus 5, которую проверяли только в Claude Code. Без неё медиана по оставшимся парам повторных запусков равна 16%. Поэтому совпадение двух значений 13% не является сравнением одинаковых наборов моделей.
В большом пуле Claude Code и mini-SWE-agent оказались статистически эквивалентны в пределах пяти процентных пунктов на обеих проверенных там моделях. Эквивалентность при выбранном авторами допуске не означает одинакового поведения на каждой задаче или полного отсутствия различий.
На OpenCode этот результат не распространяется. Его отставание на большом пуле доходило примерно до девяти процентных пунктов. Часть потерь авторы связали с ограничением длины ответа, которое прерывало работу. В некоторых запусках различались также ограничения по времени. Поэтому нельзя объяснять весь разрыв одним лимитом или считать такое отставание свойством любой версии OpenCode.
Откуда взялась разница в цене
С каждым шагом модель получает инструкции, описания инструментов и накопленный контекст. На расходы влияют размер передаваемого текста и число шагов. Система с короткими инструкциями может потребовать больше обращений к модели, поэтому одного размера начального промпта недостаточно, чтобы предсказать счёт. При расчёте авторы отдельно учитывали стоимость кешированных токенов: повторная передача текста не означает, что каждый токен оплачивается по полной цене.
Согласно расчёту стоимости для модели GLM-5.3-Flash, средние расходы на один запуск составляли 1,81 юаня при работе через Claude Code, 0,97 юаня через mini-SWE-agent и 0,56 юаня через OpenCode. Это оценка по прайс-листу исследования, а не сравнение сегодняшних тарифов или подписок. В том же примере самый дешёвый OpenCode решал меньше задач, поэтому меньший счёт сам по себе не делает его лучшим выбором.
Как использовать этот результат
В препринте описаны конкретные версии, настройки и преимущественно задачи SWE-bench Verified. Результат работы нельзя переносить на любую разработку или считать свежим рейтингом продуктов. Авторы опубликовали данные запусков и код анализа; при подготовке этого материала эксперименты самостоятельно не воспроизводились.
Практическое следствие такого сравнения: усложнение обвязки стоит проверять на собственных задачах при сопоставимых настройках. Сначала выяснить, позволяет ли оно решить больше задач и повторяется ли выигрыш при новых запусках, затем сопоставить результат с расходами. Права доступа, подтверждения действий, сохранение состояния и тесты при этом сохраняют свои функции; исследование не даёт оснований их отключать.
