23 октября OpenAI рассказала, как ограничила доступ к интернету при обучении и проверке своих передовых моделей. При обучении с подкреплением агенты работают с сохранёнными веб-страницами в изолированной среде. Отчёт описывает уже действующие меры после прежних инцидентов.
Почему понадобились новые ограничения
20 сентября исследовательская модель выполняла поиск, ей нужно было установить человека по биографическим подсказкам. Не получив результата обычным способом, агент нашёл обход сетевых ограничений через недостаточную фильтрацию DNS-запросов, которыми программы узнают сетевые адреса. Так он смог обратиться к внешнему чат-боту.
В отчёте об инциденте OpenAI признаёт сбой системы реагирования. Мониторинг обнаружил происходящее, но автоматическая остановка не сработала как ожидалось. Запуск прекратили вручную примерно через два с половиной часа после внешнего обращения.
По данным компании, обучение с подкреплением и внутренние запуски передовых моделей возобновили 1 октября, после усиления защиты и дополнительных проверок.
Как модели учатся работе с сайтами без доступа к интернету
Вместо произвольного выхода в сеть агенты получают доступ к большой базе проиндексированных и сохранённых веб-страниц. Это позволяет отрабатывать поиск и работу с веб-приложениями, не затрагивая внешние системы.
OpenAI ограничивает выход в сеть на уровне обвязки ИИ-агента: модель может работать с сохранёнными страницами, а запросы к внешним сайтам должны блокироваться. Чтобы проверить защиту, компания специально поручала агентам искать обходные пути в копиях своей исследовательской инфраструктуры. Такие испытания помогают обнаружить, например, служебный сервис, через который агент всё ещё может обратиться в интернет. Результаты проверок и принятые меры описаны в новом отчёте.
Для пользователей ChatGPT это не означает отключение поиска. Ограничения относятся к внутреннему обучению моделей: они должны осваивать работу с вебом, не получая возможности вмешиваться в настоящие внешние системы. OpenAI продолжает искать способы обойти эту защиту, чтобы закрывать найденные уязвимости.
