Подтверждённая личность бота не гарантирует, что он будет соблюдать правила сайта. 16 октября 2026 года Cloudflare рассказала о системе, которая отслеживает реальное поведение участников существующей программы Verified Bots и уже используется внутри компании 1, 2.
На первом этапе система отслеживает два сигнала. Она проверяет, соблюдает ли робот ограничения обхода, которые владелец сайта указал в файле robots.txt. Также алгоритм смотрит, снижает ли бот частоту обращений к серверу, когда сайт сообщает о чрезмерной нагрузке техническим кодом ответа HTTP 429 (слишком много запросов) 1.
Оценка опирается на устойчивые повторяющиеся наблюдения, поэтому единичное нарушение само по себе не означает окончательного вердикта. Из накопленных данных складывается диапазон доверия (trust band) — объяснимая оценка того, насколько последовательно робот соблюдает предпочтения сайта. Этот показатель не становится для бота пожизненным ярлыком и может меняться со временем 1.
Новый механизм разделяет проверку личности, публикацию правил и фактическое поведение роботов. Личность бота подтверждают по сетевым признакам или криптографическим подписям запросов: они показывают, что бот принадлежит заявленному сервису 2, 3. Владелец сайта может опубликовать предпочтения для ИИ-трафика в robots.txt и задать правила обработки запросов. Система наблюдения проверяет, соблюдают ли проверенные боты эти ограничения 1. Ранее компания искала способы сделать поисковый обход страниц менее затратным без автоматического разрешения доступа.
Когда оценки станут доступны клиентам
В будущем Cloudflare планирует опубликовать оценки доверия ботов в аналитическом сервисе Radar и открыть доступ к ним всем клиентам, чтобы владельцы сайтов могли сами выбирать допустимый порог доверия. Сроки запуска этих возможностей, шкалу оценок и цены компания пока не называет 1.
