GPTBot: 1091 запрос на один визит

1091 сканирование на один визит по переходу — такое соотношение для ботов OpenAI зафиксировал Cloudflare в августе 2025 года. Именно эта арифметика и запустила волну блокировок GPTBot — краулера, которого OpenAI выпустил 7 августа 2023 года для сбора данных на обучение моделей.

Узнаётся он по токену GPTBot в robots.txt, а user-agent уже дошёл до версии 1.4 — поэтому жёсткие regex-правила в фаерволе ломаются после каждого обновления. Списки адресов OpenAI держит в файле gptbot.json: 21 IPv4-префикс, в основном Azure, и ни одной записи IPv6. Подробный разбор — у PPC Land.

Что говорят цифры:

• 35,7% сайтов из топ-1000 блокировали GPTBot ещё в августе 2024-го — против ~5% на старте;
• 11,7% всего AI-краулинга в сети Cloudflare (июль 2025) против 4,7% годом ранее;
• 70,6% новостных сайтов, закрывшихся от бота, всё равно попадают в цитаты AI-ответов (BuzzStream, март 2026);
• 15% AI-фетчеров в Европе заходили на запрещённые URL (TollBit, август 2026).

Ещё один нюанс: robots.txt остаётся джентльменским соглашением — проверить исполнение на уровне заголовков нельзя, поэтому единственный надёжный способ отсеять чужие боты — сверка с опубликованными диапазонами IP. В IAB Australia ещё в июле 2026-го признали, что для живых AI-агентов этот файл уже не работает как инструмент контроля.

Цена вопроса тоже пересчитывается: исследователи Rutgers и Wharton сначала оценивали потери от блокировки в 23,1% месячных визитов, а в апреле 2026-го снизили оценку до ~7% недельного трафика за шесть недель.

Главная ловушка — путаница между четырьмя ботами. GPTBot собирает данные для обучения, OAI-SearchBot индексирует для поиска в ChatGPT, ChatGPT-User ходит по запросу пользователя, OAI-AdsBot проверяет посадочные. Закрыли всё одной строкой — потеряли видимость в ChatGPT, а тексты всё равно уедут в обучение через архивы Common Crawl. Поэтому решение давно не бинарное: закрывайте GPTBot, если контент — ваш основной актив, но оставляйте открытым OAI-SearchBot. И проверьте логи: с 15 сентября 2026 года Cloudflare по умолчанию режет обучающие краулеры на новых доменах с рекламой.