GPTBot: 1091 сканування на один візит

1091 сканування на один візит із переходу — таке співвідношення для ботів OpenAI зафіксував Cloudflare у серпні 2025 року. Саме ця арифметика й запустила хвилю блокувань GPTBot — краулера, якого OpenAI випустив 7 серпня 2023 року для збору даних на навчання моделей.

Розпізнається він за токеном GPTBot у robots.txt, а user-agent уже дійшов до версії 1.4 — тому жорсткі regex-правила у фаєрволі ламаються після кожного оновлення. Списки адрес OpenAI тримає у файлі gptbot.json: 21 IPv4-префікс, переважно Azure, і жодного запису IPv6. Докладний розбір — у PPC Land.

Що кажуть цифри:

• 35,7% сайтів із топ-1000 блокували GPTBot ще у серпні 2024-го — проти ~5% на старті;
• 11,7% усього AI-краулінгу в мережі Cloudflare (липень 2025) проти 4,7% роком раніше;
• 70,6% новинних сайтів, які закрилися від бота, все одно потрапляють у цитати AI-відповідей (BuzzStream, березень 2026);
• 15% AI-фетчерів у Європі заходили на заборонені URL (TollBit, серпень 2026).

Ще один нюанс: robots.txt лишається джентльменською угодою — перевірити виконання на рівні заголовків неможливо, тому єдиний надійний спосіб відсіяти чужі боти — звірка з опублікованими діапазонами IP. В IAB Australia ще в липні 2026-го визнали, що для живих AI-агентів цей файл уже не працює як інструмент контролю.

Ціна питання теж перераховується: дослідники Rutgers і Wharton спершу оцінювали втрати від блокування в 23,1% місячних візитів, а у квітні 2026-го знизили оцінку до ~7% тижневого трафіку за шість тижнів.

Головна пастка — плутанина між чотирма ботами. GPTBot збирає дані для навчання, OAI-SearchBot індексує для пошуку в ChatGPT, ChatGPT-User ходить за запитом користувача, OAI-AdsBot перевіряє посадкові. Закрили все одним рядком — втратили видимість у ChatGPT, а тексти все одно поїдуть у навчання через архіви Common Crawl. Тому рішення давно не бінарне: закривайте GPTBot, якщо контент — ваш головний актив, але лишайте відкритим OAI-SearchBot. І перевірте логи: з 15 вересня 2026 року Cloudflare за замовчуванням ріже тренувальні краулери на нових доменах із рекламою.