Блокировка AI-ботов в Cloudflare может отрезать от сайта Googlebot

Прежде чем блокировать AI-краулеры в Cloudflare — проверьте, не выпадет ли вместе с ними Googlebot. Появился тревожный сигнал: владелец сайта в r/TechSEO сообщил, что после включения блокировки AI-ботов и Googlebot, и Bingbot начали получать 403 при попытке достучаться до карты сайта. То есть, закрывая сайт от обучения ИИ, можно случайно закрыть его и от индексации.

Причина в классификации: Cloudflare относит Googlebot и Bingbot к «смешанным» ботам категории Search + Training. По документации сервиса, краулеры, совмещающие поиск и обучение, блокируются всеми конфигурациями, которые запрещают AI-обучение. Полноценно правило вступает в силу 15 сентября 2026 года, так что времени проверить настройки ещё достаточно. Пока это анекдотический случай — не подтверждённый массово: Google's John Mueller уже попросил автора связаться напрямую для разбора. Детали приводит Search Engine Journal.

Что сделать:

• откройте в Cloudflare настройки блокировки AI-ботов и посмотрите, что именно попадает под запрет;
• убедитесь, что Googlebot и Bingbot получают доступ к sitemap и не ловят 403;
• пропишите поисковым ботам явное разрешение до 15 сентября;
• проверьте индексацию в Search Console — отчёт о покрытии и «Проверка URL».

Даже если случай единичный, риск слишком дорогой: потеря индексации бьёт по трафику молча и не сразу. Пять минут в настройках Cloudflare сейчас дешевле, чем выпадение из выдачи потом.

Полезно по теме: Открытые и закрытые от индексации страницы: ошибки в robots.txt · SEO аудит