Блокування AI-ботів у Cloudflare може відрізати від сайту Googlebot

Перш ніж блокувати AI-краулери в Cloudflare — перевірте, чи не випаде разом із ними Googlebot. З'явився тривожний сигнал: власник сайту в r/TechSEO повідомив, що після ввімкнення блокування AI-ботів і Googlebot, і Bingbot почали отримувати 403 під час спроби дістатися до карти сайту. Тобто, закриваючи сайт від навчання ШІ, можна випадково закрити його й від індексації.

Причина в класифікації: Cloudflare відносить Googlebot і Bingbot до «змішаних» ботів категорії Search + Training. За документацією сервісу, краулери, що поєднують пошук і навчання, блокуються всіма конфігураціями, які забороняють навчання ШІ. Повноцінно правило набуває чинності 15 вересня 2026 року, тож часу перевірити налаштування ще достатньо. Поки це анекдотичний випадок — не підтверджений масово: Google's John Mueller уже попросив автора зв'язатися напряму для розбору. Деталі наводить Search Engine Journal.

Що зробити:

• відкрийте в Cloudflare налаштування блокування AI-ботів і подивіться, що саме потрапляє під заборону;
• переконайтеся, що Googlebot і Bingbot мають доступ до sitemap і не ловлять 403;
• пропишіть пошуковим ботам явний дозвіл до 15 вересня;
• перевірте індексацію в Search Console — звіт про покриття та «Перевірка URL».

Навіть якщо випадок поодинокий, ризик надто дорогий: втрата індексації б'є по трафіку тихо й не одразу. П'ять хвилин у налаштуваннях Cloudflare зараз дешевші, ніж випадання з видачі потім.

Корисно за темою: Відкриті та закриті від індексації сторінки: помилки в robots.txt · SEO аудит