Cloudflare пишет robots.txt за вас, и отдельных AI-ботов в нём не различить

Разрешить GPTBot и заблокировать Bytespider в новой функции Cloudflare не выйдет: настроек на уровне конкретного бота там нет.

Об этом пишет Слободан Манич в Search Engine Journal, и его разбор стоит прочитать всем, чей сайт стоит за Cloudflare.

Три категории вместо списка краулеров

Bot Preference Sync генерирует записи в robots.txt из настроек в панели. Они ложатся между строками # BEGIN Cloudflare Bot Preference Sync и соответствующим конечным маркером, а остальной файл остаётся ниже без изменений.

Функция доступна на всех тарифах. Боты поделены на Search, Agent и Training, и для каждой категории предлагают одинаковые три варианта: блокировать на всех страницах, блокировать только на страницах с рекламой или разрешить.

Манич показывает, почему этого мало. Его собственная политика различает компании: тренировочным краулерам GPTBot, Claude и Perplexity он доступ разрешает, а Bytespider и Meta блокирует, исходя из того, что каждая сторона даёт взамен.

Три категории Cloudflare такое решение описать не могут.

Он также напоминает, что правило в robots.txt останавливает только тот краулер, который сам решил остановиться. Тому, кто его игнорирует, оно не делает ничего.

Условия от Cloudflare и дефолт для новых клиентов

Cloudflare опубликовала четыре условия раскрытия информации, которым краулер должен соответствовать, чтобы его не блокировали: уважать пометку «без обучения», давать возможность отказаться от AI-сводок, показывать издателям метрики на уровне URL и публично доказывать, что блокировка обучения не вредит позициям в поиске.

По оценке Манича, полностью этим требованиям соответствует только Microsoft, а Google смешивает сниппеты в обычном поиске с участием в AI Overviews, поэтому под эти условия не подпадает.

Это именно оценка автора: на момент публикации Cloudflare не показала, по какой процедуре будет проверять соответствие этим четырём пунктам.

Отдельно Манич предостерегает насчёт дефолта. Формулировка «starting point will not add any blocks on your behalf» звучит мягко, но, по его описанию, новые клиенты получают по умолчанию блок категорий Training и Agent на страницах с рекламой.

Для сайта, который зарабатывает на показах, это может быть желательным. Для сайта, которому нужна видимость в ответах AI, — наоборот.

Что с этим делать владельцу сайта за Cloudflare

Первое: проверьте свой файл. Расскажите команде, что часть robots.txt теперь пишется в панели Cloudflare, а не только в репозитории, и сравните текущие правила с политикой ботов до того, как функция дойдёт до вашего аккаунта.

Второе: помните, что AI-краулеры и поисковые боты — разные вещи. Как эти правила взаимодействуют с индексацией, подробно расписано в гайде о robots.txt и sitemap.xml и в материале об индексации и robots.txt.

Я бы ещё сделал копию текущего robots.txt и положил её рядом с датой. Когда между маркерами BEGIN и END вдруг появятся чужие строки, будет с чем сравнить.

Любопытно будет посмотреть, сколько сайтов увидят в своём robots.txt блок между строками BEGIN и END и даже не поймут, откуда он взялся.

Полезно по теме: Robots.txt и Sitemap.xml: настройка и типичные ошибки · SEO продвижение веб-сайта