Cloudflare пише robots.txt за вас, і окремих ШІ-ботів у ньому не розрізнити

Дозволити GPTBot і заблокувати Bytespider у новій функції Cloudflare не вийде: налаштувань на рівні конкретного бота там немає.

Про це пише Слободан Маніч у Search Engine Journal, і його розбір варто прочитати всім, чий сайт стоїть за Cloudflare.

Три категорії замість списку краулерів

Bot Preference Sync генерує записи в robots.txt із налаштувань у панелі. Вони лягають між рядками # BEGIN Cloudflare Bot Preference Sync і відповідним кінцевим маркером, а решта файлу залишається нижче без змін.

Функція доступна на всіх тарифах. Ботів поділено на Search, Agent і Training, і для кожної категорії пропонують однакові три варіанти: блокувати на всіх сторінках, блокувати лише на сторінках із рекламою або дозволити.

Маніч показує, чому цього мало. Його власна політика розрізняє компанії: тренувальним краулерам GPTBot, Claude і Perplexity він доступ дозволяє, а Bytespider і Meta блокує, виходячи з того, що кожна сторона дає натомість.

Три категорії Cloudflare такого рішення описати не можуть.

Він також нагадує, що правило в robots.txt зупиняє лише той краулер, який сам вирішив зупинитися. Тому, хто його ігнорує, воно не робить нічого.

Умови від Cloudflare й дефолт для нових клієнтів

Cloudflare опублікувала чотири умови розкриття інформації, яким краулер має відповідати, щоб його не блокували: поважати позначку «без навчання», давати змогу відмовитися від AI-підсумків, показувати видавцям метрики на рівні URL і публічно доводити, що блокування навчання не шкодить позиціям у пошуку.

За оцінкою Маніча, повністю цим вимогам відповідає лише Microsoft, а Google змішує сніпети у звичайному пошуку з участю в AI Overviews, тож під ці умови не підпадає.

Це саме оцінка автора: на момент публікації Cloudflare не показала, за якою процедурою перевірятиме відповідність цим чотирьом пунктам.

Окремо Маніч застерігає щодо дефолту. Формулювання «starting point will not add any blocks on your behalf» звучить м'яко, але, за його описом, нові клієнти отримують за замовчуванням блок категорій Training і Agent на сторінках із рекламою.

Для сайту, який заробляє на показах, це може бути бажаним. Для сайту, якому потрібна видимість у відповідях AI, — навпаки.

Що з цим робити власнику сайту за Cloudflare

Перше: перевірте свій файл. Розкажіть команді, що частина robots.txt тепер пишеться в панелі Cloudflare, а не лише в репозиторії, і порівняйте поточні правила з політикою ботів до того, як функція дійде до вашого акаунта.

Друге: пам'ятайте, що AI-краулери й пошукові боти — різні речі. Як ці правила взаємодіють з індексацією, докладно розписано в гайді про robots.txt і sitemap.xml та в матеріалі про індексацію та robots.txt.

Я б ще зробив копію поточного robots.txt і поклав її поруч із датою. Коли між маркерами BEGIN і END раптом з'являться чужі рядки, буде з чим порівняти.

Цікаво буде подивитися, скільки сайтів побачать у своєму robots.txt блок між рядками BEGIN і END і навіть не зрозуміють, звідки він узявся.

Корисно за темою: Robots.txt і Sitemap.xml: налаштування і типові помилки · SEO-просування веб-сайту