Googlebot читає лише свою секцію robots.txt і не бачить загальних заборон

«Більш специфічні правила перемагають: якщо є секція user-agent: Googlebot, бот використовуватиме лише її» — так Джон Мюллер із Google пояснив, чому ваш robots.txt може працювати не так, як ви задумали. Проблема не в базі, а в тому, як влаштоване читання файлу.

Як Google читає robots.txt

Суть проста. Якщо в robots.txt є загальний блок user-agent: * і окремий user-agent: Googlebot, Googlebot читає лише свою секцію й повністю ігнорує загальну. Усі заборони, прописані в *, для нього ніби не існують.

Це не баг і не нове правило — так працює стандарт: бот шукає найточніший збіг за іменем і далі виконує тільки той блок. Тому файл, у якому «все закрито» в загальній секції, може бути повністю відкритим для головного бота Google, і зовні це ніяк не помітно, поки в індекс не почне лізти зайве.

Приклад із практики

На реальному кейсі це вистрілило так: у клієнта на Shopify в індекс поліз спам із внутрішнього пошуку, хоча /search був закритий у загальному блоці. Googlebot його не бачив — у його секції цього правила не було. Повний розбір — на Search Engine Journal.

Найчастіше такі секції з'являються історично: колись додали окреме правило для Googlebot заради однієї сторінки, а потім роками дописували заборони в загальний блок і не згадували, що для Google вони не діють.

Кого це стосується найбільше

Ризик вищий там, де сайт генерує багато службових адрес сам: інтернет-магазини з фільтрами й сортуванням, сайти з внутрішнім пошуком, майданчики з календарями та пагінацією. У таких проєктах загальний блок robots.txt зазвичай великий, і саме він виявляється неробочим для Googlebot.

Окремо варто перевірити сайти, які переїжджали з іншої CMS або платформи: robots.txt часто переносять цілком, разом зі старими секціями під конкретних ботів, які там опинилися випадково.

Сканування — це не індексація

Це найпоширеніша помилка: сторінку закривають у robots.txt і дивуються, що вона лишається у видачі. Щоб noindex спрацював, сторінку треба дати просканувати — детальніше про цю пару в гайді про відкриті та закриті від індексації сторінки.

Дублювання правил для Googlebot

• відкрийте свій robots.txt і знайдіть окрему секцію user-agent: Googlebot — якщо вона є, перевірте її окремо;
• продублюйте всі потрібні Disallow із загального блоку в секцію Googlebot або об'єднайте ботів під спільними правилами;
• пам'ятайте: robots.txt керує скануванням, а не індексацією — щоб сторінка гарантовано не потрапила у видачу, ставте <meta name="robots" content="noindex">;
• після правок перевірте файл у інструменті тестування robots.txt і простежте, чи йде сміття з індексу;
• окремо перегляньте секції для Googlebot-Image і Googlebot-News, якщо вони є — до них правило діє так само.

П'ять хвилин іде на те, щоб відкрити файл і звести секції докупи — і рівно ці ж кілька хвилин зазвичай пояснюють, чому розділи, начебто закриті місяцями, весь цей час спокійно жили в індексі.

Корисно за темою: Robots.txt і Sitemap.xml: налаштування і типові помилки · SEO аудит