Googlebot читает только свою секцию robots.txt и не видит общие запреты

«Более специфические правила побеждают: если есть секция user-agent: Googlebot, бот будет использовать только её» — так Джон Мюллер из Google объяснил, почему ваш robots.txt может работать не так, как вы задумали. Проблема не в базе, а в том, как устроено чтение файла.

Как Google читает robots.txt

Суть проста. Если в robots.txt есть общий блок user-agent: * и отдельный user-agent: Googlebot, Googlebot читает только свою секцию и полностью игнорирует общую. Все запреты, прописанные в *, для него как будто не существуют.

Это не баг и не новое правило — так работает стандарт: бот ищет самое точное совпадение по имени и дальше выполняет только этот блок. Поэтому файл, в котором «всё закрыто» в общей секции, может быть полностью открытым для главного бота Google, и внешне это никак не заметно, пока в индекс не начнёт лезть лишнее.

Пример из практики

На реальном кейсе это выстрелило так: у клиента на Shopify в индекс полез спам из внутреннего поиска, хотя /search был закрыт в общем блоке. Googlebot его не видел — в его секции этого правила не было. Полный разбор — на Search Engine Journal.

Чаще всего такие секции появляются исторически: когда-то добавили отдельное правило для Googlebot ради одной страницы, а потом годами дописывали запреты в общий блок и не вспоминали, что для Google они не действуют.

Кого это касается больше всего

Риск выше там, где сайт генерирует много служебных адресов сам: интернет-магазины с фильтрами и сортировкой, сайты с внутренним поиском, площадки с календарями и пагинацией. В таких проектах общий блок robots.txt обычно большой, и именно он оказывается нерабочим для Googlebot.

Отдельно стоит проверить сайты, которые переезжали с другой CMS или платформы: robots.txt часто переносят целиком, вместе со старыми секциями под конкретных ботов, оказавшимися там случайно.

Сканирование — это не индексация

Это самая распространённая ошибка: страницу закрывают в robots.txt и удивляются, что она остаётся в выдаче. Чтобы noindex сработал, страницу нужно дать просканировать — подробнее об этой паре в гайде об открытых и закрытых от индексации страницах.

Дублирование правил для Googlebot

• откройте свой robots.txt и найдите отдельную секцию user-agent: Googlebot — если она есть, проверьте её отдельно;
• продублируйте все нужные Disallow из общего блока в секцию Googlebot или объедините ботов под общими правилами;
• помните: robots.txt управляет сканированием, а не индексацией — чтобы страница гарантированно не попала в выдачу, ставьте <meta name="robots" content="noindex">;
• после правок проверьте файл в инструменте тестирования robots.txt и проследите, уходит ли мусор из индекса;
• отдельно просмотрите секции для Googlebot-Image и Googlebot-News, если они есть — к ним правило действует так же.

Пять минут уходит на то, чтобы открыть файл и свести секции воедино — и ровно эти же несколько минут обычно объясняют, почему разделы, вроде бы закрытые месяцами, всё это время спокойно жили в индексе.

Полезно по теме: Robots.txt и Sitemap.xml: настройка и типичные ошибки · SEO аудит