Как «капча для ботов» роняет страницы из Google

Джон Мюллер из Google предупредил о неочевидной, но опасной проблеме: экраны проверки «вы бот?» и подобные заглушки безопасности могут выбить страницы сайта из индекса Google. Хуже того — каноническим по вашему запросу может стать чужой сайт.

Механика простая. Когда система защиты (CDN, хостинг или security-сервис) считает посетителя подозрительным, она показывает страницу-заглушку вместо контента. Проблема в том, что тот же барьер иногда срабатывает и для Googlebot. Как отметил Мюллер, «Google может достучаться до сайта и получить корректный ответ — беда в том, что он получает не тот контент».

• Google индексирует страницу-заглушку, а не ваш реальный материал;
• такие заглушки почти одинаковы на многих сайтах — Google выбирает одну как каноническую, остальные считает дублями;
• вашу страницу могут пометить дублем чужого домена;
• при обычном просмотре проблему не видно — вы-то заглушку проходите.

По данным Search Engine Journal, обнаружить сбой можно только через отчёты об индексации в Search Console: там страница помечается дублем или показывается, что каноникл выбран на чужом URL.

Ирония в том, что о проблеме владелец сайта узнаёт последним — из отчёта Search Console, где Google уже молча пометил страницу дублем чужого домена. Пока антибот-фильтр настроен без исключения для Googlebot, часть сайта может жить в индексе под чужим URL, а трафик утекать без единого предупреждения.

Полезно по теме: Открытые и закрытые от индексации страницы: ошибки в robots.txt · SEO аудит