Як «капча для ботів» викидає сторінки з Google

Джон Мюллер з Google попередив про неочевидну, але небезпечну проблему: екрани перевірки «ви бот?» та подібні заглушки безпеки можуть вибити сторінки сайту з індексу Google. Гірше того — канонічним за вашим запитом може стати чужий сайт.

Механіка проста. Коли система захисту (CDN, хостинг або security-сервіс) вважає відвідувача підозрілим, вона показує сторінку-заглушку замість контенту. Проблема в тому, що той самий бар'єр іноді спрацьовує й для Googlebot. Як зазначив Мюллер, «Google може достукатися до сайту й отримати коректну відповідь — біда в тому, що він отримує не той контент».

• Google індексує сторінку-заглушку, а не ваш реальний матеріал;
• такі заглушки майже однакові на багатьох сайтах — Google обирає одну як канонічну, решту вважає дублями;
• вашу сторінку можуть позначити дублем чужого домену;
• під час звичайного перегляду проблему не видно — ви ж заглушку проходите.

За даними Search Engine Journal, виявити збій можна лише через звіти про індексацію в Search Console: там сторінка позначається дублем або показується, що канонікал обрано на чужому URL.

Іронія в тому, що про проблему власник сайту дізнається останнім — зі звіту Search Console, де Google вже мовчки позначив сторінку дублем чужого домену. Поки антибот-фільтр налаштований без винятку для Googlebot, частина сайту може жити в індексі під чужою URL-адресою, а трафік витікати без жодного попередження.

Корисно за темою: Відкриті та закриті від індексації сторінки: помилки в robots.txt · SEO аудит