Cloudflare и AWS дали сайтам возможность брать деньги с AI-ботов

Платить или пропускать? Перед владельцами сайтов встал новый выбор: брать с AI-краулеров деньги за доступ или пускать их бесплатно ради упоминаний в ответах нейросетей. Однозначного ответа нет — и в этом вся суть спора.

Аргумент «брать деньги». Тридцать лет краулеры платили трафиком: индексировали контент, а взамен присылали посетителей. AI-боты всё чаще забирают текст, ничего не возвращая. Ответ индустрии — платный доступ через код HTTP 402. Cloudflare (июль 2025) и AWS (июнь 2026) запустили pay-per-crawl на уровне edge, к ним подключились TollBit и Akamai — оплата за запрос идёт по протоколу x402.

Аргумент «не трогать». Тот бот, которому вы выставите счёт, и тот, что приводит клиента из AI-ответа, — часто одна и та же труба. По данным Adobe, AI-переходы к ритейлерам выросли на 393% за год. Закрыв доступ, легко исчезнуть из ответов, которые уже приносят покупателей. Подробный разбор — на Search Engine Journal.

Кому что подходит:

• Брать деньги разумно медиа, справочным базам и архивам с независимыми каналами дистрибуции;
• Не рисковать стоит сайтам и e-commerce, которые живут за счёт видимости в AI-ответах.

Парадокс в том, что закрыть доступ технически уже просто — код HTTP 402 есть у Cloudflare и AWS, — а вот отличить бота, который ворует контент, от того, что приводит покупателя, умеет далеко не каждый. Пока эта граница размыта, любое решение о плате остаётся решением вслепую.

Полезно по теме: SGE и AI Overview: как оптимизировать сайт под AI-поиск Google · SEO продвижение веб-сайта