Amazon заблокировал агента Muse от Meta — и robots.txt тут ни при чём

«Продолжение доступа неавторизованным ИИ-агентом нарушает Условия использования Amazon» — такое сообщение 20 сентября увидели пользователи Muse, агента покупок от Meta, при попытке зайти на Amazon через него. Первым о блокировке написал журналист Тодд Бишоп для GeekWire, и в Amazon изданию подтвердили, что это осознанное решение.

Почему robots.txt не смог заблокировать агента, которого нет на бумаге

В robots.txt Amazon прописано 101 правило под конкретные user-agent — от классических поисковых ботов до новых ИИ-краулеров. Проблема в том, что для Muse там попросту некому писать запрет: у агента нет задокументированной строки user-agent. В собственной документации Meta перечисляет только пять краулеров, и Muse среди них нет. Без имени агента Amazon не могла нацелить на него конкретное правило — а сам robots.txt в любом случае лишь просьба, которую некому заставить выполнить.

Представитель Amazon назвал изданию три причины блокировки: Meta не предупредила компанию о том, что Muse будет обращаться к магазину, агент «не идентифицирует себя при просмотре», и, по словам Amazon, похоже, «захватывает и хранит учётные данные клиентов» — а это уже вопрос безопасности, а не просто этикета.

Сама Meta описывает Muse как приложение, которое работает на «настоящем браузере на основе Chromium» и «будет выглядеть как ваша активность» для сайта. Учётные данные, по словам компании, хранятся в виртуальной машине, которую получает каждый пользователь, — это не централизованная инфраструктура Meta. Независимого подтверждения опасений Amazon насчёт учётных данных пока никто не публиковал — то есть сейчас это слово против слова.

У нас есть гайд о том, как настраивать robots.txt и sitemap.xml, хотя ни один из классических приёмов там не рассчитан на агентов без имени.

Суд уже ослабил главный инструмент для блокировки таких агентов

Тут уместен ещё один эпизод. В августе 2026-го Девятый апелляционный округ отказал Amazon в судебном запрете против Comet — агента покупок от Perplexity — и признал, что к сайту фактически обращается сам пользователь, а не разработчик агента. Решение ослабило Computer Fraud and Abuse Act (CFAA) как инструмент против подобных блокировок. Подробности механики разобрал Search Engine Journal.

На мой взгляд, в этой истории интереснее всего то, что ни одна из сторон пока не показала технических доказательств: Meta говорит о децентрализованном хранении данных, Amazon говорит о риске для клиентов, а проверить любое из этих утверждений со стороны пока нечем. В следующий раз, когда в сети появится очередной агент без задокументированного user-agent, сайтам снова придётся решать вслепую, полагаясь на слова обеих компаний.

Полезно по теме: Robots.txt и Sitemap.xml: настройка и типичные ошибки