У кошику порожньо!
Два трекери ШІ-пошуку дали одному бренду 41% і 23% видимості

- Майк Кінг з iPullRank пише, що в ШІ-пошуку немає єдиного «правильного» значення видимості, з яким можна було б звірити трекер.
- Відповіді моделей випадкові, тому єдиний запуск промпта нічого не гарантує, а надійність дає лише кількість повторів.
- Два трекери можуть показати 41% і 23% для одного бренду, і обидва будуть по-своєму «правильні».
Ситуація, яку описує Майк Кінг у iPullRank, знайома кожному, хто купував такі інструменти. У клієнта працюють дві платформи видимості в ШІ. Одна каже, що бренд з'являється у 41% важливих промптів, друга — у 23%. Хтось із маркетингу має вписати цифру в презентацію для ради директорів, і питання, яка з них правильна, звучить щотижня.
Чому «точності» тут не існує
У класичного трекінгу позицій є еталон: сторінка стоїть на четвертому місці або ні. У ШІ-відповідей еталона немає. Модель відповідає випадково, з поправкою на контекст користувача, параметри моделі й момент, коли вона звернулась до пошуку. Кінг пропонує дивитися на це як на опитування громадської думки: ніхто не питає, чи «точне» опитування, питають, чи стабільна методика.
Цифри, які він наводить, добре це ілюструють. За дослідженням Майка Сондерса, зі ста запусків ChatGPT лише близько 11% брендів з'являлись у 80% і більше відповідей на промпт. Раніше інше дослідження показало, що 72% згаданих брендів траплялись менш ніж в одній відповіді з п'яти. Semrush знайшла лише 25% збігу доменів між режимами Instant і Thinking в ChatGPT.
Рішення в методиці, що ламають порівняння
Розбіжність між двома інструментами часто пояснюється не помилкою, а різним вибором, який зробили їхні автори.
| Рішення | Що міряється |
|---|---|
| API або скрейпінг | Поведінка моделі в контрольованих умовах проти того, що бачить користувач у інтерфейсі |
| Без входу або із входом | Чистий базовий рівень проти персоналізації, яку може забруднити історія акаунта |
| Один запуск або багато | Ненадійне так/ні проти частки з розрахованою похибкою |
Іншими словами, два трекери — це два різні прилади, що міряють різні розподіли. Порівнювати їхні числа між собою так само безглуздо, як складати температуру за Цельсієм і Фаренгейтом. Схожу картину ми розбирали в тексті про метрики ШІ-пошуку, які варто відстежувати: без спільних правил підрахунку числа перестають бути метрикою.
Що спитати в постачальника й що робити зі своїм трекінгом
Кінг радить на демо питати про спосіб збору, стан акаунта, вибір моделі, географію запитів і про те, що саме вважається «згадкою». Просити журнал змін методики й сирі відповіді. Якщо міряєте самі, зафіксуйте конфігурацію, робіть достатньо повторів, щоб побачити реальний бізнес-ефект, і зіставляйте видимість із рефералами, конверсіями та логами. Змінили методику посеред року — тренд зламано, і порівнювати з минулим кварталом уже не можна.
Для українського ринку тут є ще одне ускладнення, якого в оригіналі немає. Більшість трекерів збирає відповіді з англомовних чи американських IP, тоді як ваші клієнти питають українською й нерідко з мобільного. Тому перед тим, як вносити цифру видимості до звіту, з'ясуйте, у якій мові й з якої країни її зібрано. Про те, як вимірювати це на практиці, ми писали в гайді з видимості в ШІ-пошуку.
Сподіваюся, що наступного разу, коли хтось покаже «41%», його спитають ще й про довірчий інтервал. Я ставлю на те, що більшість постачальників на це питання одразу дістануть слайд із чимось іншим.


