Как Киберкошка измеряет AI-видимость

Область этой методологии

Страница описывает только те данные и вычисления, которые подтверждены текущей структурой Киберкошки. Она не объявляет отраслевой стандарт и не подменяет методику конкретного исследования.

В продукте есть:

• проект с настроенными сущностями, вопросами и AI-системами;
• отдельные запуски;
• ответы и технические статусы;
• упоминания бренда и конкурентов;
• позиции, контексты и тональность;
• источники и совпадения URL;
• сводки по выбранной выборке.

Любой отчёт должен начинаться с описания этой выборки.

Единица наблюдения

Минимальная содержательная единица — один сохранённый ответ:

вопрос × группа вопросов × AI-провайдер × запуск.

Дата и время берутся из запуска и самой записи ответа. Если вопрос был выполнен в нескольких AI-системах, это несколько наблюдений. Если тот же вопрос повторён в следующем запуске, это новое наблюдение.

Такое устройство позволяет:

• открыть исходный ответ;
• проверить найденное упоминание;
• сгруппировать ответы по провайдеру;
• сгруппировать ответы по задаче;
• сравнить несколько запусков, не теряя происхождение записи.

Сначала — полнота запуска

У запуска есть ожидаемые и выполненные задачи, ошибки и случаи без AI-ответа. Эти поля читаются до метрик видимости.

Если часть задач отсутствует, отчёт обязан сообщить это. Нельзя молча считать технический сбой отсутствием бренда.

Базовый показатель видимости

В проверенной сводке Киберкошки доступны:

• общее число ответов выбранного среза;
• число ответов, где найден бренд;
• число ответов, где упоминание прошло дополнительную валидацию;
• видимость бренда;
• валидированная видимость бренда.

Для публичного объяснения используется формула:

AI-видимость = ответы с валидированным упоминанием бренда / все ответы выбранного среза; результат выражается в процентах.

Например, если в срезе есть N ответов, а бренд подтверждён в B ответах, доля равна B / N и переводится в проценты.

Рядом с процентом нужно указывать:

• период;
• выбранные AI-провайдеры;
• группы вопросов;
• число ответов;
• применённые фильтры;
• полноту запуска.

Ответы с брендом и количество упоминаний — не одно и то же

В одном ответе может быть несколько событий упоминания. Поэтому Киберкошка хранит отдельно:

• responses_count — число ответов;
• brand_responses_count — число ответов с брендом;
• mentions_count — число событий упоминания;
• brand_mentions_count и competitor_mentions_count — события по типу сущности.

Для доли видимости знаменателем являются ответы. Счётчик событий нужен для исследования контекста и сущностей, но его нельзя подставлять вместо числа ответов с брендом.

Разрезы показателя

Киберкошка позволяет разложить выбранный срез:

По AI-провайдерам

Для каждой системы доступны число ответов, число ответов с брендом и видимость. Это важно, потому что системы дают разные ответы и используют разные источники.

По группам вопросов

Та же логика применяется к группам. Так можно увидеть, в каких пользовательских задачах бренд встречается, а в каких отсутствует.

По провайдерам внутри группы

Матрица связывает группу вопросов и AI-систему. Она помогает не скрывать локальный сигнал общим средним.

По конкурентам

Сводка конкурентов показывает количество упоминаний и количество ответов, в которых встречается каждая отслеживаемая сущность.

По источникам

Сводка источников агрегирует ссылки по доменам и провайдерам. Отдельная запись источника сохраняет URL, позицию и тип.

Как читать позицию и тональность

Позиция хранится у конкретного упоминания. Она показывает место сущности в размеченном ответе, но не является универсальной «позицией в ИИ»: разные ответы могут быть списками, абзацами или карточками.

Тональность также относится к конкретному упоминанию. Она полезна для фильтрации, но:

• не проверяет фактическую точность;
• не доказывает рекомендацию;
• не заменяет чтение контекста;
• зависит от качества автоматической разметки.

Поэтому спорный результат проверяется по исходному тексту ответа и сохранённому контексту.

Как измеряются собственные ссылки

Если в проекте настроены отслеживаемые URL, Киберкошка показывает для выбранного запуска статус найдено/не найдено и сводку:

найденные URL / все настроенные URL.

Кроме этого, у каждого источника доступны URL и домен, а в метаданных ответа — признаки связи с брендом, блогом или приложением.

На этой странице мы не называем это встроенным Citation Rate: в подтверждённой структуре есть source- и URL-сигналы, но универсальный коэффициент цитирования с единым знаменателем должен быть определён в конкретном отчёте.

Какие показатели требуют отдельного определения

Recommendation Rate, Query Coverage, Model Coverage и Stability полезны в отдельных исследованиях, но у них нет одного универсального знаменателя для всех задач. Перед расчётом нужно определить, что именно входит в показатель.

Их можно рассчитать в специальном исследовании, если заранее определить правила:

• что считать рекомендацией;
• какой набор вопросов является полным;
• какие AI-системы входят в выборку;
• сколько повторных запусков сравнивается;
• какие ошибки исключаются.

Пока таких правил нет в самом продукте, эти названия не должны выглядеть как готовые функции Киберкошки.

Как сравнивать два запуска

1. Выбрать два завершённых запуска.
2. Проверить ожидаемые, выполненные и ошибочные задачи.
3. Зафиксировать одинаковые группы вопросов и AI-провайдеров.
4. Сравнить ответы с брендом и видимость.
5. Разобрать новые и исчезнувшие упоминания.
6. Проверить изменения источников и конкурентов.
7. Повторить сбор, если сигнал появился только один раз.

Если состав вопросов или систем изменился, это другая выборка. Её можно анализировать, но нельзя выдавать за прямое продолжение прежнего процента без пояснения.

Допустимые и недопустимые выводы

Контроль качества отчёта

Перед публикацией результата нужно проверить:

• название и границы выборки;
• период и список провайдеров;
• группы вопросов;
• статус и полноту запуска;
• число ответов;
• числитель и знаменатель каждой доли;
• исходные ответы для спорных случаев;
• явное разделение факта, наблюдения и гипотезы.

Методология нужна не для красивого процента, а для того, чтобы другой человек мог понять, откуда он взялся и какой вывод поддерживает.