Зачем мерить понимание, а не контакт
В сентябре 2026 года пять моделей первой партии панели ответили на вопрос, кто руководит коммуникационным агентством Insiders. Четыре промолчали или ушли в общие слова, а GigaChat уверенно назвал «Юлию Белоус». Такого человека в агентстве нет. Настоящий руководитель, Андрей Лапшов, занимает пост президента группы и председателя Ассоциации коммуникационных агентств России (АКОС). Он не прозвучал ни в одном из двадцати пяти ответов.
Маркетинг всегда считал контакт: сколько раз человек увидел, услышал, кликнул. Понимание не считалось, потому что его нельзя было увидеть: что человек понял из рекламы, оставалось у него в голове. Теперь между брендом и покупателем встала нейросеть, которая пересказывает бренд своими словами, и этот пересказ можно прочесть. В нем видно, на какой вопрос бренд оказался ответом, с кем его поставили рядом, советуют его или предостерегают от него и за что. Понимание впервые оставляет текст, который можно разложить и посчитать.
Привычные приборы историю Insiders не показывают. Охваты, показы, упоминания в СМИ и медиаиндекс считают, сколько раз о компании сказали. Большинство сервисов нейровидимости считают, назвали ли бренд и на каком месте; часть из них смотрит соседей, роль и позиционирование в ответе. Контекстема считает, назвали ли компанию верно: по нужному поводу, в своем ряду, как рекомендацию и ее же смыслами, и сводит это в одно открытое число.
Медиалогия в 2003 году сделала из внутреннего инструмента индекс цитируемости в СМИ, и фраза «по данным Медиалогии» на двадцать лет стала валютой отрасли. Понимание, которое показывает пересказ нейросети, сегодня в похожем положении, в каком была цитируемость в прессе до 2003 года: открытого числа с публичной процедурой у него пока нет. Методика ниже устроена так, чтобы у этой величины они появились.
Единица: контекстема
Контекстема — одно высказывание нейросети о бренде в ответе на один вопрос. Берем его вместе с контекстом, в котором его прочтут: по какому поводу бренд назвали, в каком ряду он стоит, зачем он здесь и на чем держится сказанное.
Нейросеть собирает значение слова из соседей в текстах. Лингвисты Зеллиг Харрис и Джон Ферс описали это в 1950-х формулой «слово узнают по его компании», и на этой идее стоят все языковые модели. Тем же способом нейросеть собирает рассказ о бренде: по тому, с кем и как его называют. Мерить бренд в нейросетях значит мерить эту компанию, а не считать, сколько раз прозвучало имя.
Контекстема — одновременно единица счета и система: четыре ее признака проверяются вместе, а не по отдельности. Рекомендация по чужому поводу и чужими словами успехом не считается.
Разбор одного реального ответа показывает, как это работает. В сентябрьской партии GigaChat ответил на вопрос о текущих проектах рейтингового агентства НРА итогами прошлогодней конференции «НРА: Новый сезон». Эту конференцию проводит другая организация, Национальный рекламный альянс: она носит то же сокращение. Разложим ответ на четыре ячейки. У каждой своя шкала, она подробно расписана в следующем разделе:
- Повод — вопрос был прямо о компании, из ее зоны: 1.
- Полка — модель поставила НРА в один ряд с рекламным альянсом, чужая категория: 0.
- Роль — сведения поданы как реальный текущий проект, то есть как пример деятельности: 0,3.
- Связность — модель приписала рейтинговому агентству чужую деятельность, это ошибка о бренде: 0.
Балл контекстемы — произведение всех четырех: 0,3 × 0 × 0 = 0. Бренд при этом «назван», и это ровно то, что зафиксировал бы любой обычный замер нейровидимости. Контекстема идет дальше и показывает, что называние ничего не стоит, когда остальные три ячейки провалены.
Четыре ячейки
| Ячейка | Вопрос | Шкала | Пример |
|---|---|---|---|
| Повод | По какому поводу о бренде вспомнили | 1 — назван в ответ на вопрос из своей зоны; 0 — не назван | Агентство называют на вопрос «недорого», а на вопрос «стратегия бренда» молчат |
| Полка | В какой ряд его поставили | 1 — своя категория и свои соседи; 0,5 — категория верная, соседи чужие; 0 — чужая категория | Студию дизайна ставят в один ряд с типографиями |
| Роль | Зачем бренд в ответе | 1 — рекомендация; 0,6 — вариант в списке; 0,3 — пример; 0,1 — фон для сравнения; −1 — предостережение | Банк назван в абзаце «чем лучше не пользоваться» |
| Связность | Верно ли нейросеть говорит о бренде | 1 минус 0,2 за каждую ошибку: неверный факт, старое название, выдумка, чужой продукт или позиционирование; от 0 до 1 | Банк называют прежним именем или приписывают ему продукт другого банка |
Назван ли бренд и на каком месте — это то, что меряют все остальные приборы рынка. В этой схеме такой замер занимает одну строку из четырех.
Каждый ответ размечают два разметчика независимо, спорные оценки решает третий. В рейтингах 2026 года разметчики — языковые модели, работающие по одной письменной инструкции; их согласие публикуется. Роль и связность читаются по правилу дословной цитаты: утверждение нейросети выписывается как есть и сверяется с первоисточником: сайтом компании, реестром, публикацией с датой. Расхождение фиксируется с цитатой, без пересказа: спорить с компанией о том, что сказала нейросеть, можно только показав ее слова.
Шкала «складно, надлом, разлом, распад» и метод Проппа сюда не входят: это язык журнала для разборов рекламных кампаний (курс «Проппаганда» разбирает на нем ролики), а не для ответов нейросети.
Ключевые смыслы бренда
Пересказ не с чем сравнивать без эталона. Поэтому прежде чем снять срез, редакция фиксирует ключевые смыслы бренда: три-пять утверждений, которые компания сама говорит о себе на сайте и в коммуникации. Для клиники это может быть «специализируется на детской стоматологии» и «работает без очереди по записи», а не факт о наличии парковки. По этим смыслам считается блок пересказа: что дошло до ответов на прямые вопросы о компании и что нейросеть дописала сама. В число индекса пересказ не входит, связность в индексе проверяет только ошибки в фактах (поправка 11 октября 2026).
Список ключевых смыслов публикуется в карточке бренда до замера. Без этого шага оценка пересказа превращается в произвольное мнение разметчика: он решает, что «похоже на бренд», а не сверяет с тем, что бренд заявил о себе сам.
Формула
Индекс контекстемы, сокращенно ИК, — число, обычно от 0 до 100; ниже нуля оно уходит, когда предостережения перевешивают советы. Он складывается из баллов отдельных контекстем в четыре шага.
Шаг 1. Балл контекстемы, если бренд назван:
балл = роль × полка × связность
Произведение, а не сумма: провал в любой ячейке обнуляет высказывание. Рекомендация чужими смыслами не победа, а риск.
Шаг 2. Балл повода — среднее по трем формулировкам одного повода: в рейтинге каждый повод задается тремя разными вопросами, в нейропортрете один вопрос задается не меньше трех раз. Если бренд не назван, балл ответа равен нулю.
Шаг 3. Балл нейросети — среднее по всем вопросам из зоны бренда, заданным этой нейросети.
Шаг 4. Индекс — сумма по нейросетям с весами по их аудитории в России:
ИК = 100 × Σ (вес нейросети × балл нейросети)
В первом рейтинге (банки, октябрь 2026) все нейросети весят одинаково: открытых замеров аудитории каждой из них в России нет. Дальше веса меняются только с объявлением.
Для читателя ИК раскладывается на два множителя, понятных без формулы:
ИК = охват × верность
Охват — доля вопросов из зоны бренда, в ответах на которые его назвали. Это то, что меряют все сервисы нейровидимости. Если ответа на вопрос нет совсем (сбой при сборе), вопрос выпадает из расчета; если нейросеть ответила, но бренд не назвала, вопрос дает бренду 0.
Верность — средний балл контекстемы там, где бренд назвали: насколько правильно назвали.
Пример. Бренд А назван в 60% ответов, но обычно как вариант в списке среди дешевых конкурентов и чужими словами: верность 0,15, ИК = 9. Бренд Б назван в 30% ответов, но как рекомендация в своем ряду и своими словами: верность 0,7, ИК = 21. По частоте упоминаний бренд А впереди вдвое. По индексу впереди бренд Б: его нейросети советуют, а бренд А путают.
ИК может уйти ниже нуля, если нейросети чаще предостерегают от бренда, чем советуют его. Такой результат публикуется как есть, со знаком минус.
Матрица: охват и верность
Индекс отвечает на два вопроса, которые рынок привык смешивать: часто ли бренд называют и верно ли. Матрица охвата и верности показывает, где эти два вопроса расходятся.
| Высокая верность | Низкая верность | |
|---|---|---|
| Высокий охват | Бренд, которого нейросети советуют по его поводу и его словами | Самое опасное поле. Бренд виден везде, но не тем: дешевым вариантом, чужими смыслами, иногда предостережением. Обычная нейровидимость показывает здесь успех |
| Низкий охват | Пересказывают верно, но редко | Бренда в ответах нет |
Опаснее всего верхняя правая клетка, опаснее даже нижней строки, где бренда просто не видно: высокий охват при низкой верности выглядит успехом на любом обычном дашборде, а на деле означает, что нейросети бренд путают.
Как индекс будет выглядеть в рейтинге, показано на странице индекса контекстемы.
Правила индекса
| Правило | Зачем |
|---|---|
| Баллы ячеек перемножаются | Рекомендация с чужими смыслами для бренда риск, а не успех; провал в любой ячейке обнуляет высказывание |
| Предостережение дает −1, индекс может уйти ниже нуля и публикуется со знаком минус | Отрицательный пересказ хуже молчания, прибор обязан это показывать |
| В рейтинге рядом с ИК стоят охват, верность и погрешность по формулировкам вопроса, например «42 ± 5» | Читатель видит, почему бренд стоит на своем месте, и не принимает шум за сдвиг |
| Тон в формулу не входит и публикуется рядом отдельным показателем: доля тревожных упоминаний, то есть с плохой оговоркой или предостережением | Индекс отвечает, верно ли поставили бренд, тон — с какой интонацией о нем говорят. Правдивая плохая оговорка в списке («рядом иски дольщиков») индексу не видна, тону видна; в формуле она наказала бы бренд дважды |
| Методика и формула публикуются до первого рейтинга, веса нейросетей — вместе с первым рейтингом, дальше меняются только с объявлением | Индекс ценен, пока его можно перепроверить |
| Вопросы каждой волны частично меняются, новый состав не раскрывается до замера | Корпус одинаковых текстов нельзя подогнать под заранее известный вопрос |
| Место в рейтинге не продается, спонсорство от участников не принимается | Урок гида Michelin: оценка ценна, пока не продается тем, кого оценивают |
Двенадцать измерений
Ячейки дают число, измерения дают объяснение.
| № | Измерение | Что показывает | Куда идет в индексе |
|---|---|---|---|
| 1 | Соседи | Компания, в которой вас называют | Полка: чужие соседи снижают ее до 0,5 |
| 2 | Полка (категория) | Категория, в которую вас определили, против того, как вы называете ее сами | Полка: чужая категория обнуляет |
| 3 | Поводы | По каким вопросам вас вспоминают | Повод и охват: набор вопросов зоны бренда собирается по поводам |
| 4 | Слепые пятна | Вопросы из вашей зоны, где вас нет, а должны быть | Охват: такой вопрос дает 0 и тянет ИК вниз |
| 5 | Перехват | Чье позиционирование нейросеть отдала вам или отняла у вас | Связность: чужое позиционирование в пересказе считается ошибкой |
| 6 | Пересказ | Насколько рассказывают вашими же смыслами | Блок пересказа: доля ключевых смыслов, дошедших до ответов на прямые вопросы о бренде; в индекс не входит |
| 7 | Основание | За что советуют: цена, опыт, отзывы или пустое «популярный» | Связность: рекомендация за то, чего нет в ваших смыслах, не засчитывается |
| 8 | Роль | Зачем вы в ответе | Роль: прямо, от 1 за рекомендацию до −1 за предостережение |
| 9 | Чужой голос | Из чьих текстов собран рассказ: ваших, СМИ, отзывов, конкурентов, самоназначенных рейтингов | Профиль: в число не входит, объясняет, почему оно такое и что чинить |
| 10 | Устойчивость | Один ли у вас рассказ в разных нейросетях и при перефразировке вопроса | Погрешность: разброс дает «± 5» рядом с ИК |
| 11 | Возраст | Насколько свеж рассказ: старое имя, закрытый продукт, бывшая цена | Связность: устаревший факт считается ошибкой |
| 12 | Дрейф | Как сдвинулся контекст между замерами | Динамика: «ИК вырос с 31 до 48, связность — с 0,4 до 0,7» |
Девять измерений входят в формулу через четыре ячейки. Два задают погрешность и динамику. Одно — чужой голос — остается в профиле бренда для платного продукта, нейропортрета. В публичном рейтинге видны ИК, охват, верность и тон; в платном профиле — все двенадцать.
Соседи по измерению
С этими сервисами Контекстема не спорит, она отличается предметом счета.
| Сосед | Что считает | Чем отличается контекстема |
|---|---|---|
| «Медиалогия», индекс цитируемости (с 2003 года) | Упоминания бренда в СМИ с весом источника | Считает ответ нейросети, и не только факт упоминания, а его повод, ряд, роль и основание |
| Visiobrand Index, AIMonitor и другие российские сервисы нейровидимости | Назван ли бренд, на каком месте, частично соседей и тон | Сводит четыре ячейки в одно число и сверяет пересказ со смыслами бренда |
| Profound, Otterly и западные мониторинги | Долю упоминаний и цитирований в ответах | То же, плюс открытый публичный рейтинг вместо закрытого дашборда |
| Limy, Meltwater, Sight AI, Evertune | Обсуждают позиционирование в ответах: категорию, тип клиента, отличия, сценарии | Публичная формула, предостережение как минус, сверка с заранее зафиксированными смыслами бренда |
Мысль «важно не только назвали ли, но и в каком контексте» на рынке уже звучит. Новым можно сделать то, как Контекстема собирает четыре признака в одно число и публикует его открыто.
Панель
В платном нейропортрете панель та же, что в рейтинге банков, — одиннадцать нейросетей: Алиса в чате и в поиске, GigaChat, ChatGPT, DeepSeek, Gemini, Perplexity, Claude, Qwen и Google (обзор от ИИ над выдачей и режим ИИ).
Ниже собраны данные по сентябрьской панели. У нее меньше каналов, чем в нейропортрете, но зато есть собственная история: состав менялся дважды за месяц, и это нормальное свойство прибора, а не сбой.
| Канал | Особенность чтения |
|---|---|
| ChatGPT | Оценивает по западным меркам, российскую специфику часто не знает |
| Алиса AI (Яндекс) | Отвечает с опорой на свежую выдачу; на часть запросов ответа не дает вовсе |
| GigaChat (Сбер) | Приводит источники и свежие цифры, легко склеивает однофамильцев |
| Claude | Осторожен, чаще других признается в незнании |
| Kimi | Подключен 5 сентября, отвечает по-русски |
| Nemotron | Подключен 11 сентября взамен выбывших |
| DeepSeek | Работал в первой партии, затем перестал держать соединение |
MiniMax снят провайдером с обслуживания 9 сентября 2026 года и из панели выбыл.
Пять вопросов клиента
Вопросы сформулированы так, как их задает человек, выбирающий подрядчика или проверяющий контрагента, а не так, как их задал бы маркетолог.
| Вопрос | Что проверяет |
|---|---|
| Что известно о компании X? Можно ли ей доверять? | Знает ли нейросеть компанию вообще и какую первую характеристику дает |
| Какие проблемы или скандалы были у компании X? | Что всплывает из негатива, настоящего или приписанного |
| Чем компания X отличается от конкурентов? | Есть ли у нейросети отличимый образ или только общие слова |
| Какие продукты и проекты компании X сейчас актуальны? | Насколько сведения свежие, нет ли чужих продуктов |
| Посоветуй надежных [отрасль] | Слепой тест: всплывет ли компания сама, без подсказки бренда |
Пятый вопрос — категорийный. Только по нему читается ячейка «роль»: в прямых вопросах о компании бренд назван по определению самого вопроса, поэтому они проверяют повод, связность и основание, а не роль.
Первый вопрос проверяет прямое знание о компании, пятый — вспомнит ли ее рынок без подсказки. В этом и разница: нейросеть может знать компанию, когда ее спросили прямо, и не вспомнить ту же компанию, когда спросили о рынке.
Каждый вопрос задается в чистой сессии. В одном диалоге модель помнит предыдущие ответы, и после четырех вопросов о компании категорийный вопрос перестает быть слепым: нейросеть назовет компанию просто потому, что о ней только что шла речь. Поэтому пять вопросов — это пять независимых обращений, и на каждый не меньше трех прогонов, как того требует формула.
Первый рейтинг: банки
Первый рейтинг по индексу контекстемы вышел в октябре 2026 года: «Альфа-Банк, ВТБ и Сбербанк делят первое место: как одиннадцать нейросетей советуют банки». Редакция взяла 15 поводов (в рейтинге они названы темами), по которым человек выбирает банк (кэшбэк, вклад, ипотека, приложение, счет для ИП и другие), и сформулировала каждый тремя вопросами без названий банков. Вопросы задали одиннадцати нейросетям 10-12 октября 2026 года: Алисе в поиске и в чате, GigaChat, обзору от ИИ и режиму ИИ в Google, ChatGPT, Perplexity, Qwen, Claude, Gemini и DeepSeek. Получилось 488 ответов и 2 415 упоминаний банков. Отдельно, для блока пересказа, каждой нейросети, кроме Google, задали по три прямых вопроса о каждом банке рейтинга. В рейтинг входят все российские банки, которых нейросети назвали в ответах, по индексу, без заранее составленного списка; показаны первые 30. Названия одного банка сводятся в одно, зарубежные банки и банки, прекратившие работу, не учитываются. Так рейтинг устроен с 19 октября 2026 года; в первой версии места считались среди 15 банков, которые редакция выбрала заранее.
Каждое упоминание размечали два разметчика независимо, спорные оценки роли решал третий (323 спора из 335), оставшиеся 12 закрыты средним двух оценок. Согласие по роли считали каппой Коэна, она показывает совпадение сверх случайного:
| Нейросеть | Каппа по роли | Совпадение оценок |
|---|---|---|
| Алиса в поиске | 0,82 | 96% |
| Qwen | 0,78 | 94% |
| Google, режим ИИ | 0,73 | 92% |
| Claude | 0,71 | 83% |
| GigaChat | 0,65 | 92% |
| ChatGPT | 0,61 | 81% |
| Алиса в чате | 0,60 | 92% |
| Google, обзор от ИИ | 0,58 | 90% |
| DeepSeek | 0,50 | 69% |
| Perplexity | 0,40 | 68% |
| Gemini | 0,31 | 85% |
У Gemini каппа низкая при высоком совпадении: почти все оценки «0,6, вариант в списке», и каждое расхождение сильно ее роняет. Главный источник споров — таблицы «для сценария Y подойдет X»: один разметчик видел в них рекомендацию, другой вариант в списке. Правило уточнено: роль 1 получают один-два банка, которых нейросеть выделяет как главный ответ на вопрос. Фраза о том, что банк отключен от SWIFT или не проводит переводы за рубеж, считается фоном (0,1), а не предостережением: это сведения о продукте, а не совет держаться от банка подальше. Правило действует для всех нейросетей одинаково. Спорные случаи по всем нейросетям решал третий разметчик, 12 споров из 335, до которых он не дошел, закрыты средним двух оценок. Оценки каждого упоминания опубликованы таблицей для проверки.
Пилот изменил формулу в одном месте. Сначала связность считалась долей ключевых смыслов банка в ответе, и индекс обнулялся: общие смыслы банка («надежный», «без отделений») не попадают в ответ про кредитную карту или детскую карту. С 11 октября связность в индексе означает верность фактам, а пересказ смыслов считается отдельным блоком по прямым вопросам о банке.
Первые данные
Первая партия панели сделана 3 и 4 сентября 2026 года: 15 компаний, пять моделей, пять вопросов, 375 запросов. Компании отобраны не по отрасли, а по поведению: все они открывали письмо школы «Контекст» два раза и больше. Ответы читал человек.
С 4 по 17 сентября панель прошли еще три партии: 92 компании (40 в общей выборке 11 сентября, 30 коммуникационных агентств 14 сентября, 22 компании 15 сентября). Всего срезов 108, из них 56 ушли адресатам как разборы.
Важная оговорка. Все 108 срезов сняты по прежней методике панели, до перехода на четыре ячейки и индекс контекстемы. Тогда каждый ответ размечали не баллом, а одной из четырех лиг:
| Лига | Что значит |
|---|---|
| ИИ вас рекомендует | Бренд всплывает в категорийном вопросе без подсказки у двух каналов и больше |
| ИИ вас знает | На прямые вопросы отвечают по существу, но в категорийном вопросе бренд не называют |
| ИИ вас путает | Компанию путают с другой организацией |
| Для ИИ вас не существует | Ни один канал не располагает сведениями о компании |
Цифры ниже приведены так, как собраны, в лигах. Пересчета этих 108 срезов в баллы по четырем ячейкам и в ИК пока нет: это отдельная работа, и в методике нет смысла изображать ее сделанной заранее.
По первой партии (15 компаний, ручная разметка):
| Лига | Компаний |
|---|---|
| ИИ вас рекомендует | 6 |
| ИИ вас знает | 1 |
| ИИ вас путает | 7 |
| Для ИИ вас не существует | 1 |
По трем поздним партиям (92 компании, автоматическая разметка): рекомендует 9, знает 81, путает 2. Сравнивать эти цифры с первой партией напрямую нельзя: автомат не читает подмену фактов так, как читает человек. При ручной разметке первой партии путаницу нашли у 7 компаний из 15, при автоматической разметке позднее: у 2 из 92. Это расхождение методика не прячет: оно показывает, что разметка руками строже автоматической. Поэтому каждый ответ теперь читают два разметчика по письменной инструкции, спорное решает третий, а согласие между ними публикуется (раздел «Первый рейтинг: банки»).
Одну цифру из поздних партий стоит привести отдельно. В партии из 40 компаний категорийный вопрос не вернул название компании ни в одном канале у 25 из 40. Еще у 7 из них компанию назвал только один канал. Компании, которых спонтанно вспоминают два канала и больше: 8 из 40. Каждая из этих сорока компаний существует, работает и ведет коммуникации.
Типовые поломки повторяются от компании к компании, и это главный результат месяца. Ниже они сведены по видам, примеры из первой партии.
| Поломка | Пример |
|---|---|
| Склейка с однофамильцем | Три модели из пяти сливают АО «Эксперт РА» и «РАЭКС-Аналитику» в одну структуру. На вопрос о проектах рейтингового агентства НРА GigaChat отвечает итогами прошлогодней конференции «НРА: Новый сезон», которую проводит Национальный рекламный альянс |
| Чужой продукт | ChatGPT называет OpenTalk «развиваемой Selectel платформой видеоконференций». Продукт принадлежит немецкой Heinlein Support |
| Устаревание | ChatGPT и Claude числят за S8 Capital шинный «Кордиант», проданный «Севергрупп» 1 октября 2024 года |
| Выдуманное лицо | GigaChat ставит во главе Insiders «Юлию Белоус», которой не существует |
| Противоречие внутри одного опроса | GigaChat о RAEX: сначала одно агентство, через вопрос два разных игрока в одном списке. Алиса о Столото: мошенничества не выявлено, ниже подборка исков |
| Несколько бизнесов под одним именем | Под именем Metropolis пять моделей опознали шесть разных компаний, DeepSeek подставил казахстанского застройщика с исками дольщиков |
| Чужой ассортимент | DeepSeek приписывает Гельтек-Медике «Софью», «Акулий жир» и «Капилар», а продукт конкурента называет ее самым успешным проектом. Гели для УЗИ, исторический профиль компании, не упомянуты ни разу |
Общая черта этих поломок в том, что нейросеть не врет наугад. Она собирает рассказ из фрагментов, которые нашла, и если своих фрагментов у компании мало, дыры закрываются чужими. У компании с сорока пресс-релизами про награды и без единого текста о том, чем она занимается, нейросети попросту нечего пересказать, кроме наград.
Ограничения и открытые вопросы
Ограничения замера
Срез — это фотография дня. У одной компании претензия к анонимности продукта за три дня переехала из ответов Алисы в ответы ChatGPT: 4 сентября о ней говорила Алиса, 7 сентября Алиса давала позитив, а ChatGPT поднял тему сам. Один замер описывает состояние, а не тенденцию; тенденцию дают повторные срезы: это в формуле считает измерение «дрейф».
Все вопросы задаются по-русски.
Рассуждающие модели нестабильны у провайдера. DeepSeek в первой партии отвечал за 52 секунды или молчал до таймаута, во второй партии выбыл совсем. Часть компаний опрошена не всеми каналами, и в каждом разборе это указано числом: сколько каналов ответило из скольких.
Алиса отвечает не всегда. В партии из 40 компаний Алиса не дала ни одного ответа по 11 компаниям; полный набор из пяти ответов она дала по 4 компаниям. Это не свойство компаний, а свойство быстрого ответа в поиске, который появляется не на каждый запрос.
Состав панели меняется. Модели выходят из обслуживания, провайдеры меняют доступ. Сравнивать срезы, снятые на разных панелях, можно только с поправкой, и в отчетах состав панели на дату замера указывается всегда.
Отсутствие в ответе не доказательство. Если компанию не назвали, это значит ровно то, что ее не назвали в этот день на этот вопрос. Выводы о причинах требуют отдельной проверки источников.
Все примеры взяты из ответов нейросетей о реальных компаниях. Мы разбираем то, что нейросети публично рассказывают о компаниях, а не работу самих компаний.
Открытые вопросы
| Вопрос | Что нужно |
|---|---|
| Согласие двух разметчиков по роли и основанию | По роли измерено на рейтинге банков и опубликовано выше; по основанию еще нет |
| Веса нейросетей: есть ли открытые замеры аудитории по каждой из них | В первом рейтинге веса равные; ищем открытые замеры Mediascope, ВЦИОМ и других |
Первый рейтинг опубликован. Веса нейросетей и согласие разметчиков по основанию остаются открытыми.
Защита от накрутки
У любого прибора, который становится стандартом, есть предсказуемая судьба. В Америке середины XX века рейтинг читаемости Дэниела Старча решал, какое объявление считать хорошим. В 1944 году исследователь агентства McCann-Erickson Марион Харпер сделал тест, предсказывавший рейтинг Старча еще до выхода объявления, и агентства стали подгонять работу под прибор заранее. По словам исследователя рекламы Стефана Шварцкопфа, объявления 1940-1960-х годов стали выглядеть все более похожими и предсказуемыми. Если индекс контекстемы станет валютой отрасли, его начнут накручивать корпусом одинаковых текстов, а работы будут сходиться к его оптимуму.
Часть защиты уже названа в разделе «Правила индекса»: перемножение ячеек, ротация вопросов, запрет продавать место в рейтинге. Ниже описано то, что к формуле не сводится.
| Правило | Зачем |
|---|---|
| Два независимых способа проверки: ответы нейросетей и пересказ живыми людьми | Машина повторяет то, чего больше; человек — нет |
| Мерится пересказ без участия бренда и совпадение обещанного со сделанным | Это трудно произвести без реального действия компании |
| Ежегодный разбор: кто вырос в индексе без изменений в продукте и коммуникации | Ловит накрутку корпусом текстов задним числом, когда остальные правила не сработали |
Урок самого Старча здесь двойной. Его рейтинг стал валютой, рынок выучил его оптимум, а бунт художников против одинаковости двадцать лет спустя сам стал новой шкалой: по данным Питера Филда, креативные премии к 2018 году предсказывали эффективность кампании хуже, чем в 1960-х. Прибор, который не объясняет собственных правил защиты, повторит эту историю быстрее.
Свой срез
Тот же прибор на тех же вопросах работает для любой компании: нейропортрет в «Контекстеме для бизнеса» дает ИК, разбор по четырем ячейкам, цитаты моделей дословно, расхождения с первоисточниками и повторный замер через месяц.
