Как Intendity измерва видимостта при AI търсене.

Единичен отговор е анекдот. Много отговори са сигнал.

Генеративните модели са недетерминистични по дизайн. Един и същи промпт, зададен два пъти в една и съща минута, може да върне различни брандове, различни формулировки, различни цитати. Всяка рамка за измерване, третираща единичен отговор като абсолютна истина, ще заблуди.

Intendity третира AI видимостта като разпределение при много изпълнения. Всяка метрика в таблото е обобщение на матрицата (промпт × модел × регион) за даден ден. Дневен резултат за видимост 64 означава: от всички промптове, пуснати на всички следени модели през последните 24 часа, брандът е назован в 64% от тях. Дисперсията се поглъща от средната стойност; тенденцията за седмици разкрива реалния сигнал.

Ето защо смислената AEO програма изисква ежедневна автоматизация. Ръчните проверки под-вземат извадки; малките набори от промптове под-покриват пътя на купувача; проверките с един модел пропускат начина, по който отговорите се различават между доставчиците.

Шест структурирани сигнала на (промпт × модел) изпълнение.

Всяко изпълнение произвежда един ред в таблицата runs (суров отговор на модела, статус, версия на модела, регион) и един ред в таблицата mentions (парснатият анализ по-долу). И двете се пазят вечно на Pro планове.

Метаданните на изпълнението (версия на модела, регион, времева марка, флаг за режим на сърфиране) се улавят отделно, така че историческите сравнения остават равнозначни при актуализации на модела.

LLM базиран парсер с оценяване на достоверност.

Наивният подход на string-match за открива на споменавания се разпада при три класа входове: двусмислени имена на бранд, припокриващи се с общ език (бранд, наречен "Apex", съответстващ на несвързан текст), псевдоними ("Acme Corp" срещу "Acme") и непреки препратки ("водещият корпоративен CRM в Европа", сочещ конкретен бранд без да го назовава).

Парсерът на Intendity е базиран на LLM. За всяко изпълнение суровият отговор на модела плюс регистрираното название на бранда, псевдонимите, домейна и контекста на категорията се подават на парсера, който произвежда структуриран изход: назован ли е брандът, където, редом с кои конкуренти, с какво настроение, цитирайки кои извори, с каква достоверност.

Резултатите за достоверност са от 0 до 100. Резултат над 80 показва недвусмислено, назовано споменаване. Резултатите между 50 и 80 обикновено отразяват случаи с псевдоним или непряка препратка. Резултатите под 50 са маркирани за преглед и изключени от изчисленията по подразбиране. Напредналите потребители могат да регулират прага или да видят куп с ниска достоверност.

Съгласието с ръчно кодирани базови линии е над 90% при наборите от промптове, с които сме измервали. Граничните случаи — особено непреки препратки и кратки двусмислени имена на бранд — са активна зона за подобрение.

Три метрики, всички дефинирани.

Всяка метрика в таблото е публикувана. Без черни кутии.

visibility_score(ден) = 100 × mentioned_runs(ден) / total_runs(ден)

share_of_voice = brand_mentions / (brand_mentions + sum(competitor_mentions))

citation_coverage = positioned_source_urls / total_cited_source_urls

Ежедневна автоматизация, изпълнения при поискване, улавяне на версия.

Pro акаунтите пускат всеки активиран промпт срещу всеки активиран модел всеки ден по подразбиране. Ръчните изпълнения при поискване са неограничени. Безплатните акаунти пускат ръчно с дневна горна граница; резултатите все пак се запазват, но историята е съкратена до 3-дневен прозорец.

Всяко изпълнение улавя низа на версията на модела, върнат от доставчика. Когато OpenAI пусне нов GPT, Anthropic пусне нов Claude или Google завъртне показалеца Gemini Pro, промяната е видима в таблицата с изпълнения и линиите на тенденция остават интерпретируеми при прехода.

Регионът по подразбиране е основният пазар на бранда. Проследяването в множество региони се поддържа на Pro и се препоръчва за всеки бранд, опериращ в повече от една страна — AI отговорите варират по език и locale, понякога драматично.

Как изглеждат 360 реални споменавания.

Числа от скорошна седмица изпълнения по нашите най-ранни тестови акаунти (2 акаунта, 6 бранда, смесени категории — румънски местни услуги и корейски грижа за кожата). Малка извадка, умишлено пристрастна смес от категории. Показваме я, защото алтернативата — непрозрачни страници за методология от типа "довери ни се" — е по-лоша. Това не са индустриални показатели. Те са доказателства, че системата произвежда структурирани данни с формата, описана по-горе.

По-голям, умишлено проектиран изследователски проект в рамките на единична дефинирана категория (~30 промпта × 4 модела × 14 дни) е в ход; резултатите ще бъдат публикувани на /bg/blog при завършване.

Какво не прави тази методология.

Заявено изрично, тъй като алтернативата е купувачите да ги открият по-късно:

• Размер на извадката. Набор от промптове от 10 промпта × 4 модела × 1 регион произвежда 40 изпълнения/ден. Достатъчно за проследяване на тенденцията, недостатъчно за открива малки разлики. Препоръчват се набори от 30+ промпта за стратегически решения.
• Непреки препратки. Отговорите, описващи бранд без да го назовават ("водещата корпоративна платформа в тази сфера"), се улавят частично от LLM парсера с по-ниска достоверност. Чисто непреките споменавания остават под-изброена гранична ситуация.
• Дисперсия от страна на доставчика. Отговорите на API на доставчика понякога се различават от отговорите, видими в приложения за потребители (различни настройки по подразбиране, различни сигнали за класиране). Intendity използва API на доставчика; абсолютните числа може да се различават от ръчната проверка на купувача в приложението, въпреки че тенденциите корелират.
• Без причинно-следствено приписване. Препоръка, доставена на 1-ва седмица, и процент на споменаване, нарастващ на 4-та седмица, са корелация, не доказателство. Множество променливи се движат едновременно. Ние извеждаме данните; приписването е преценката на ръководителя на програмата.
• Корекцията на халюцинации е на ниво извор. Intendity не моли модела да забрави лоша информация. Ние извеждаме основния извор, на който разчита моделът (остарял параграф в Wikipedia, остаряла нишка с рецензии), и препоръчваме корекцията на ниво извор. Актуализациите на извора се разпространяват в отговорите на модела в рамките на 1–6 седмици след повторното обхождане.