Metodika

Jak Intendity měří viditelnost v AI vyhledávání.

Kompletní metodika za každou metrikou v přehledu. Spouštění promptů, detekce zmínek, skóre viditelnosti, share of voice, pokrytí citací. A omezení měření, výslovně uvedená.

Filosofie měření

Jedna odpověď je anekdota. Mnoho odpovědí je signál.

Generativní modely jsou nedeterministické záměrně. Stejný prompt položený dvakrát ve stejnou minutu může vrátit různé značky, různá znění, různé citace. Jakýkoli rámec měření, který zachází s jednou odpovědí jako s absolutní pravdou, uvádí v omyl.

Intendity zachází s AI viditelností jako s distribucí přes mnoho spuštění. Každá metrika v přehledu je agregát přes matici (prompt × model × region) v daném dni. Denní skóre viditelnosti 64 znamená: ze všech promptů spuštěných na všech sledovaných modelech za posledních 24 hodin bylo jméno značky zmíněno v 64 % z nich. Variance je absorbována průměrem; trend přes týdny odhaluje skutečný signál.

Proto smysluplný AEO program vyžaduje denní automatizaci. Ruční kontroly podvzorkují; malé sady promptů nepokrývají cestu kupujícího; kontroly na jednom modelu ztrácejí způsob, jakým se odpovědi liší mezi poskytovateli.

Co zachycujeme na spuštění

Šest strukturovaných signálů na spuštění (prompt × model).

Každé spuštění produkuje řádek v tabulce runs (surová odpověď modelu, stav, verze modelu, region) a řádek v tabulce mentions (strukturovaná analýza níže). Obě jsou uchovávány neomezeně na plánech Pro.

  • Stav zmínky

    Zda byla sledovaná značka pojmenována v odpovědi. Boolean. Napájí výpočty míry zmínek.

  • Pozice

    Kde v odpovědi se značka objevuje. První pojmenovaná značka kotví sadu zvažování; následné zmínky jsou pro odvozené metriky váženy odlišně.

  • Sentiment + skóre

    Pozitivní, neutrální nebo negativní klasifikace se skórem 0–100. Zachycuje, zda je vysoká míra zmínek dobrá zpráva nebo problém brand safety.

  • Citované zdroje

    Každý URL inline citovaný modelem. Wikipedie, vlákna Reddit, odborný tisk, přehledové články, vaše stránky. Napájí analýzu pokrytí citací.

  • Zmínky konkurentů

    Každá jiná značka pojmenovaná ve stejné odpovědi, s pozicí a sentimentem. Napájí share of voice.

  • Výňatek kontextu

    Přesné 1–2 věty obklopující zmínku značky, doslova. Používáno pro detekci halucinací a kvalitativní přezkum.

Metadata spuštění (verze modelu, region, timestamp, příznak procházení) jsou zachycena samostatně, aby historická srovnání zůstala srovnatelná přes aktualizace modelů.

Detekce zmínek

Parser založený na LLM se skórem spolehlivosti.

Naivní přístup string-match pro detekci zmínek selhává na třech třídách vstupů: nejednoznačná jména značek překrývající se s běžným jazykem (značka nazvaná 'Apex' odpovídající nesouvisejícímu textu), aliasy ('Acme Corp' vs 'Acme') a nepřímé reference ('přední enterprise CRM v Evropě' ukazující na konkrétní značku bez jejího pojmenování).

Parser Intendity je založen na LLM. Pro každé spuštění jsou surová odpověď modelu plus registrované jméno značky, aliasy, doména a kontext kategorie předány parseru, který produkuje strukturovaný výstup: zda byla značka pojmenována, kde, vedle jakých konkurentů, s jakým sentimentem, citujíc jaké zdroje, s jakou spolehlivostí.

Skóre spolehlivosti jsou 0–100. Skóre nad 80 označuje jednoznačnou, pojmenovanou zmínku. Skóre mezi 50 a 80 typicky odráží případy alias nebo nepřímé reference. Skóre pod 50 jsou označena k přezkumu a vyloučena z výchozích výpočtů metrik. Pokročilí uživatelé mohou upravit práh nebo odhalit zásobník s nízkou spolehlivostí.

Shoda s ručně kódovanými základními liniemi přesahuje 90 % v měřených sadách promptů. Hraniční případy – zejména nepřímé reference a krátká, nejednoznačná jména značek – jsou aktivní oblastí zlepšení.

Vzorce skórování

Tři metriky, všechny definované.

Každá metrika v přehledu je zveřejněna. Žádná black box.

Skóre viditelnosti

Denní agregát 0–100. Míra zmínek přes všechna spuštění (prompt × model × region) v 24hodinovém okně.

visibility_score(den) = 100 × mentioned_runs(den) / total_runs(den)

Share of voice

Zmínky značky děleno celkovými zmínkami v sadě pojmenovaných konkurentů, ve stejné sadě promptů a časovém okně. Odhaluje, zda zisky viditelnosti pocházejí z růstu kategorie nebo přesunu konkrétních konkurentů.

share_of_voice = brand_mentions / (brand_mentions + sum(competitor_mentions))

Pokrytí citací

Z URL, které model cituje pro sadu promptů kategorie, procento, kde má značka smysluplnou umístěnou přítomnost (zmíněna v článku, profilována, uvedena ve srovnávací tabulce). Předstihový ukazatel: vysoké pokrytí citací dnes předpovídá vyšší míru zmínek v příštím čtvrtletí.

citation_coverage = positioned_source_urls / total_cited_source_urls
Kadence spuštění a čerstvost

Denní automatizace, spuštění na vyžádání, zachytávání verze.

Pro účty spouštějí každý povolený prompt proti každému povolenému modelu každý den ve výchozím nastavení. Ruční spuštění na vyžádání jsou neomezená. Bezplatné účty spouštějí ručně s denním limitem; výsledky jsou přesto uchovávány, ale historie je zkrácena na 3denní okno.

Každé spuštění zachytí řetězec verze modelu vrácený poskytovatelem. Když OpenAI vydá nový GPT, Anthropic nový Claude nebo Google otočí ukazatel Gemini Pro, změna je viditelná v tabulce spuštění a trendové linie zůstávají interpretovatelné přes přechod.

Výchozí region je hlavní trh značky. Sledování více regionů je podporováno na Pro a doporučeno pro jakoukoli značku působící ve více než jedné zemi: odpovědi AI se liší podle jazyka a lokality, často dramaticky.

Reálný vzorek

Jak vypadá 360 skutečných zmínek.

Data z nedávného týdne spuštění na našich prvních testovacích účtech (2 účty, 6 značek, smíšené kategorie: rumunské lokální služby a korejská péče o pleť). Malý vzorek, záměrně polarizovaný mix kategorií. Ukazujeme to, protože alternativa – neprůhledné stránky metodiky ve stylu 'věřte nám' – je horší. Nejsou to oborové benchmarky. Jsou to důkazy, že systém produkuje strukturovaná data ve výše popsané formě.

  • Zmínky ve vzorku
    360

    Během jednoho nedávného týdne.

  • Míra zmínek
    33%

    Značka zmíněna přibližně v 1 ze 3 spuštění.

  • Podíl pozice 1
    35%

    Ze spuštění, která zmínila značku, mělo 35 % ji na první pozici.

  • Zachycené zdrojové citace
    297

    V 36 spuštěních, kde model citoval inline URL.

  • Odlišné citované domény
    100

    Dlouhý ocas v tomto vzorku; soustředěný v produkčních sadách promptů.

Větší výzkumný projekt záměrně navržený na jednu definovanou kategorii (~30 promptů × 4 modely × 14 dní) probíhá; výsledky budou zveřejněny na /cs/blog po dokončení.

Omezení a známé zkreslení

Co tato metodika nedělá.

Výslovně uvedeno, protože alternativa je nechat kupující to zjistit později:

  • Velikost vzorku. Sada 10 promptů × 4 modely × 1 region produkuje 40 spuštění/den. Dostatečné pro sledování trendu, nedostatečné pro detekci malých rozdílů. Sady 30+ promptů jsou doporučeny pro strategická rozhodnutí.
  • Nepřímé reference. Odpovědi popisující značku bez jejího pojmenování ('přední enterprise platforma v tomto prostoru') jsou částečně zachyceny parserem LLM s nižší spolehlivostí. Čistě nepřímé zmínky zůstávají podpočítaným hraničním případem.
  • Variance na straně poskytovatele. Odpovědi API poskytovatele se někdy liší od odpovědí spotřebitelských aplikací (různá výchozí nastavení, různé rankovací signály). Intendity používá API poskytovatele; absolutní čísla se mohou lišit od kupujícího ručně kontrolujícího v aplikaci, ačkoli trendy korelují.
  • Žádná kauzální atribuce. Doporučení doručené v týdnu 1 a míra zmínek stoupající v týdnu 4 je korelace, ne důkaz. Více proměnných se pohybuje současně. My odhalujeme data; atribuce je úsudkem vedoucího programu.
  • Oprava halucinací je na úrovni zdrojů. Intendity nežádá model, aby zapomněl nesprávné informace. Odhalujeme zdrojový materiál, na který se model spoléhá (zastaralý odstavec Wikipedie, přežitá recenzní vlákna), a doporučujeme opravu na úrovni zdrojů. Aktualizace zdrojů se šíří do odpovědí modelu do 1–6 týdnů od opětovného procházení.

Aplikujte metodiku.

Spusťte svou první značku a sledujte viditelnost, share of voice a pokrytí citací na skutečných promptech za pět minut.