Studie What Gets Cited testovala na 252 000 pokusech napříč šesti modely, co rozhoduje, když se o citaci uchází dva zdroje. Abstrakt jako nejsilnější vypichuje shodu s tématem a pozici v pořadí. Testovala ale jen výběr mezi dvěma už načtenými zdroji — o tom, jak se mezi ně dostat, nevypovídá.
Kolem AI viditelnosti se tvrdí spousta věcí a doložených je málo. Tahle studie patří k metodicky silnějším pracím: má kontrolované uspořádání a prošla recenzí na konferenci SIGIR. To z ní nedělá poslední slovo — pracujeme navíc jen s abstraktem a veřejnými shrnutími, ne s plným textem. O to větší škoda by ale byla vyvozovat z ní víc, než v ní je.
Co přesně studie udělala
Autoři postavili kontrolované prostředí se dvěma dokumenty. Do kontextu modelu vložili přesně dva zdroje, které se lišily v jediném faktoru, a sledovali, který z nich se objeví v první citaci odpovědi.
Metodika v pěti bodech
- 252 000 pokusů Opakovaná párová srovnání podle jednoho faktoriálního plánu — ne sběr dat z volné přírody, ale řízený experiment.
- Šest jazykových modelů Výsledek tedy nestojí na chování jednoho nástroje.
- Osmnáct obsahových faktorů Rozdělených do skupin jako shoda s tématem, úplnost, důvěryhodnost, čitelnost, konkurenční postavení a čerstvost.
- Anonymizované značky Aby výsledek neovlivnilo, že model některé jméno zná lépe než jiné.
- Prohazované pořadí zdrojů Aby šlo oddělit vliv obsahu od vlivu toho, který zdroj byl uvedený první.
Ta poslední dvě opatření jsou důvod, proč stojí za to studii brát vážně. Anonymizace značek a prohazování pořadí jsou přesně ty kontroly, které většině marketingových „analýz“ chybí.
Dvě věci je ale potřeba u metodiky vědět, než z ní začnete cokoli vyvozovat:
- Sledovala se první citace, ne všechny. To je jasně měřitelné a pro srovnání dvojic praktické, ale je to užší veličina než „byl zdroj v odpovědi použitý”. Zdroj uvedený jako druhý se v tomhle měření počítá stejně jako neuvedený.
- Co přesně znamená „shoda s tématem”, z veřejného shrnutí nevyčtete. Jestli šlo o doslovnou podobnost slov, významovou blízkost nebo pokrytí záměru dotazu, se liší v důsledcích dost zásadně. Pro praxi je to rozdíl mezi „opakuj frázi” a „odpověz na otázku”.
Co z ní vyšlo
Podle abstraktu vycházejí ze smíšených modelů nejsilněji dva faktory: shoda obsahu s tématem dotazu a pozice zdroje v pořadí.
Že vyhrává shoda s tématem, nikoho nepřekvapí — a je to dobře. Znamená to, že nejnudnější doporučení ze všech (stránka má opravdu odpovídat na dotaz, kvůli kterému na ni někdo přijde) obstálo i v kontrolovaném testu.
Že hraje velkou roli pozice v pořadí, je nepříjemnější a stojí za upřesnění. Studie ukazuje, že na výběr má vliv pořadí, ve kterém byly zdroje předložené — neříká, co to pořadí v reálném systému určuje. V praxi je to výsledek dřívějšího vyhledávání, takže se s ním pracuje nepřímo: přes to, aby vás vyhledávání našlo výš. Přímé tlačítko na to nemáte.
Nejdůležitější věta celého článku
Studie měřila poslední krok — výběr mezi dvěma zdroji, které už jsou v kontextu modelu. Neměřila, jak se tam dostaly.
| Aspekt | Co studie testovala | Co netestovala |
|---|---|---|
| Fáze procesu | Výběr mezi dvěma už načtenými zdroji | Jestli se váš web mezi ty dva vůbec dostane |
| Dohledatelnost | Nic — oba zdroje byly vložené ručně | Procházení, indexace, vytažení kandidátů |
| Dopad na návštěvnost | Nic — měřila se citace, ne kliky | Jestli z citace přijde návštěva nebo objednávka |
| Prostředí | Laboratorní, s anonymizovanými značkami | Reálné vyhledávání se skutečnými značkami a konkurencí |
Není to výtka studii — autoři to takhle zamýšleli a právě ta kontrola dělá výsledek použitelným. Je to výtka způsobu, jakým se podobné studie čtou.
Odborně se tomu říká rozdíl mezi interní a vnější platností. Uvnitř svého uspořádání je studie silná: kontroly jsou poctivé a vzorek velký, takže tomu, co naměřila, se dá věřit. Přenositelnost ven je slabší, protože laboratorní podmínky se od běžného provozu záměrně liší. Obojí platí najednou a není v tom rozpor.
Jak to smířit s tím, co doporučujeme my
Na webu opakovaně píšeme, že pomáhá krátká přímá odpověď na začátku, přehledná struktura a čitelné úseky textu. Ve veřejném shrnutí studie se mezi nejsilnějšími faktory neobjevila ani čitelnost, ani nic formátovacího — vypíchnuté byly shoda s tématem a pozice.
Poctivé čtení má dvě části a obě je potřeba říct nahlas.
Za prvé: je to oslabení naší formulace. Když jsme psali, že struktura a čitelnost pomáhají k citaci, znělo to univerzálně. V tomhle konkrétním kroku — výběru mezi dvěma zdroji — se to podle dostupného shrnutí mezi hlavní faktory nedostalo. Neznamená to, že neúčinkují, ale znamená to, že jsme si tím byli jistější, než bylo podložené.
Za druhé: vyvrácené to není. Užitečnější než se hádat je seřadit si to podle jistoty — co studie podpořila, co nechala otevřené a co vůbec netestovala:
| Aspekt | Doporučení | Na co ve skutečnosti míří |
|---|---|---|
| Přímá odpověď na začátku | Aby šla z textu vytáhnout odpověď | Fáze vytažení a použití, ne výběr mezi dvěma zdroji |
| Přehledná struktura | Aby stránka dávala smysl po částech | Zpracování obsahu, ne finální rozhodnutí o citaci |
| Shoda s tématem | Aby stránka odpovídala na ten dotaz | Tohle studie potvrdila přímo |
| Dostupnost pro roboty | Aby se obsah vůbec našel | Fáze, kterou studie z principu nemohla testovat |
Poctivý závěr zní: studie jedno naše doporučení podpořila a u ostatních nám ubrala jistotu, aniž by je vyvrátila. Kdo by z ní vyvodil „přestaňte se starat o strukturu“, dělá z testu jedné fáze závěr o celém procesu. Kdo by tvrdil, že se nic nemění, zase přehlíží, že jsme si u části rad byli jistější, než na co máme doklad.
Co si z toho odnést prakticky
Tři věci, které z toho plynou
- Shoda s tématem není klišé Ve veřejném shrnutí vychází jako nejsilnější faktor napříč šesti modely. Stránka, která odpovídá na dotaz přímo, má navrch nad tou, která se tématu jen dotýká.
- Pozice je vlastní faktor, ne šum Studie ji měří odděleně od obsahu a musela ji kontrolovat prohazováním — sama o sobě tedy citaci ovlivňuje. V reálném systému ji ovlivníte jen nepřímo, přes dřívější fázi vyhledávání.
- Efekt nestojí na známosti značky Značky byly anonymizované, takže rozdíly vznikly obsahem, ne tím, že model některé jméno zná. To je u marketingových analýz vzácnost.
- Jedna studie není mapa Cesta k citaci má víc kroků a tenhle test pokrývá jeden z nich. Podle toho vážte, kolik na něm postavíte.
Souvislosti kolem výběru zdrojů rozebíráme v článku o tom, jak AI cituje zdroje, a mechanismus jednoho konkrétního nástroje v článku, jak funguje ChatGPT.
Časté chyby při čtení takových studií
Číst výsledek jedné fáze jako návod na celý proces
Nejčastější chyba u odborných prací o AI viditelnosti. Věta „studie prokázala, že rozhoduje X“ obvykle vynechává, za jakých podmínek.
Fix: Zjistěte nejdřív, co přesně experiment měřil. U téhle studie to byl výběr mezi dvěma už načtenými zdroji.
Převzít pořadí faktorů z druhé ruky
Kolem každé studie vzniknou shrnutí, která doplní čísla, jež v původním textu nejsou nebo znamenají něco jiného.
Fix: Když někdo uvádí přesné pořadí a velikosti vlivu, ověřte si to v plném textu. V abstraktu jsou jen ty nejsilnější faktory.
Zaměnit laboratorní podmínky za realitu
Kontroly, které dělají studii dobrou, ji zároveň vzdalují od běžného provozu. Obojí platí najednou.
Fix: Anonymizované značky a ručně vložené zdroje jsou nutné pro čistotu testu, ale právě proto se výsledek nedá přenést jedna ku jedné.
Přestat dělat věci, které studie netestovala
Z toho, že se něco v testu neprojevilo, se snadno udělá, že to nefunguje. To je jiné tvrzení.
Fix: Nezměřený není totéž co vyvrácený. Doporučení, na která experiment nemířil, zůstávají tam, kde byla.
Co si z článku odnést
Studie na 252 000 pokusech je v tomhle oboru vzácnost — kontrolovaná metodika, šest modelů, opatření proti zkreslení. Vyšlo z ní, že nejvíc rozhoduje shoda s tématem a pozice v pořadí.
Důležitější než ten výsledek je ale to, kam sahá. Měřila poslední krok: výběr mezi dvěma zdroji, které už v kontextu byly. Platí tedy podmíněně: pokud se tam vaše stránka dostane, tohle rozhoduje dál. O dohledatelnosti, návštěvnosti ani o chování v reálném prostředí nevypovídá — a stejnou výhradu vznáší i kritický přehled celého oboru.
Prakticky z toho plyne především jedna věc, a je nudná: stránka musí opravdu odpovídat na dotaz, kvůli kterému na ni někdo přijde. To je faktor, který ve shrnutí studie vychází nejsilněji napříč všemi šesti modely.
