Šest kontrol, než z měření uděláte závěr
Při ověřování tvrzení o AI a webu vzniká několik opakovaných typů chyb — a všechny mají společné, že falešný nález vypadá na první pohled stejně jako pravý.
Níže je šest kontrol, které je odhalí. Každá je doložená konkrétním případem z měření publikovaných na tomhle webu; všechny jsou dnes opravené a opravy jsou v příslušných článcích vidět. A i když sami nic neměříte, stejné otázky se dají položit autorovi studie, kterou čtete — u každé kontroly proto najdete i tuhle variantu.
1. Adresu souboru neodhadujte
Hledal jsem, kteří provozovatelé AI robotů publikují seznamy svých IP adres. U tří jsem si adresu souboru odvodil z konvence ostatních:
| Provozovatel | Co jsem zkusil | Co se stalo | Jak to je |
|---|---|---|---|
| Anthropic | anthropic.com/claudebot.json | 404 | soubor je na doméně claude.com |
| ByteDance | odvozená adresa | 200, ale s HTML stránkou | seznam tam nebyl |
| Amazon | odvozená adresa .json | 404 | publikuje tři HTML stránky |
Ve všech třech případech byl skoro hotový závěr „tenhle provozovatel nic nepublikuje“ a ani jednou to nebyla pravda.
Kontrola: nejdřív dohledat oficiální dokumentaci a odkaz v ní, teprve pak testovat konkrétní adresu. Když sami neměříte: ptejte se, jestli autor uvádí zdroj adresy, nebo si ji odvodil.
2. Stavový kód není obsah
Když jsem měřil rozšíření souboru llms.txt, zeptal jsem se pro kontrolu 80 webů na soubor s náhodným názvem — takový, který nemůže existovat. Pět jich odpovědělo 200 s HTML stránkou.
Test podle samotného stavového kódu proto napočítá 52 webů se souborem llms.txt. Po odfiltrování odpovědí, které jsou ve skutečnosti HTML stránka, jich zbude 47 — a po vyřazení prázdných souborů tři. Těch 44 prázdných je jedno výchozí nastavení platformy, ne 44 rozhodnutí.
Kontrola: ke stavovému kódu vždycky přidat typ obsahu a délku těla. Když sami neměříte: hledejte, jestli autor ověřoval obsah odpovědi, nebo jen to, že server odpověděl.
3. Co vypadne ze skriptu, je hypotéza
Při měření, jestli mají české weby hlavní text už v serverovém HTML, mi automatika ve dvou kolech nahlásila 23 chybějících textů. Prošel jsem je ručně jeden po druhém. Pravý nebyl ani jeden.
Nejdelším souvislým textem na stránce byla nejčastěji lišta se souhlasem — u dvou webů dělala rozdíl přes deset tisíc slov. Jinde to byla hláška o vypršelém tokenu, kus JavaScriptu uvnitř odstavce nebo text ze stránky 404.
Kontrola: každý nález otevřít, než se z něj stane číslo v tabulce. Když sami neměříte: ptejte se, kolik nálezů autor ověřil ručně a co u nich našel.
4. Selhání u části vzorku ukazuje nejdřív na nástroj
Dva z těch 23 falešných nálezů měly společnou příčinu: můj skript dekódoval stránky natvrdo jako UTF-8. Dva weby posílají windows-1250 a text se rozsypal na otazníky, takže porovnání selhalo.
Následná kontrola na vzorku 80 domén ukázala, že ani jedna neposílá jiné kódování, než sama deklaruje. Pět jich používá windows-1250 a všech pět to uvádí správně.
Kontrola: když problém vzniká jen u malé podmnožiny, sepsat postižené případy, najít jejich společný technický jmenovatel a jeden ověřit ručně mimo vlastní nástroj. Když sami neměříte: ptejte se, co měly odchylky společného — u legitimní odlišné konfigurace to bývá vidět hned.
5. „Nenašel jsem“ nikdy nepište jako „neexistuje“
Tuhle chybu jsem udělal dvakrát.
- Napsal jsem, že Common Crawl strojový seznam na obvyklé adrese nemá. Má —
commoncrawl.org/ccbot.json. A že IPv6 rozsahy publikuje jen Google; CCBot má jeden prefix. Obojí opraveno. - Ve článku o JavaScriptu stálo na čtyřech místech „jediné veřejné měření, které existuje“. Opraveno na „které jsem našel“ — plus datum, kdy jsem hledal znovu.
Kontrola: psát „nenašel jsem“ a k tomu datum a místo hledání. Když sami neměříte: u každého „neexistuje“ a „jediný“ se ptejte, odkud autor tu jistotu bere.
6. Přepis čísel do textu je taky krok, kde se chybuje
Měření může být v pořádku a článek přesto špatně.
- V tabulce publikovaného článku jsem měl u robota
Claude-Webhodnotu 5. Naměřeno bylo 6. Devět z deseti hodnot sedělo; odhalila to až kontrola nového parseru proti starším datům. - Jinou tabulku jsem nadepsal „Tři roboti OpenAI“. Dokumentace jich popisuje čtyři — chyběl
OAI-AdsBot.
Kontrola: čísla v hotovém textu porovnat se zdrojovými daty, ne s pamětí. Nadpis, který tvrdí počet, je taky tvrzení. Když sami neměříte: když článek zveřejňuje i podkladová data, zkuste dvě čísla namátkou porovnat.
Tříminutová kontrola cizí studie
Čtyři otázky na autora
- Ověřoval obsah, nebo jen technický signál? stavový kód, přítomnost souboru nebo značky ještě neříká, co v nich je.
- Kolik nálezů zkontroloval ručně? a co u nich našel. U mého měření to byl rozdíl mezi 23 nálezy a nulou.
- Co udělal s případy, kde měření selhalo? vypadly ze vzorku, nebo se počítají do výsledného procenta? To druhé číslo nafoukne.
- Odkud bere jistotu u slov „neexistuje“ a „jediný“? obojí je tvrzení o celém světě a stačí jeden protipříklad.
Shrnutí
Šest kontrol: nehádat adresu, nevěřit stavovému kódu, otevřít každý nález, podezírat nejdřív vlastní nástroj, psát „nenašel jsem“ místo „neexistuje“ a porovnat čísla v textu se zdrojem.
Společný vzorec je u všech stejný: rychlá zkratka nahradí kontrolu zdroje, obsahu nebo hotového textu. A falešný nález se od pravého na první pohled neliší.
Případů je šest, protože tolik jich mám doložených a opravených — mluvím jen za vlastní práci na tomhle webu, ne za obor. Delší postup pro čtení cizích čísel má samostatný článek.
