AI crawler

AI robot je program, kterým AI společnosti stahují obsah webů. Klíčové je nemíchat je dohromady, protože každá skupina dělá něco jiného a rozhodnutí o nich má jiné důsledky.

Vyhledávací roboti (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sbírají obsah pro odpovědi s citacemi — zablokovat je znamená vzdát se viditelnosti. Tréninkoví roboti (GPTBot, ClaudeBot) sbírají data pro učení modelů; jejich zablokování citace v živém vyhledávání neomezí. Roboti vyvolaní uživatelem načtou stránku, když si o to člověk v chatu řekne — a robots.txt se na ně nemusí vztahovat.

Google do žádné z těch skupin nezapadá: index pro Přehled od AI i režim AI plní běžný Googlebot, zatímco Google-Extended není robot, ale řídicí značka pro Gemini. Rozpad všech tokenů včetně ověření pravosti je v článcích AI roboti a robots.txt a ověřování AI robotů.