Přeskočit na obsah
Technika a měření

AI crawler

GPTBot, ClaudeBot, PerplexityBot

Stručná definice

Robot, kterým AI společnosti stahují obsah webů — pro trénink modelů (GPTBot, Google-Extended) nebo pro živé vyhledávání (OAI-SearchBot, PerplexityBot). V robots.txt lze každý zvlášť povolit či zakázat — a tím řídit, kde chcete být vidět.

Robots.txt pro AI

Kde se s pojmem potkáte

Související pojmy

Celý slovník pojmů