AI crawler
GPTBot, ClaudeBot, PerplexityBot
Robot, kterým AI společnosti stahují obsah webů — pro trénink modelů (GPTBot, Google-Extended) nebo pro živé vyhledávání (OAI-SearchBot, PerplexityBot). V robots.txt lze každý zvlášť povolit či zakázat — a tím řídit, kde chcete být vidět.