Robots.txt
Textový soubor v kořeni webu, který říká robotům, co smí procházet. Bez pravidla platí povoleno; problém dělají plošné zákazy. V éře AI je to hlavní páka nad AI roboty: povolit vyhledávací (citace znamená viditelnost) a rozhodnout o tréninkových. U robotů vyvolaných uživatelem se na něj nelze spolehnout.
Aktualizováno: 7. 9. 2026
Robots.txt je textový soubor v kořeni domény, kterým říkáte robotům, co smí procházet. Dvě věci se kolem něj pletou nejčastěji: bez pravidla platí povoleno (nemusíte nic „povolovat“) a soubor neřídí indexaci, jen procházení — na vyřazení z výsledků je značka noindex.
V éře AI je to hlavní páka nad AI roboty, ale funguje jen na ty, kteří ho respektují. Vyhledávací roboty (OAI-SearchBot, Claude-SearchBot, PerplexityBot) povolte vždy — ty přinášejí citace. U tréninkových (GPTBot, ClaudeBot) je to vaše rozhodnutí. Roboti vyvolaní uživatelem se robots.txt řídit nemusí: ChatGPT-User a Perplexity-User to samy uvádějí, Claude-User ho podle dokumentace Anthropicu (7. 4. 2026) respektuje.
Častější příčinou neviditelnosti než chybné pravidlo bývá blokace na CDN nebo firewallu podle IP adresy. Kompletní rozpad robotů podle účelu je v článku AI roboti a robots.txt, přehled voleb v co vypne který opt-out.