Přeskočit na obsah
Technika a měření

Robots.txt

Stručná definice

Textový soubor v kořeni webu, který říká robotům, co smí procházet. V AI éře je to hlavní páka nad AI crawlery: povolit vyhledávací boty (citace = viditelnost) a rozhodnout o tréninkových. Chybná konfigurace umí web z AI odpovědí vyřadit úplně.

Robots.txt pro AI

Kde se s pojmem potkáte

Související pojmy

Celý slovník pojmů