Robots.txt
Textový soubor v kořeni webu, který říká robotům, co smí procházet. V AI éře je to hlavní páka nad AI crawlery: povolit vyhledávací boty (citace = viditelnost) a rozhodnout o tréninkových. Chybná konfigurace umí web z AI odpovědí vyřadit úplně.