AI robot nemusí dostat zákaz, aby jeho požadavky přestaly web zbytečně zatěžovat. Rozhoduje, která vrstva požadavek vyřídí: distribuční síť (CDN) s hotovou kopií v mezipaměti (cache), cache na původním serveru, nebo až aplikace, která znovu sáhne do databáze. Nejdřív proto zlevněte obsluhu veřejných stránek. Omezení frekvence přichází až poté, co z logu víte, koho a proč brzdíte.
Cache nesníží počet požadavků, ale odlehčí serveru
Když si robot vyžádá stejný článek desetkrát, pořád jde o deset požadavků. Rozdíl je v tom, která vrstva je vyřídí.
Bez cache může redakční systém při každém požadavku spustit kód, načíst data a složit HTML. Plnostránková cache uloží už hotovou stránku. CDN ji může poslat ze své sítě, takže požadavek nedojde ani k původnímu serveru.
| Aspekt | Bez cache a CDN | S vhodnou cache |
|---|---|---|
| Tvorba HTML | Aplikace může stránku skládat při každém požadavku | Hotovou stránku vrátí plnostránková cache |
| Původní server | Každý požadavek dorazí až k hostingu | Když požadavek vyřídí CDN z cache, server se vůbec neosloví |
| Počet požadavků robota | Nemění se | Cache sama počet požadavků nesníží |
| Aktuálnost | Stránka vzniká z právě dostupných dat | Záleží na době platnosti a obnově kopie |
Pokud jsou drahé jen zbytečné adresy — nekonečné kombinace filtrů, interní hledání nebo kalendáře — začněte tím, že odstraníte odkazy na tyto adresy nebo jejich procházení výslovně omezíte. Cache by jinak jen levněji obsluhovala další URL, které nechcete poskytovat vůbec. Co pustit a co zavřít, řeší samostatně návod na robots.txt pro AI roboty.
Na běžném hostingu začněte plnostránkovou cache
První krok nevyžaduje pravidlo pro konkrétního robota. Veřejná stránka má být levná pro všechny anonymní návštěvníky: člověka, klasický vyhledávač i AI robota.
U statického webu už hotové HTML existuje jako soubor. U redakčního systému nebo e-shopu hledejte plnostránkovou cache v nastavení hostingu, platformy nebo doplňku pro cache. Jejím úkolem je vrátit hotové HTML bez opakovaného skládání stránky. Pokud ji v administraci nenajdete, zeptejte se podpory, zda server používá vlastní stránkovou cache a jak ověříte, že z ní odpověď skutečně přišla.
Co ověřit ještě před CDN
- Veřejné stránky vracejí hotové HTML Opakovaný požadavek nemá pokaždé znovu zaměstnat aplikaci a databázi.
- Statické soubory mají rozumnou dobu platnosti Obrázky, styly a skripty se nemají stahovat z původního serveru při každé návštěvě.
- Po změně obsahu se cache vyprázdní nebo obnoví Po publikaci musí být nová verze dostupná, aniž musíte čekat na vypršení platnosti staré kopie.
- Dynamické stránky zůstávají mimo společnou kopii Účet, přihlášení, košík, pokladna, administrace a odpovědi s osobními údaji.
Tato vrstva snižuje práci aplikace, ale data stále odesílá původní server a jejich přenos se může dál započítávat do nákladů hostingu. Pokud z logu vidíte velký objem opakovaných požadavků na stejné veřejné URL, další krok je CDN.
U CDN musíte veřejné HTML ukládat do cache výslovně
Samotné zapojení CDN ještě neznamená, že CDN doručuje také HTML článku. Cloudflare ve výchozím nastavení ukládá do cache řadu statických přípon, ale HTML ani JSON standardně do cache neukládá. Ukládání veřejného HTML musíte povolit pravidlem Cache Rule nebo odpovídajícím nastavením jiné CDN.
Cloudflare k 14. září 2026 uvádí, že HTML a JSON ve výchozím stavu do cache neukládá. Připojená doména proto může mít CDN, a přesto posílat každý požadavek na článek až k původnímu serveru.
Nezapínejte plošně pravidlo typu Cache Everything („uložit vše do cache“) bez výjimek. Dokumentace Cloudflare varuje, že dynamické HTML může obsahovat údaje určené konkrétnímu návštěvníkovi. Pravidlo musí vynechat přihlášení, účet, košík, pokladnu, administraci, rozhraní aplikace a stránky závislé na souborech cookie.
Dobu platnosti volte podle toho, jak často se obsah mění. Pro článek lze nastavit delší dobu platnosti cache než pro stránku s cenou nebo skladovou dostupností. Pokud konkrétní CDN tuto funkci podporuje a konfigurace ji nepřebíjí, direktiva stale-while-revalidate dovolí po vypršení krátce poslat starší kopii a novou obnovit na pozadí. Tuto direktivu nepoužívejte u údajů, u nichž vadí i krátké zpoždění aktualizace.
U Cloudflare obnovu na pozadí vypnou direktivy s-maxage, must-revalidate, proxy-revalidate a no-cache, pokud je aktivní Origin Cache Control. Stejný účinek může mít nastavení „Serve stale content while revalidating“ v Cache Rules. Potřebujete-li jinou dobu platnosti na CDN než v prohlížeči, použijte místo s-maxage nastavení Edge Cache TTL a výsledek ověřte v hlavičkách.
Ověření cache: dva požadavky, ne dojem
Zelený přepínač v administraci není důkaz. Po nasazení vyžádejte stejnou veřejnou URL alespoň dvakrát a porovnejte hlavičky odpovědi.
curl -sI https://www.example.cz/clanek/
curl -sI https://www.example.cz/clanek/U Cloudflare sledujte CF-Cache-Status. První požadavek může kopii teprve naplnit a vrátit MISS. Další má vrátit HIT; hlavička Age ukazuje stáří kopie. DYNAMIC znamená, že Cloudflare URL už při požadavku nepovažoval za způsobilou pro cache; může to způsobit i pravidlo Bypass cache. BYPASS znamená, že URL způsobilá byla, ale uložení následně zakázala odpověď původního serveru nebo konfigurace při jejím zpracování.
-
Vyberte jednu veřejnou URL
Použijte článek nebo stránku služby bez přihlášení, souborů cookie a osobního obsahu.
-
Načtěte ji dvakrát
Testujte ze stejného místa. První požadavek může cache teprve naplnit.
-
Přečtěte stav, ne jen rychlost
Hledejte HIT a Age. Rychlá odpověď sama neprokazuje, že původní server nebyl osloven.
-
Zkontrolujte log původního serveru
Když druhý požadavek vyřídí CDN z cache, v logu nemá přibýt další záznam. Tím ověříte skutečné odlehčení.
-
Změňte stránku a ověřte obnovu
Po publikaci zkontrolujte, že se nová verze zobrazí po vyprázdnění cache nebo po skončení nastavené doby platnosti.
Cloudflare nabízí podrobné Cache Analytics až od placeného plánu. Hlavičky a log serveru však dávají základní kontrolu i bez tohoto přehledu.
Omezení frekvence přidejte, až znáte běžný provoz
Omezení frekvence má smysl, když cache nestačí: jeden zdroj posílá tolik požadavků, že i doručení z cache překračuje dostupnou kapacitu nebo zvyšuje náklady, případně žádá adresy, které do cache uložit nelze. Univerzální počet požadavků za minutu neexistuje. Práh musí vycházet z logu vašeho webu a nesmí omezit běžné návštěvníky ani roboty, které chcete pustit.
Neomezujte provoz jen podle hodnoty hlavičky User-Agent. Tento identifikační řetězec může napodobit kdokoli. Nejdřív ověřte identitu AI robota podle dostupných IP rozsahů či dokumentovaného postupu provozovatele.
U Cloudflare se možnosti liší podle plánu. Podle dokumentace z 25. srpna 2026 nabízí tarif Free jedno pravidlo s desetisekundovým oknem; podmínku lze založit jen na cestě URL nebo příznaku ověřeného robota. Tento příznak je pouze hodnota ano/ne, takže nerozliší GPTBot, OAI-SearchBot, Googlebot ani jiného konkrétního robota. Požadavky se navíc počítají po jednotlivých IP adresách. Pravidlo pro všechny ověřené roboty proto bez analýzy nezapínejte: zasáhlo by i vyhledávače, které chcete ponechat.
Cílení podle User-Agent nebo zdrojové IP uvádí tabulka dostupnosti až u tarifu Business. Ani tam omezení není absolutně přesné: kvůli průběžnému počítání může projít ještě několik požadavků nad nastavený limit.
Vlastní pravidlo pro ochranu serveru oddělte od nouzového postupu doporučeného Googlem. Omezení nasazujte nejprve na malém rozsahu, sledujte chyby a připravte si možnost pravidlo rychle vypnout. Pokud potřebujete jen snížit cenu obsluhy, dobře nastavená cache je mírnější zásah než odmítání požadavků.
Crawl-delay v robots.txt není obecné řešení
Řádek crawl-delay v robots.txt není univerzální ovladač rychlosti.
Google podporuje v robots.txt pole user-agent, allow, disallow a sitemap; crawl-delay výslovně nepodporuje. Jiní provozovatelé robotů mohou crawl-delay podporovat po svém, ale bez aktuální dokumentace nevíte, zda robot pokyn čte ani jak jej vykládá.
Přidat crawl-delay a považovat věc za hotovou
Google tento pokyn ignoruje. U AI robotů nelze podporu odvodit jen z toho, že se řádek v robots.txt často používá.
Řešení: Řiďte se dokumentací konkrétního robota a výsledek ověřte v logu.
Uložit do cache i účet a košík
Příliš široké pravidlo může vrátit neplatný stav, ignorovat rozdíly mezi soubory cookie nebo zpřístupnit obsah určený jiné relaci.
Řešení: Veřejné anonymní HTML oddělte od stránek závislých na uživateli.
Nastavit limit od stolu
Nízký práh může zasáhnout legitimní návštěvníky i vyhledávače. Vysoký práh naopak původní server neochrání.
Řešení: Nejdřív změřte běžné špičky a zkušebně omezte malý rozsah.
Pro svůj web zvolte nejjednodušší účinné opatření
Praktické rozhodnutí závisí na tom, kam máte přístup:
| Aspekt | Co udělat nyní | Kdy přidat další vrstvu |
|---|---|---|
| Statický web | Ověřit cache statických souborů a případně CDN | Když log ukazuje drahý přenos nebo nárazový nárůst počtu požadavků |
| Redakční systém | Zapnout plnostránkovou cache a ověřit obnovu po publikaci | Když opakované požadavky stále docházejí až k hostingu |
| E-shop | Ukládat do cache statické soubory a bezpečné veřejné katalogové stránky | Dynamické cesty řešit s platformou; košík, účet a pokladnu vynechat |
| Sdílený hosting | Zjistit možnosti cache v administraci a u podpory | CDN použít, pokud potřebujete zabránit tomu, aby každý požadavek dorazil na původní server, a hosting to neumí |
Začněte opatřením, které umíte ověřit. Plnostránková cache odlehčí aplikaci. CDN může zabránit tomu, aby opakované požadavky dorazily na původní server. Omezení frekvence použijte jen na tu část provozu, která zůstává problémem i poté. A pokud nevíte, zda je zátěž skutečně velká, nejdřív si spočítejte poměr procházení k návštěvám.
Zlevněte doručení, potom řešte strukturu webu
Cache může snížit náklady na provoz, ale sama neudělá stránku srozumitelnější pro vyhledávače ani AI. Jakmile máte doručení pod kontrolou, musí veřejné stránky stále obsahovat jasnou odpověď, strukturu a aktuální údaje.
AI SEO Wireframe Pack obsahuje šablony pro sedm typů stránek, ukázky strukturovaných dat a návod na nasazení v jednom master PDF. Stojí 1 490 Kč jednorázově včetně DPH.
Zdroje: Cloudflare, Default Cache Behavior, Cache Everything, Origin Cache Control, Revalidation, Cache responses, Verified Bot a Rate limiting rules; Google, Reduce Google Crawl Rate a robots.txt specification; OpenAI, Overview of OpenAI Crawlers. Ověřeno 19. 10. 2026.
