robots.txt

Textový konfigurační soubor v kořenovém adresáři webu udělujíc�� pokyny vyhledávacím robotům.

Soubor `robots.txt` je umístěn v kořeni webu (např. `maaxi.cz/robots.txt`) a slouží k definování pravidel pro vyhledávací roboty podle standardu Robots Exclusion Protocol. Umožňuje zakázat procházení určitých sekcí webu (např. `/admin/` nebo interního vyhledávání), aby roboti neplýtvali rozpočtem na procházení (crawl budget) na nedůležitý obsah. Pozor: robots.txt nezaručuje nezaindexování stránky, pokud na ni vedou externí odkazy – pro spolehlivou deindexaci je nutné použít robots direktivu `noindex`.