Svar: robots.txt är en textfil i webbplatsens rot som instruerar sökmotorer vilka delar av sajten de får eller inte får crawla.
Fördjupning: Filen följer Robots Exclusion Protocol. Direktivet User‑agent specificerar vilken bot regeln gäller, medan Disallow och Allow styr åtkomst. Crawl‑delay kan begränsa frekvensen, men stöds inte av alla motorer. Felaktiga regler kan blockera viktig indexering, så testning i Search Console rekommenderas.