Die robots.txt ist eine Datei im Root einer Website, die Suchmaschinen-Hinweise zum Crawling gibt. Sie kann bestimmte Bereiche erlauben oder ausschließen.
Wichtig ist, dass robots.txt und Noindex nicht verwechselt werden. Eine blockierte Seite kann unter Umständen trotzdem indexiert werden, wenn andere Signale vorhanden sind. Deshalb braucht technische SEO hier ein sauberes Verständnis.
Falsch konfigurierte robots.txt-Dateien können erhebliche Probleme verursachen, etwa wenn aus Versehen wichtige Bereiche ausgeschlossen werden.