Co to jest robots.txt?

Plik robots.txt mówi robotom, które sekcje serwisu powinny omijać podczas crawlownia. Nie jest jednak narzędziem do ukrywania wrażliwych treści ani gwarancją braku indeksacji.

W praktyce robots.txt powinien wspierać porządek techniczny, a nie maskować problemy strukturalne. To szczególnie ważne wtedy, gdy serwis ma wiele parametrów, wyników wyszukiwania lub technicznych podstron bez wartości dla SEO.