Plik robots.txt informuje wyszukiwarki, jakie są zasady zaangażowania Twojej witryny. Duża część SEO polega na wysyłaniu odpowiednich sygnałów do wyszukiwarek, a plik robots.txt jest jednym ze sposobów przekazywania wyszukiwarkom preferencji dotyczących indeksowania.

W 2019 r. zaobserwowaliśmy sporo zmian związanych ze standardem robots.txt Google zaproponował rozszerzenie protokołu Robots Exclusion Protocol i udostępnił swój parser robots.txt na zasadach open source.

Interpreter robots.txt Google jest dość elastyczny i zaskakująco wyrozumiały.
W przypadku dyrektyw nieporozumień Google błądzi po bezpiecznych stronach i zakłada, że sekcje powinny być ograniczone, a nie nieograniczone.