Robots.txt

Instrukcja dla robotów

Plik robots.txt to plik tekstowy na serwerze, który instruuje roboty wyszukiwarek, które części strony mogą skanować, a do których nie mają dostępu.