kontrola

Plik robots.txt to kluczowy element w zarządzaniu indeksowaniem stron internetowych przez roboty wyszukiwarek. Jego zasadniczym celem jest kontrola dostępu do różnych części serwisu. Dzięki niemu webmasterzy mogą informować roboty, jakie sekcje strony powinny być indeksowane, a które powinny być pomijane. Taki mechanizm działa poprzez jasne określenie reguł, które roboty wyszukiwarek…