Edycja Robots.txt
Instrukcja dla Robotów
To pierwszy plik, który sprawdza Googlebot po wejściu na Twoją stronę. Zła konfiguracja może wyrzucić cały serwis z wyników wyszukiwania. Dowiedz się, jak go bezpiecznie edytować w WordPressie.
Plik robots.txt to znak drogowy, nie brama pancerna.
Wielu właścicieli stron myśli, że jeśli zablokują coś w robots.txt, to nikt tego nie zobaczy. To błąd. Ten plik zawiera "sugestie" dla dobrych robotów (jak Google, Bing). Mówi im: "proszę, nie wchodź tutaj".
Złośliwe boty (spamerzy, scraperzy) całkowicie ignorują ten plik. Co więcej, plik ten jest publicznie dostępny (wpisz twojadomena.pl/robots.txt). Dlatego nigdy nie ukrywaj w nim haseł ani ścieżek do tajnych plików, bo właśnie tam hakerzy zajrzą w pierwszej kolejności.
Jak to czytać?
-
1
User-agent
Określa, do kogo mówimy. Gwiazdka
*oznacza "wszystkie roboty". Możesz też pisać do konkretnych, np.User-agent: Googlebot. -
2
Disallow
Zakaz wjazdu. Tutaj wpisujesz ścieżki, których robot ma nie odwiedzać. W WordPressie standardowo blokuje się panel administratora
/wp-admin/. -
3
Allow
Wyjątek od reguły. Jeśli zablokowałeś cały folder, ale chcesz pokazać w nim jeden plik, używasz tej komendy.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# Mapa strony jest ważna!
Sitemap: https://twojastrona.pl/sitemap_index.xml
Standardowy plik WordPressa
Plik Wirtualny vs Fizyczny
WordPress domyślnie nie tworzy fizycznego pliku robots.txt na serwerze. Generuje go dynamicznie ("w locie"), gdy ktoś o niego zapyta.
Uwaga:
Jeśli ręcznie stworzysz plik robots.txt przez FTP i wrzucisz go na serwer, WordPress przestanie zarządzać wirtualnym plikiem. Fizyczny plik zawsze ma priorytet i nadpisuje ustawienia wtyczek SEO!
Edycja przez Wtyczki
Y Yoast SEO
Przejdź do: Yoast SEO > Narzędzia > Edytor plików.
Jeśli nie widzisz tej opcji, prawdopodobnie masz zablokowaną edycję plików w wp-config.php (zabezpieczenie hostingu).
R Rank Math
Przejdź do: Rank Math > Ustawienia ogólne > Edytuj robots.txt.
Rank Math pozwala łatwo przywrócić domyślną wersję, jeśli coś zepsujesz.
Nie blokuj zasobów!
Dawniej (przed 2015) zalecano blokowanie folderów /wp-content/themes/ oraz /wp-includes/. Dziś to samobójstwo SEO.
Googlebot renderuje stronę jak nowoczesna przeglądarka. Musi mieć dostęp do plików CSS i JavaScript, aby zobaczyć, czy Twoja strona jest responsywna (Mobile Friendly). Jeśli zablokujesz te foldery, Google zobaczy stronę jako "rozsypaną" i obniży jej ranking.
User-agent: *
Disallow: /wp-includes/
Disallow: /wp-content/
NIE RÓB TEGO!
User-agent: *
# Blokada panelu (Standard)
Disallow: /wp-admin/
# Blokada wyszukiwarki wew.
Disallow: /?s=
Disallow: /search/
# Blokada parametrów URL
Disallow: /*?replytocom=
Disallow: /*?add-to-cart=
Oszczędzaj Czas
Robota Google
Każda strona ma przydzielony tzw. Crawl Budget – limit czasu, jaki Googlebot spędza na Twojej witrynie. Jeśli zmarnuje go na skanowanie wyników wyszukiwania (/?s=buty) lub linków do komentarzy, może nie zdążyć zaindeksować Twoich najważniejszych artykułów.
Dlatego w profesjonalnych konfiguracjach blokuje się dostęp do dynamicznych parametrów. Dzięki temu robot skupia się wyłącznie na wartościowej treści, co przyspiesza indeksację nowych wpisów.
Wildcards (Gwiazdki)
Znak * w robots.txt oznacza "cokolwiek". Zapis Disallow: /*?add-to-cart= zablokuje każdy adres, który zawiera ten parametr, niezależnie od tego, co jest przed nim.
Roboty Zaproszone?
Czas na Autorytet
Poprawny plik robots.txt to otwarte drzwi dla Google. Ale żeby Google chciało przez nie przejść i zostać na dłużej, potrzebujesz rekomendacji z zewnątrz. Dołącz do SAMLINK i zdobądź linki, które zbudują zaufanie do Twojej witryny.
Rejestracja jest darmowa i zajmuje 60 sekund