Aby zablokować indeksowanie niektórych stron przez Google, należy podjąć odpowiednie kroki w konfiguracji swojej witryny, aby upewnić się, że roboty wyszukiwarek nie będą miały dostępu do treści, którą chcesz ukryć. Jednym ze sposobów jest wykorzystanie pliku robots.txt, który pozwala na ustawienie reguł dotyczących tego, które strony mają być indeksowane, a które nie. Plik ten umieszczany jest w głównym katalogu witryny, a jego zadaniem jest informowanie robotów wyszukiwarek o tym, które zasoby mogą być przeszukiwane, a które nie. Aby zablokować indeksowanie strony, wystarczy dodać odpowiednią dyrektywę w tym pliku, jak na przykład Disallow wskazującą na konkretne strony, które mają być zignorowane przez Google. Warto jednak pamiętać, że plik robots.txt działa tylko jako sugestia dla robotów wyszukiwarek, które mogą zdecydować się go zignorować, więc nie zawsze jest to 100% skuteczna metoda ochrony treści.
Kolejną metodą na zablokowanie indeksowania stron przez Google jest użycie metatagu noindex w kodzie HTML strony. Metatag ten dodawany jest w sekcji każdej strony, którą chcemy wyłączyć z indeksowania. Po dodaniu tagu Google oraz inne wyszukiwarki nie będą indeksować danej strony. Jest to rozwiązanie bardziej precyzyjne niż robots.txt, ponieważ działa bezpośrednio na poziomie każdej konkretnej strony, a nie tylko na poziomie zasobów. Metatag noindex sprawia, że strona nie pojawi się w wynikach wyszukiwania, ale nadal może być dostępna dla użytkowników, którzy znają jej bezpośredni adres URL. Jest to więc dobra opcja w przypadku, gdy chcemy, aby strona nie była widoczna w wyszukiwarkach, ale nie chcemy jej całkowicie ukrywać przed użytkownikami.
Innym sposobem jest wykorzystanie funkcji dostępnych w panelu administracyjnym WordPressa lub innych systemów zarządzania treścią. W WordPressie istnieje opcja, która pozwala na blokowanie indeksowania strony przez roboty wyszukiwarek. Można to zrobić, przechodząc do ustawień ogólnych i zaznaczając opcję „Zezwalaj wyszukiwarkom na indeksowanie tej witryny”. Jeśli ta opcja jest wyłączona, wyszukiwarki nie będą indeksować Twojej strony. To rozwiązanie jest stosunkowo proste i daje użytkownikowi pełną kontrolę nad tym, które części strony mają być widoczne w wyszukiwarkach, a które nie. Może to być przydatne, jeśli chcemy ukryć np. stronę roboczą lub stronę, która jest w trakcie tworzenia i nie jest jeszcze gotowa do publicznego wyświetlania.
Kiedy chcesz zablokować indeksowanie konkretnych stron, ale pozwolić na dostęp do innych części swojej witryny, warto również zastanowić się nad użyciem hasła lub mechanizmów autoryzacji. Jeśli strona jest chroniona hasłem, roboty wyszukiwarek nie będą mogły jej indeksować, ponieważ nie będą w stanie przejść przez mechanizm logowania. Jest to szczególnie przydatne w przypadku stron, które są przeznaczone tylko dla określonej grupy osób lub w przypadku stron zawierających dane prywatne, które nie powinny być widoczne publicznie. Hasła mogą być ustawione na poziomie serwera lub w panelu administracyjnym systemu zarządzania treścią, co daje dużą elastyczność w kwestii zarządzania dostępem do zawartości strony.
Ostatnią metodą jest usunięcie strony z wyników wyszukiwania Google za pomocą narzędzi do zarządzania witryną, takich jak Google Search Console. Jeśli chcesz, aby strona została całkowicie usunięta z wyników wyszukiwania, a nie tylko zablokowana przed indeksowaniem, możesz skorzystać z opcji „Usuń URL” dostępnej w tym narzędziu. Dzięki tej funkcji możesz usunąć stronę z indeksu Google, co spowoduje, że nie będzie ona widoczna w wyszukiwarce. Należy jednak pamiętać, że proces usuwania może potrwać kilka dni, a strona może być ponownie zindeksowana, jeśli nie zostaną podjęte dalsze kroki w celu jej zablokowania, np. przez dodanie metatagu noindex lub ustawienie reguły w robots.txt.