Dlaczego Google indeksuje zablokowane strony?
Dlaczego Google indeksuje zablokowane strony?
W ostatniej rozmowie John Mueller z Google odpowiedział na pytanie dotyczące tego, dlaczego Google indeksuje strony, które są zablokowane przez plik robots.txt. To zjawisko może wydawać się niepokojące, ale Mueller zapewnia, że istnieją ku temu uzasadnienia.
Osoba zadająca pytanie, Rick Horst, zauważył, że boty tworzą linki do nieistniejących adresów URL z parametrami zapytań, które są zablokowane w robots.txt. Kiedy Google próbuje zindeksować te strony, napotyka blokadę, ale mimo to raportuje je jako „Indeksowane, chociaż zablokowane przez robots.txt”.
Mueller wyjaśnił, że Google może indeksować strony, których treści nie widzi, ponieważ boty mogą oceniać inne aspekty, takie jak linki i struktura strony. To oznacza, że nawet jeśli zawartość jest zablokowana, strona może być nadal uznawana za wartościową.
Na podstawie: Źródła
