Jak Google Indeksuje Zablokowane Strony? Nowe Spojrzenie na Robots.txt
Jak Google Indeksuje Zablokowane Strony? Nowe Spojrzenie na Robots.txt
W ostatnim czasie temat indeksowania zablokowanych stron przez Google zyskał na znaczeniu, dzięki wypowiedziom Johna Muellera. Jego reakcja na tweet Barry'ego Adamsa z Polemic Digital otworzyła nowe spojrzenie na funkcjonalność pliku robots.txt.
Mueller podkreślił, że Google może indeksować URL-e, które są zablokowane przez robots.txt, co jest zgodne z zamysłem twórców tego protokołu. W praktyce oznacza to, że strony mogą być widoczne w wynikach wyszukiwania, mimo że zostały zablokowane dla robotów wyszukiwarek.
Barry Adams zwrócił uwagę, że robots.txt to narzędzie do zarządzania crawlingiem, a nie indeksowaniem. Warto zatem mieć to na uwadze, planując strategię SEO. Często to linki prowadzące do zablokowanych stron mogą być przyczyną ich indeksowania, co zaskakuje wielu wydawców.
Na podstawie: Źródła
