Jak Google Indeksuje Zablokowane Strony? Nowe Spojrzenie na Robots.txt

Jak Google Indeksuje Zablokowane Strony? Nowe Spojrzenie na Robots.txt

2019-03-28 14:56 Redakcja

W ostatnim czasie temat indeksowania zablokowanych stron przez Google zyskał na znaczeniu, dzięki wypowiedziom Johna Muellera. Jego reakcja na tweet Barry'ego Adamsa z Polemic Digital otworzyła nowe spojrzenie na funkcjonalność pliku robots.txt.

Mueller podkreślił, że Google może indeksować URL-e, które są zablokowane przez robots.txt, co jest zgodne z zamysłem twórców tego protokołu. W praktyce oznacza to, że strony mogą być widoczne w wynikach wyszukiwania, mimo że zostały zablokowane dla robotów wyszukiwarek.

Barry Adams zwrócił uwagę, że robots.txt to narzędzie do zarządzania crawlingiem, a nie indeksowaniem. Warto zatem mieć to na uwadze, planując strategię SEO. Często to linki prowadzące do zablokowanych stron mogą być przyczyną ich indeksowania, co zaskakuje wielu wydawców.

Najnowsze wiadomosci ⚡📰

Nie przegap żadnego trendu, hacka ani dramy w świecie marketingu! 🧠
Mamy już ponad 155 000 artykułów i codziennie dorzucamy 50–100 nowych perełek z SEO, PR, social mediów, reklam, AI i brandingu. Do tego wywiady, nowe narzędzia pozwalające dowieźć wyniki i nutka prawa oraz bezpieczeństwa. Wszystko podane w starupowym sosie, który nigdy sie nie nudzi.
Zapisz się teraz, a Twoja skrzynka stanie się potężniejsza niż raporty z Analyticsa.