Dlaczego Google przeszukuje nieistniejące strony?
Dlaczego Google przeszukuje nieistniejące strony?
John Mueller z Google w swoim wystąpieniu na Webmaster Central Hangout wyjaśnił, dlaczego Google przeszukuje strony, które nie istnieją. Dla wielu wydawców internetowych jest to frustrujące, ponieważ woleliby, aby Google skupiło się na istniejących stronach.
Mueller poruszył kwestię budżetu indeksowania i wskazał, że przeszukiwanie stron 404, czyli tych, które zwracają błąd, jest częścią procesu. Wydawcy często zastanawiają się, czy powinni blokować Googlebota przed przeszukiwaniem nieistniejących stron.
Warto zauważyć, że błąd 404 oznacza, iż serwer nie mógł zlokalizować żądanej strony. Z kolei błąd 410 informuje, że strona została intencjonalnie usunięta i nie wróci. W przypadku przeszukiwania stron 404, Google może wykorzystać te informacje do lepszego zrozumienia struktury witryny.
Na podstawie: Źródła
