Nowe informacje od Google o crawl budget i zablokowanych URL-ach

Nowe informacje od Google o crawl budget i zablokowanych URL-ach

2019-06-21 21:19 Redakcja

Google wprowadziło nowe wyjaśnienia dotyczące crawl budget oraz zablokowanych adresów URL. Gary Illyes z Google zaktualizował swoje wcześniejsze informacje, rozwijając temat wpływu zablokowanych URL-i na crawl budget.

W dokumencie znalazło się kluczowe stwierdzenie: “Q: Czy URL-e, które zablokowałem przez robots.txt, mają jakikolwiek wpływ na mój crawl budget? A: Nie, zablokowane URL-e nie wpływają na crawl budget.” Oznacza to, że blokowanie konkretnych adresów URL nie wpłynie na częstotliwość indeksowania pozostałych stron w obrębie witryny.

Warto zaznaczyć, że protokół “User-agent: * Disallow: /” w pliku robots.txt służy do blokowania robotów wyszukiwarek i może być używany zarówno do zablokowania całej strony, jak i wybranych URL-i. Jak podkreślono w aktualizacji, nie ma żadnych negatywnych konsekwencji związanych z zablokowaniem URL-i, co powinno uspokoić webmasterów obawiających się o wydajność ich witryn w wynikach wyszukiwania.

Najnowsze wiadomosci ⚡📰

Nie przegap żadnego trendu, hacka ani dramy w świecie marketingu! 🧠
Mamy już ponad 155 000 artykułów i codziennie dorzucamy 50–100 nowych perełek z SEO, PR, social mediów, reklam, AI i brandingu. Do tego wywiady, nowe narzędzia pozwalające dowieźć wyniki i nutka prawa oraz bezpieczeństwa. Wszystko podane w starupowym sosie, który nigdy sie nie nudzi.
Zapisz się teraz, a Twoja skrzynka stanie się potężniejsza niż raporty z Analyticsa.