Dlaczego Googlebot to więcej niż jeden crawler?
Dlaczego Googlebot to więcej niż jeden crawler?
Google w ostatnim podcaście ujawnia, że ich system crawlerów to nie tylko jeden, ale setki różnych narzędzi działających w ramach różnych produktów i usług. Większość z nich nie jest publicznie dokumentowana, co budzi wiele pytań w środowisku SEO.
Gary Illyes wyjaśnia, że nazwa „Googlebot” pochodzi z czasów, gdy istniał tylko jeden crawler. Dziś jednak Google korzysta z wielu różnych crawlerów, a sama nazwa pozostała, mimo że nie odnosi się już do jednego, konkretnego systemu.
Co więcej, Googlebot nie jest samodzielnym systemem, lecz klientem, który współdziała z większą wewnętrzną infrastrukturą do crawlowania. To właśnie ta infrastruktura umożliwia działanie wielu crawlerów równocześnie.
- Nazwa „Googlebot” jest historyczna
- Google operuje setkami crawlerów
- Większość crawlerów nie jest dokumentowana
Te informacje mogą wpłynąć na sposób, w jaki specjaliści SEO postrzegają procesy indeksowania i optymalizacji stron internetowych.
Na podstawie: Źródła
