Cloudflare blokuje Perplexity: Koniec z nieetycznym crawlowaniem!
Cloudflare blokuje Perplexity: Koniec z nieetycznym crawlowaniem!
Cloudflare ogłosił, że usunął Perplexity z listy zweryfikowanych botów oraz aktywnie blokuje jego crawlera oraz wszystkie związane z nim boty stealth. Decyzja ta jest wynikiem licznych skarg od użytkowników dotyczących naruszeń zasad robots.txt.
Podczas dochodzenia stwierdzono, że Perplexity stosował agresywne taktyki, aby zmusić swoje crawlers do dostępu do stron internetowych, co budzi poważne wątpliwości co do etyki tego działania.
System Verified Bots Cloudflare pozwala na białą listę botów, które przestrzegają określonych zasad, takich jak posłuszeństwo wobec protokołów robots.txt. Tylko te boty mogą korzystać z przywilejów, które oferuje Cloudflare.
Naruszenia ze strony Perplexity stawiają pod znakiem zapytania przyszłość tego narzędzia w kontekście crawlowania i mogą wpłynąć na jego reputację w branży.
Na podstawie: Źródła
