Uwaga na blokowanie stron w robots.txt!
Uwaga na blokowanie stron w robots.txt!
Google ostrzega, że strony zablokowane przez robots.txt mogą nadal być indeksowane, jeśli istnieją do nich linki. To może prowadzić do problemów, ponieważ Google uzna te strony za pozbawione treści, co uniemożliwia ich odpowiednie zindeksowanie.
John Mueller, przedstawiciel Google, podkreśla, że jeśli posiadasz treści na swojej stronie, których nie chcesz, aby Google widział, najlepszym rozwiązaniem jest użycie noindex meta tagu. W przeciwnym razie, zablokowane strony mogą być wciąż widoczne w wynikach wyszukiwania.
Temat ten został poruszony podczas ostatniego spotkania Webmaster Central, gdzie właściciel strony pytał, czy wystarczy "zabronić" indeksowania stron, które nie są istotne. Mueller zaznaczył, że może się zdarzyć, że ktoś przypadkowo doda link do takiej zablokowanej strony.
Na podstawie: Źródła








