Podczas hangouta specjalista ds. SEO zapytał Johna Muellera o plik robots.txt. Obawiali się, że niedozwolone strony generują ruch organiczny.
Wyjaśnili, że zablokowali dostęp do niektórych stron, ale możliwe jest, że Google indeksował te strony w przeszłości. Chociaż zabronili indeksowania, do dziś te strony nadal uzyskują sesje organiczne.
Dlaczego to się dzieje? I jak mogą to naprawić?
Pytali o dyrektywę noindex. Ale czy to właściwy sposób?
John wyjaśnił, że jeśli są to strony, których nie chcesz indeksować, wówczas użycie noindex jest lepsze niż użycie opcji disallow w pliku robots.txt.
Noindex byłby metatagiem na stronie. Aby fizycznie doszło do noindex, musisz zezwolić na indeksowanie za pośrednictwem pliku robots.txt.
Dzieje się to mniej więcej w 16:41 miejscu filmu.
Transkrypcja Hangouta Johna Muellera
Profesjonalista SEO 4 16:41
Rozumiem. A to co mówisz jest prawdopodobne, powodem jest to, że Twoje dane są coraz bardziej ograniczone na stronach z opisami produktów. Zatem granice istnieją. Dobra. Następne pytanie brzmi: w moim pliku robots.txt zablokowałem niektóre strony, niektóre strony, które zostały niedozwolone, ale jest całkiem możliwe, że Google prawdopodobnie w przeszłości indeksował te strony. A kiedy je zablokowałem, zabroniłem indeksowania i do dziś widzę, że lubią sesje organiczne. Dlaczego tak się dzieje i jak mogę to naprawić? Czytałem, że istnieje coś, co nazywa się dyrektywą noindex. Ale czy to właściwy sposób? A może powinienem kontynuować to…?
Jana 17:30
Jeśli są to strony, których nie chcesz indeksować, lepszym rozwiązaniem będzie użycie noindex niż użycie opcji disallow w pliku robots.txt. Jednak brak indeksu byłby metatagiem na stronie. Jest to więc metatag robots bez indeksu. Aby tak się stało, musisz zezwolić na indeksowanie.
Profesjonalista SEO 4 17:49
Rozumiem, dobrze. Muszę więc pozwolić na to w pliku robots. txt, ale musiałbym dodać metatag noindex do tych adresów URL.
Jana 17:57
Dokładnie.
