Specjalista ds. SEO podczas segmentu pytań i odpowiedzi podczas hangouta zadał Johnowi Muellerowi pytanie dotyczące dodawania wszystkich metatagów do strony, mimo że strony są blokowane przez plik robots.txt.
Ich główne pytanie brzmi: czy powinni dodać tag noindex do strony, nawet jeśli strona jest blokowana przez plik robots.txt, a strona ma również plik kanoniczny?
Jan odpowiada: prawdopodobnie nie. Wyjaśnił, że jeśli adres URL zostanie zablokowany przez plik robots.txt, Google nie zobaczy żadnego z metatagów na stronie.
Google nie zobaczy tagu rel=canonical na stronie, ponieważ jeśli zostanie on zablokowany przez plik robots.txt, Google w ogóle nie będzie indeksować tej strony.
Jeśli chcesz, aby Google wziął pod uwagę rel=canonical lub noindex, który dodasz do strony, musisz upewnić się, że Google może sam zaindeksować stronę.
Innym aspektem jest to, że często te strony mogą zostać zaindeksowane, jeśli zostaną zablokowane przez plik robots.txt, ale zostaną zaindeksowane bez żadnej treści, ponieważ Google nie może jej zaindeksować.
Zwykle oznacza to, że strony te i tak nie pojawiają się w wynikach wyszukiwania. Jeśli więc ktoś szuka jakiegoś produktu, który sprzedajesz w Twojej witrynie, nie będzie sprawdzał, czy istnieje również strona zablokowana przez plik robots.txt, co byłoby istotne, ponieważ mają już naprawdę dobre stron witryny internetowej, które mogą normalnie indeksować i wyświetlać.
Z drugiej strony, jeśli wykonamy zapytanie site:query o ten konkretny adres URL, być może nadal będziemy widzieć ten adres URL w wynikach wyszukiwania, ale bez żadnej treści.
Dzieje się to mniej więcej w 44:23 momencie filmu.
Transkrypcja Hangouta Johna Muellera
Jana (zadane pytanie) 44:23
Mamy problem z zasobami e-commerce i filtrami, które są indeksowane, mimo że są blokowane przez plik robots.txt i mają tag kanoniczny, który wskazuje… Czy jest sens dodawać także tagi noindex?
Jana (odpowiedź) 44:38
Więc prawdopodobnie nie. Krótka odpowiedź brzmi, jak sądzę, jeśli adres URL jest blokowany przez plik robots.txt, to nie widzimy żadnego z tych metatagów na stronie. Nie widzimy na stronie parametru rel=canonical, ponieważ w ogóle jej nie indeksujemy. Jeśli więc chcesz, abyśmy w pewnym sensie wzięli pod uwagę parametr rel=canonical lub indeks noindex umieszczony na stronie, musisz się upewnić, że nie możemy tego zrobić lub że możemy zaindeksować samą stronę.
Innym aspektem jest to, że często te strony mogą zostać zaindeksowane, jeśli zostaną zablokowane przez plik robots.txt, ale zostaną zaindeksowane bez żadnej treści, ponieważ nie możemy jej zaindeksować. Zwykle oznacza to, że te strony i tak nie pojawiają się w wynikach wyszukiwania. Jeśli więc ktoś szuka jakiegoś produktu, który sprzedajesz w swojej witrynie, nie będziemy szukać, czy istnieje również strona zablokowana przez plik robots.txt, co byłoby istotne, ponieważ już to zrobiliśmy mieć naprawdę dobre strony w swojej witrynie, które możemy normalnie przeszukiwać i indeksować oraz które możemy wyświetlać.
Z drugiej strony, jeśli przeprowadzisz zapytanie w witrynie dotyczące tego konkretnego adresu URL, być może nadal zobaczysz ten adres URL w wynikach wyszukiwania bez żadnej treści. Często zauważyłem, że jest to bardziej problem teoretyczny niż praktyczny. I że teoretycznie te adresy URL mogą zostać zaindeksowane bez treści, ale w praktyce nie sprawią żadnych problemów w wyszukiwaniu. A jeśli widzisz, że pojawiają się w Twojej witrynie w odpowiedzi na praktyczne zapytania, to w większości przypadków jest to raczej znak, że reszta Twojej witryny jest naprawdę trudna do zrozumienia.
Jeśli więc ktoś wyszukuje jeden z typów Twoich produktów, a my wyświetlamy jedną z takich zrobotyzowanych stron kategorii lub zasobów, to z mojego punktu widzenia byłby to znak, że faktycznie widoczna treść w Twojej witrynie jest nie wystarczy, abyśmy zrozumieli, że zwykłe strony, które mogłeś zaindeksować, są w tym przypadku istotne.
To byłby mój pierwszy krok polegający na ustaleniu, czy zwykli użytkownicy widzą te strony podczas normalnego wyszukiwania? A jeśli ich nie widzą, to w porządku. Możesz je po prostu zignorować. Jeśli rzeczywiście widzą te strony podczas normalnego wyszukiwania, jest to znak, że może powinieneś skupić się na innych rzeczach w pozostałej części swojej witryny.
