Jeden ze specjalistów ds. SEO zapytał Johna Muellera podczas hangouta, czy powinni blogować za pomocą pliku robots.txt, czy też używać na stronie metatagu robots?
Jak najlepiej zapobiegać pełzaniu?
John wyjaśnił, że pojawia się to od czasu do czasu, i jakiś czas temu nakręcili odcinek podcastu na ten temat.
W praktyce jest tu subtelna różnica i jeśli jesteś specjalistą ds. SEO i pracowałeś z wyszukiwarkami, prawdopodobnie już to rozumiesz.
Jednak dla nowych osób czasami nie jest jasne, gdzie dokładnie przebiegają wszystkie linie.
Dzięki plikowi robots.txt, który jest pierwszym, o którym wspomniano w pytaniu, możesz zablokować indeksowanie, dzięki czemu możesz uniemożliwić Googlebotowi nawet przeglądanie Twoich stron.
Dzięki metatagowi robots, gdy Googlebot przegląda Twoje strony i widzi metatag robots, możesz na przykład blokować i indeksować.
W praktyce oba te działania mogą skutkować tym, że Twoje strony nie pojawią się w wynikach wyszukiwania.
Jednak różnią się one nieznacznie.
Jeśli więc Google nie może zaindeksować strony, nie wie, czego brakuje. I może być tak, że dobrze mówią, właściwie jest wiele odniesień do tej strony, może do czegoś się przyda, nie wiedzą.
A wtedy ten adres URL mógłby pojawić się w wynikach wyszukiwania bez żadnej treści, ponieważ Google nie może na niego spojrzeć.
Podczas gdy w przypadku metatagu robots, jeśli mogą spojrzeć na stronę, mogą spojrzeć na metatag i sprawdzić, czy jest tam na przykład noindex, następnie przestają indeksować tę stronę, a następnie całkowicie usuwają ją z wyszukiwania wyniki.
Jeśli chcesz zablokować indeksowanie, najlepszym rozwiązaniem będzie plik robots.txt. Jeśli nie chcesz, aby strona pojawiała się w wynikach wyszukiwania, John wybierze tę, która będzie dla Ciebie łatwiejsza do wdrożenia.
W niektórych witrynach łatwiej jest ustawić pole wyboru informujące, że nie chcesz tej strony w wyszukiwaniu, a następnie dodać metatag noindex w innych.
A może łatwiej będzie Ci edytować plik robots.txt. To zależy od tego, co masz.
Dzieje się to około 14:20 na filmie.
Transkrypcja Hangouta Johna Muellera
Jan (pytanie)
OK, zobaczmy. Upraszczając trochę pytanie: co jest lepsze, blogowanie za pomocą pliku robots.txt czy używanie metatagu robots na stronie? Jak najlepiej zapobiegać pełzaniu?
Jan (odpowiedź)
Więc to też się pojawia od czasu do czasu. Niedawno nakręciliśmy też o tym odcinek podcastu. Więc sprawdziłbym to. Podcasty dostępne są także na kanale YouTube. Możesz więc trochę poklikać i prawdopodobnie szybko to znajdziesz. W praktyce istnieje tu subtelna różnica: jeśli jesteś specjalistą ds. SEO, pracowałeś z wyszukiwarkami i prawdopodobnie już to rozumiesz, ale dla osób, które są nowicjuszami w tej dziedzinie, czasami nie jest jasne, gdzie dokładnie znajdują się te wszystkie linie są.
A za pomocą pliku robots.txt, który jest pierwszym, o którym wspomniałeś w pytaniu, zasadniczo możesz zablokować indeksowanie, dzięki czemu możesz uniemożliwić Googlebotowi nawet przeglądanie Twoich stron. Dzięki metatagowi robots, gdy Googlebot przegląda Twoje strony i widzi metatag robots, możesz na przykład blokować indeksowanie. W praktyce oba tego typu wyniki na Twoich stronach nie pojawiają się w wynikach wyszukiwania. Ale różnią się nieznacznie. Jeśli więc nie możemy się czołgać, nie wiemy, co tracimy.
I może się zdarzyć, że powiemy: cóż, właściwie jest wiele odniesień do tej strony, może do czegoś się przyda, po prostu nie wiemy. A wtedy ten adres URL mógłby pojawić się w wynikach wyszukiwania bez żadnej treści, ponieważ nie możemy na niego spojrzeć. Podczas gdy w przypadku metatagu robots, jeśli możemy spojrzeć na stronę, możemy spojrzeć na metatag i sprawdzić, czy jest tam na przykład noindex, wtedy przestajemy indeksować tę stronę, a następnie całkowicie usuwamy ją z wyszukiwania wyniki. Jeśli więc chcesz zablokować indeksowanie, zdecydowanie najlepszym rozwiązaniem będzie plik robots.txt. Jeśli po prostu nie chcesz, aby strona pojawiała się w wynikach wyszukiwania, wybrałbym tę, która jest dla Ciebie łatwiejsza do wdrożenia. W niektórych witrynach łatwiej jest zaznaczyć pole wyboru informujące, że nie chcę, aby ta strona była znajdowana w wyszukiwarce. Następnie dodaje metatag noindex. W innych może łatwiej jest edytować plik robots.txt, zależy to od tego, co tam masz. W porządku.
