W tym odcinku Zapytaj SEO Brian omawia podstawy pliku robots.txt i pokazuje, jak najlepiej wykorzystać go do SEO.
Od najlepszych praktyk po składnię i symbole wieloznaczne — Brian prowadzi Cię przez najczęstsze błędy i rozwiązania problemów, które możesz napotkać podczas kodowania pliku robots.txt.
Witamy w 18. odcinku „Zadaj pytanie SEO”. Dzisiejsze pytanie brzmi: czym jest plik robots.txt i jak mogę poprosić Cię o FCO? W porządku. Plik robots.txt to tak naprawdę prosty plik znajdujący się w katalogu głównym Twojej domeny i umożliwiający blokowanie indeksowania niektórych sekcji Twojej witryny.
To właściwie jego główna funkcja. Jeśli więc masz coś, dla czego naprawdę nie chcesz być klasyfikowany lub nie chcesz, aby Google był indeksowany lub przeszukiwany, umieść to w pliku robots.txt. Jest kilka kwestii, które Google bierze pod uwagę w przypadku tego typu plików, więc przyjrzyjmy się im i przejdźmy od razu do rzeczy.
W porządku. To jest dokumentacja Google Web Developer dotycząca plików robots.txt. Przejdziemy przez to linijka po linijce, jeśli chodzi o konkretne przykłady. W porządku. Przejdźmy do tego.
Tak więc pierwszą rzeczą, którą tak naprawdę pokazują, są przykłady prawidłowych adresów URL pliku robots.txt. Jest to dość ważne, aby omówić tę kwestię, ponieważ ostatnią rzeczą, którą chcesz zrobić, jest uwzględnienie określonych adresów URL, które nie są konkretnie prawidłowe, zgodnie z tymi konkretnymi wytycznymi Google.
Należy zauważyć, że w większości przypadków, gdy faktycznie dołączysz ścieżkę na przykład do pliku robots.txt, zwykle nie będziesz dołączać pełnego adresu URL. Zwykle dołączasz strukturę katalogów zaczynającą się od miejsca, w którym chcesz, aby Google przestał przeszukiwać i indeksować, prawda?
Następnie mówią o obsłudze błędów i kodach stanu HTTP. Ważne jest również, aby wziąć to pod uwagę, ponieważ jest to coś, co… Google weźmie pod uwagę podczas indeksowania… kiedy poprawnie indeksuje witrynę lub za każdym razem, gdy Google indeksuje witrynę i masz określony kod błędu, który w rezultacie pojawia się wraz z kodem błędu, będzie to miało również wpływ na Twoje indeksowanie. Dlatego ważne jest, aby wziąć je pod uwagę. Jeśli tego nie zrobisz, ryzykujesz wprowadzeniem błędów, które nie powinny się tam znajdować.
Jeśli chodzi o prawidłową składnię, której Google faktycznie chce, abyś przestrzegał: chcesz postępować zgodnie ze składnią opisaną tutaj, prawda? Zatem w przypadku klienta użytkownika dyrektywy zezwalaj, nie zezwalaj i mapy witryny — są to najczęściej używane pola w pliku robots.txt. Dlatego zawsze najprawdopodobniej będziesz chciał zidentyfikować konkretnego klienta użytkownika.
Będzie to robot, któremu zezwolisz na przeszukiwanie katalogów w Twojej witrynie. Następnie możesz specjalnie zezwolić na indeksowanie ścieżki, ale tak naprawdę jest to w większości zbędne, jeśli chodzi o Google, ponieważ Google i tak będzie indeksował.
To ich domyślna opcja. Tak naprawdę nie musisz włączać zezwolenia, chyba że chcesz podejść do tego bardziej analnie, jak sądzę, z jakiegokolwiek powodu. Tak czy inaczej, blokowanie będzie prawdopodobnie najczęściej używanym poleceniem, którego będziesz używać w pliku robots.txt.
Na koniec będziesz także chciał zadeklarować, gdzie konkretnie znajduje się Twoja mapa witryny na serwerze. Umożliwi to Google prawidłowe znalezienie i zindeksowanie tych konkretnych map witryn na Twoim serwerze, zamiast polegać na przypadkowych domysłach co do tego, gdzie się one znajdą.
Bardzo ważne jest, aby postępować zgodnie z dokumentacją Google Web Developer, ponieważ pokaże ona wiele takich przypadków, na przykład gdy masz grupy linii i reguł. Pokaże Ci formatowanie, konkretne reguły i sposób grupowania tych linii w pliku robots.txt.
Może to więc być bardzo przydatny podręcznik rozwiązywania wszelkich możliwych problemów, które możesz napotkać podczas ustalania dokładnej przyczyny problemu z plikiem robot.txt. Chcesz także mieć pewność, że postępujesz zgodnie z niektórymi zaleceniami dotyczącymi dopasowywania adresów URL na podstawie wartości ścieżek.
Zatem dowolna z tych wartości ścieżki, na przykład gwiazdka, będzie oznaczać zero lub więcej wystąpień, więcej wystąpień dowolnego prawidłowego znaku, a znak dolara będzie oznaczać koniec adresu URL. Są to pewne elementy zastępcze w pliku robots.txt, które zachowują się w określony sposób, gdy ich używasz.
Jeśli więc nie użyjesz ich poprawnie, możesz w ten sposób wprowadzić błędy w przeszukiwaniu i indeksowaniu. W porządku, to tyle w dzisiejszym, 18. odcinku Zapytaj SEO. Tu Brian Harnish się podpisuje. Nie zapomnij polubić i zasubskrybować naszego kanału YouTube, aby co tydzień otrzymywać zupełnie nowy odcinek.
Miłego dnia!
