Podczas hangouta, w którym zadano segment pytań i odpowiedzi, specjalista ds. SEO zapytał Johna Muellera o pliki robots.txt.
Ich pytanie brzmiało: W jakim stopniu Google honoruje plik robots.txt? Pracują nad nową wersją swojej witryny, która jest obecnie zablokowana w pliku robots.txt.
Zamierzają używać pliku robots.txt do blokowania indeksowania niektórych adresów URL, które są ważne dla użyteczności, ale nie dla wyszukiwarek.
Chcą więc zrozumieć, że takie postępowanie jest w porządku.
John odpowiedział, że to zupełnie w porządku.
Gdy Google uzna, że w pliku robots.txt nie można wprowadzać wpisów, na pewno je zastosuje. Jedyną sytuacją, w której John zaobserwował, że to nie zadziałało, była niemożność prawidłowego przetworzenia pliku robots.txt.
Jeśli jednak Google będzie w stanie prawidłowo przetworzyć plik robots.txt i będzie on odpowiednio sformatowany, Google będzie się tego absolutnie trzymać, jeśli chodzi o indeksowanie.
Kolejnym zastrzeżeniem jest to, że zazwyczaj aktualizują pliki robots.txt, być może raz dziennie, w zależności od witryny.
Jeśli teraz zmienią plik robots.txt, może minąć około jednego dnia, zanim zmiany dotyczące blokowania lub indeksowania stron internetowych zaczną obowiązywać.
Powiedział, że specjalista ds. SEO wspomniał o blokowaniu i indeksowaniu, ale zasadniczo plik robots.txt blokowałby indeksowanie. Jeśli więc zablokowałeś indeksowanie stron ważnych dla użyteczności, ale nie dla wyszukiwarek, zwykle jest to w porządku.
Może się zdarzyć, że Google zaindeksuje adres URL bez treści. Jeśli więc wykonasz zapytanie w witrynie dotyczące tych konkretnych adresów URL, nadal będziesz je widzieć.
Jeśli jednak treść znajduje się na stronach, które można zindeksować, wówczas w przypadku każdego normalnego zapytania wykonywanego przez użytkowników podczas wyszukiwania hasła Google będzie w stanie skupić się na stronach, które są faktycznie zaindeksowane i przeszukane, i wyświetli je w wyniki wyszukiwania.
Z tej perspektywy wszystko jest w porządku.
Dzieje się to mniej więcej w 42:34 momencie filmu.
Transkrypcja Hangouta Johna Muellera
Jana (zadane pytanie) 42:34
W jakim stopniu Google honoruje plik robots.txt? Pracuję nad nową wersją mojej witryny, która jest obecnie zablokowana plikiem robots.txt. Zamierzam używać pliku robots.txt do blokowania indeksowania niektórych adresów URL, które są ważne dla użyteczności, ale nie dla wyszukiwarek. Dlatego chcę zrozumieć, że wszystko jest w porządku.
Jana (odpowiedź) 42:52
To zupełnie w porządku. Jeśli więc rozpoznamy wpisy zakazujące w pliku robots.txt, bezwzględnie będziemy ich przestrzegać. Jedyna sytuacja, w której to nie zadziałało, to niemożność prawidłowego przetworzenia pliku robots.txt. Jeśli jednak uda nam się poprawnie przetworzyć plik robots.txt i będzie on odpowiednio sformatowany, będziemy się tego absolutnie trzymać, jeśli chodzi o indeksowanie. Kolejnym zastrzeżeniem jest to, że zazwyczaj aktualizujemy pliki robots.txt, może raz dziennie, w zależności od witryny.
Jeśli więc teraz zmienisz plik robots.txt, może minąć dzień, zanim zacznie to obowiązywać. Jeśli chodzi o blokowanie, indeksowanie, wspomniałeś o blokowaniu, indeksowaniu, ale zasadniczo o robotach. txt blokowałby indeksowanie. Jeśli więc zablokowałeś indeksowanie stron ważnych dla użyteczności, ale nie dla wyszukiwarek, zwykle jest to w porządku. Stałoby się lub mogłoby się zdarzyć, że zaindeksujemy adres URL bez treści.
Jeśli więc wykonasz zapytanie w witrynie dotyczące tych konkretnych adresów URL, nadal będziesz je widzieć. Jeśli jednak treść znajduje się na Twoich stronach, które można indeksować, wówczas w przypadku każdego normalnego zapytania wykonywanego przez użytkowników, gdy szukają określonego hasła na Twoich stronach, będziemy mogli skupić się na stronach, które są faktycznie indeksowane i przeszukiwane, i wyświetlać te, które znajdują się w wyniki wyszukiwania. Więc z tego punktu widzenia wszystko jest w porządku.
