Technologiczne, Gadżety, Telefony Komórkowe, Pobieranie Aplikacji!

Google odpowiada na pytanie: czy do indeksowania obrazów potrzebny jest plik Robots.txt?

Google odpowiada na pytanie: czy do indeksowania obrazów potrzebny jest plik Robots.txt?

Jeden ze specjalistów ds. SEO zapytał Johna Muellera podczas hangouta o indeksowanie obrazów i wymagania dotyczące pliku robots.txt.

Więc ten specjalista SEO prowadzi witrynę z przepisami. Jeśli chodzi o bogate wyniki przepisów, mają setki tysięcy przepisów, które są indeksowane.

Mają duży ruch pochodzący z galerii przepisów. Potem nagle, po pewnym czasie, ustało.

Wszystkie metadane zostały sprawdzone. Google Search Console również stwierdziło, że: „Tak. To wszystko jest bogatą zawartością przepisów. Wszystko jest dobrze. Można to pokazać.”

W końcu zauważyli na podglądzie wyniku, że brakuje obrazu. Wygląda na to, że jest to spowodowane zmianami w Google.

Zmiana polegała na tym, że jeśli do pobrania obrazów potrzebny był plik robots.txt, nic, co widzieli w narzędziach, nie oznaczało, że cokolwiek jest nieprawidłowe.

Więc to trochę niezręczne, prawda?

Kiedy zaznaczysz coś, by powiedzieć – „Czy to prawidłowy wynik przepisu?” I jest napisane: „Tak”. Jest wspaniale, jest absolutnie wspaniale.

Okazuje się jednak, że za kulisami istniał nowy wymóg posiadania pliku robots.txt.

John zapytał specjalistę ds. SEO, co to znaczy, że musi mieć plik robots.txt.

Specjalista ds. SEO stwierdził, że jeśli poprosi o plik robots.txt ze swojej sieci CDN, wyświetli się błąd 500.

Kiedy umieścili tam plik robots.txt, podglądy natychmiast zaczęły pojawiać się poprawnie, co wymagało przeszukania i umieszczenia statycznej witryny. Pod względem operacyjnym odkryli, że dodanie pliku robots.txt rozwiązało problemy z indeksowaniem.

John wyjaśnił, że z punktu widzenia Google nie jest tak, że wymagany jest plik robots.txt, ale plik robots.txt musi mieć odpowiedni kod wyniku.

Jeśli więc go nie masz, powinien zwrócić błąd 404.

Jeśli takowy posiadasz, Google może to oczywiście odczytać.

Jeśli jednak zwrócisz błąd serwera dla pliku robots.txt, ich systemy założą, że być może wystąpił problem z serwerem i nie będą indeksować.

I tak jest od początku.

Jednak tego typu problemy, zwłaszcza gdy korzystasz z sieci CDN i jest ona pod oddzielną nazwą hosta, czasami są naprawdę trudne do wykrycia.

John wyobraża sobie, że test wyników z elementami rozszerzonymi, o ile mu wiadomo, koncentruje się na treści znajdującej się na stronie HTML.

Zatem znacznik JSON-LD, który mają, prawdopodobnie nie sprawdza, czy obrazy rzeczywiście można pobrać na serwerze. Jeśli nie można ich pobrać, to oczywiście nie można ich użyć na karuzeli.

Być może Google będzie musiało lepiej się nad tym zastanowić.

Dzieje się to mniej więcej w 51:45 minucie filmu.

Transkrypcja Hangouta Johna Muellera

Profesjonalny SEO 9 51:45
Cześć John! Och, powiedziałbym, że wpadliśmy w pułapkę na tygrysa, jeśli chodzi o bogate wyniki kulinarne. Mamy setki tysięcy przepisów, które są indeksowane, a galeria przepisów generuje duży ruch. A potem nagle, czy nie, nagle, po pewnym czasie, ustało. I wszystkie metadane zostały sprawdzone. A Google… Search Console mówiła: „Tak, to wszystko zawiera bogatą treść przepisów”. Wszystko jest dobrze. Można to pokazać.

W końcu zauważyliśmy, że na podglądzie, kiedy przeglądałeś wynik, brakowało obrazu. I wygląda na to, że w Google nastąpiła zmiana. I że jeśli do pobrania obrazów potrzebny był plik robots.txt, nic, co widzieliśmy w narzędziach, nie oznaczało, że cokolwiek jest nieprawidłowe.

I dlatego jest to trochę niezręczne, prawda? Czy po zaznaczeniu czegoś do powiedzenia jest to prawidłowy wynik przepisu wzbogaconego? I mówi: tak, jest wspaniale. To jest absolutnie świetne. Mamy wszystkie metadane, a Ty sprawdzasz, czy wszystkie adresy URL i wszystkie obrazy są prawidłowe. Okazuje się jednak, że za kulisami istniał nowy wymóg posiadania pliku robots.txt.

Jana 52:48
Jak masz na myśli, że musiałeś mieć plik robots.txt?

Profesjonalista SEO 9 52:51
Odkryliśmy, że jeśli poprosiłeś o plik robots.txt z naszej sieci CDN, otrzymałeś około 500. Kiedy umieściliśmy tam plik robots.txt, podglądy natychmiast zaczęły pojawiać się poprawnie, co wymagało przeszukania i umieszczenia w witrynie statycznej , Myślę, że. Pod względem operacyjnym odkryliśmy, że dodanie pliku robots.txt spełniło swoje zadanie.

Jana 53:15
Tak. Dobra. Zatem z naszego punktu widzenia plik robots.txt nie jest wymagany, ale musi zawierać odpowiedni kod wyniku. Jeśli więc go nie masz, powinien zwrócić 404. Jeśli go masz, możemy to oczywiście odczytać. Jeśli jednak zwrócisz błąd serwera dla pliku robots.txt, nasze systemy założą, że być może wystąpił problem z serwerem i nie będziemy go indeksować. I to jest coś, co dzieje się od początku.

Ale tego rodzaju problemy, zwłaszcza gdy korzystasz z sieci CDN i jest ona pod oddzielną nazwą hosta, czasami są naprawdę trudne do wykrycia. I wyobrażam sobie, że test wyników rozszerzonych, przynajmniej o ile mi wiadomo, koncentruje się na treści znajdującej się na stronie HTML. Zatem znacznik JSON-LD, który tam masz, prawdopodobnie nie sprawdza, czy obrazy rzeczywiście można pobrać.

A jeśli nie można ich pobrać, to oczywiście nie możemy ich również użyć w karuzeli. Może to być coś, co musimy wymyślić, jak lepiej to podkreślić.

Profesjonalista SEO 9 54:21
Tak, gdyby istniał jakiś sposób, aby pokazać, że nie można odzyskać czegoś, ponieważ moim zdaniem w Search Console wszystko było w porządku. Uch, tak, to było wyzwanie. I tak naprawdę strony pojawiały się wszędzie indziej i zajmowały wysokie pozycje w rankingach. Więc to po prostu trudne.

Jeśli można powiedzieć: „Tak, nie mogliśmy czegoś zebrać”. Nie udało się pobrać tych obrazów. To będzie cenna rzecz.

Jana 54:41
Tak. Dobra. Fajny. Przekażę to dalej.