Na Twitterze specjalista ds. SEO zapytał Johna Muellera o indeksowanie predykcyjne oraz o to, czy Google używa go do indeksowania.
Ich pytanie brzmiało:
John: czy wiesz, czy Google korzysta z indeksowania predykcyjnego w wyszukiwarce Google? Dużo o tym słyszano od czasu problemu z indeksowaniem niektórych stron.
Czy jest on obecnie używany w środowisku produkcyjnym przez Google do przewidywania jakości strony/witryny?
John odpowiedział, że nie wie, co uznaliby za indeksowanie predykcyjne, ale Google posiada dokumentację na temat indeksowania i być może właśnie tego by szukali.
Krótko mówiąc, dokument nie wspomina nic o indeksowaniu predykcyjnym, ale Google indeksuje witrynę w następujący sposób:
Ogólna teoria raczkowania
Sieć to niemal nieskończona przestrzeń, przekraczająca możliwości Google w zakresie eksploracji i indeksowania każdego dostępnego adresu URL. W rezultacie istnieją ograniczenia dotyczące czasu, jaki Googlebot może spędzić na indeksowaniu dowolnej witryny. Ilość czasu i zasobów, które Google poświęca na przeszukiwanie witryny, nazywa się powszechnie budżetem przeszukiwania witryny. Pamiętaj, że nie wszystko, co zostanie zaindeksowane w Twojej witrynie, zostanie koniecznie zaindeksowane; każda strona musi zostać oceniona, skonsolidowana i oceniona w celu ustalenia, czy zostanie zaindeksowana po przeszukaniu.
Budżet indeksowania jest ustalany na podstawie dwóch głównych elementów: limitu wydajności indeksowania i zapotrzebowania na indeksowanie.
Limit wydajności indeksowania
Googlebot chce zaindeksować Twoją witrynę bez obciążania serwerów. Aby temu zapobiec, Googlebot oblicza limit wydajności indeksowania, czyli maksymalną liczbę jednoczesnych połączeń równoległych, których Googlebot może użyć do indeksowania witryny, a także opóźnienie pomiędzy pobraniami. Oblicza się to tak, aby zapewnić pokrycie wszystkich ważnych treści bez przeciążania serwerów.
Limit wydajności indeksowania może rosnąć i spadać w zależności od kilku czynników:
- Stan indeksowania: jeśli witryna przez jakiś czas odpowiada szybko, limit wzrasta, co oznacza, że do indeksowania można wykorzystać więcej połączeń. Jeśli witryna zwalnia lub odpowiada błędami serwera, limit spada, a Googlebot rzadziej indeksuje.
- Limit ustawiony przez właściciela witryny w Search Console: właściciele witryn mogą opcjonalnie ograniczyć indeksowanie ich witryny przez Googlebota. Pamiętaj, że ustawienie wyższych limitów nie spowoduje automatycznego zwiększenia indeksowania.
- Limity indeksowania Google: Google ma wiele maszyn, ale nie nieskończoną liczbę maszyn. Nadal musimy dokonywać wyborów, korzystając z zasobów, którymi dysponujemy.
Przeszukaj popyt
Google zazwyczaj poświęca tyle czasu, ile jest konieczne na indeksowanie witryny, biorąc pod uwagę jej rozmiar, częstotliwość aktualizacji, jakość strony i trafność w porównaniu z innymi witrynami.
Czynniki odgrywające znaczącą rolę w określaniu zapotrzebowania na indeksowanie to:
Postrzegane zasoby reklamowe: bez Twoich wskazówek Googlebot spróbuje zaindeksować wszystkie lub większość znanych mu adresów URL w Twojej witrynie. Jeśli wiele z tych adresów URL to duplikaty lub nie chcesz, aby były one indeksowane z innego powodu (usunięte, nieistotne itp.), powoduje to marnowanie dużej ilości czasu indeksowania Twojej witryny przez Google. Jest to czynnik, na który możesz najbardziej pozytywnie wpływać.
Popularność: adresy URL, które są bardziej popularne w Internecie, są zwykle indeksowane częściej, aby zapewnić ich aktualność w naszym indeksie.
Nieaktualność: nasze systemy chcą ponownie indeksować dokumenty wystarczająco często, aby wychwycić jakiekolwiek zmiany.
Ponadto zdarzenia obejmujące całą witrynę, takie jak przeniesienie witryny, mogą spowodować wzrost zapotrzebowania na indeksowanie w celu ponownego zaindeksowania treści pod nowymi adresami URL.
W sumie
Biorąc pod uwagę wydajność indeksowania i zapotrzebowanie na indeksowanie, Google definiuje budżet indeksowania witryny jako zbiór adresów URL, które Googlebot może i chce indeksować. Nawet jeśli limit wydajności indeksowania nie zostanie osiągnięty, a zapotrzebowanie na indeksowanie jest niskie, Googlebot będzie indeksował Twoją witrynę rzadziej.
Nie wiem, co można uznać za indeksowanie predykcyjne, ale mamy ten dokument opisujący niektóre części indeksowania: https://t.co/32rirc1JJi — może pokrywa się z tym, czego szukasz?
— 🐝 johnmu.xml (osobisty) 🐝 (@JohnMu) 1 czerwca 2022 r
Nie przeszukujemy całej sieci, więc przypuszczam/mam nadzieję, że przez ponad 20 lat ludzie pracowali nad znalezieniem sposobów, aby skupić się na przeszukiwaniu rzeczy, które są istotne. Dokument dotyczący „budżetu indeksowania” to zasadniczo ten sam temat.
— 🐝 johnmu.xml (osobisty) 🐝 (@JohnMu) 1 czerwca 2022 r
