Crawl budget – czym jest i jak wpływa na SEO?

Jednym z podstawowych narzędzi zdobywania wiadomości przez konsumentów jest wyszukiwarka. Google dysponuje ogromną bazą treści, które może proponować użytkownikom jako odpowiedź na dręczące ich pytania. Jest tylko jedno „ale”. Żeby strona mogła się wyświetlić w wynikach wyszukiwania, musi najpierw zostać zaindeksowana.

Dlatego właśnie Googleboty niestrudzenie przeczesują sieć i sprawdzają witryny w poszukiwaniu wartościowych treści. Jednak ich działanie również podlega pewnym ograniczeniom: nie mogą one ciągle przebywać na tych samych stronach i sprawdzać, czy pojawia się tam coś nowego. Limitowane możliwości botów częściowo opisuje ów tajemniczy termin – crawl budget.

Czym jest crawl budget?

Jak prosto wytłumaczyć, co to jest crawl budget? Definicja mogłaby brzmieć tak: budżet indeksowania to poziom uwagi, jaką wyszukiwarki poświęcają Twojej witrynie. Określany jest na podstawie tego, jak często mogą one indeksować stronę i – co za tym idzie – z jaką regularnością będzie ona wyświetlana w wynikach.

Przeczytaj również: Co to jest crawler? Jak działa web crawler?

Crawl budget to termin wprowadzony przez branżę SEO w celu wskazania szeregu powiązanych koncepcji i systemów wykorzystywanych przez wyszukiwarki przy podejmowaniu decyzji, ile witryn i które z nich konkretnie mają być indeksowane. Jeśli zmarnujesz potencjał crawl budget, Google i inne wyszukiwarki nie będą w stanie efektywnie indeksować strony, co w konsekwencji może zaszkodzić Twojej efektywności SEO.

CB opiera się na dwóch zjawiskach:

• Crawl Rate Limit (limit indeksowania) mówi o tym, jak dużo indeksowania może obsłużyć strona i jakie są preferencje jej właściciela;
• Crawl Demand (zapotrzebowanie na indeksowanie) informuje, które adresy URL – w oparciu o ich popularność i częstotliwość aktualizacji – są warte crawlowania.

Dlaczego budżet indeksowania jest ważny?

Najprościej mówiąc: jeśli Google nie zaindeksuje strony, nie będzie się ona pojawiać w wynikach wyszukiwania. Jeżeli zatem ich liczba przekracza crawl budget witryny, pozostałe z nich nie zostaną zaindeksowane. Dlatego właśnie crawl budget jest istotny z punktu widzenia większości posiadaczy stron WWW.

Przeczytaj również: Indeksowanie, czyli jak Twoja strona wyświetla się w przeglądarce?

Istnieje kilka przypadków, w których szczególnie warto zwrócić uwagę na budżet indeksowania.

Prowadzisz dużą witrynę

Jeśli jesteś właścicielem rozbudowanej witryny, na przykład rosnącego biznesu e-commerce, który ma już ponad 10 000 podstron, Google może mieć problem ze znalezieniem ich wszystkich. Zastanów się, czy możesz ograniczyć ich liczbę.

Właśnie dodałeś kilka stron

Niedawno dołączyłeś nowe sekcje do swojej witryny z setkami stron. Upewnij się, że masz crawl budget, aby je wszystkie szybko zaindeksować.

Masz dużo przekierowań

Dużo przekierowań i ich łańcuchów pochłania Twój crawl budget. Spróbuj zredukować ich liczbę, aby usprawnić działanie budżetu indeksowania.

Działania wspomagające crawl budget (optymalizacja) są stosowane głównie w przypadku dużych stron. Jeśli witryna zawiera więcej niż 100 000 adresów URL, jest niemal pewne, że będzie ona cierpieć z powodu poważnych problemów z indeksowaniem. Jeśli jesteś właścicielem takiej strony, powinieneś zwrócić uwagę na swój crawl budget. Google na pewno zrobi to samo.

Nawet jeśli witryna na pierwszy rzut oka wydaje się mała, w rzeczywistości może zawierać dziesiątki tysięcy linków. Użycie nawigacji fasetowej może łatwo przekształcić 100 stron w 10 000 unikalnych adresów URL. Ciekawe efekty mogą także przynieść błędy w systemie zarządzania treścią. Linki, która składają się głównie z duplikatów strony głównej i kopii stron ofertowych będą przykładem takiego działania.

Przeczytaj również: Narzędzia dla webmasterów – jak je wykorzystać, by uzyskać lepsze pozycje?

Zainteresowany crawl budget? Google prawdę Ci powie

Aby zoptymalizować crawl budget swojej strony, musisz ustalić, jakie problemy mają na niego wpływ. Istnieje kilka sposobów, aby dowiedzieć się, co tak naprawdę indeksuje Googlebot na stronie.

Pierwszym krokiem może być uruchomienie Google Search Console, które jest niezbędnym narzędziem każdego specjalisty SEO. Dostarcza ono wielu przydatnych informacji dotyczących statusu strony w Google. Wśród funkcji GSC, które mogą pomóc zoptymalizować crawl budget, znajdziesz m.in. sekcję Coverage w Overview, która pokazuje liczbę zaindeksowanych stron w formie wykresu, czy raport The Index Coverage podpowiadający, które części witryny zostały odwiedzone przez Googlebota. Obejmuje on zarówno zaindeksowane adresy URL, jak i strony wykluczone z indeksu z powodu tagów kanonicznych, meta tagów noindex lub z innych przyczyn.

Przeczytaj również: Co to jest noindex? Po co używać i jak działa noindex?

Analiza logów serwera może także ujawnić kilka sekretów. Pliki te zawierają wpisy dotyczące każdej osoby odwiedzającej witrynę, w tym Googlebota. Analizując logi serwera, można znaleźć dokładne informacje na temat tego, co faktycznie zostało pobrane przez Google(wszystkie JS, CSS, obrazy i inne zasoby). Analiza ścieżki poruszania się bota pozwala zareagować wtedy, kiedy zapędzi się on w niepożądane zakamarki witryny. Pomaga w tym odpowiedni software, na przykład SEO Log File Analyser firmy Screaming Frog.

Istnieje kilka aspektów, które należy zbadać podczas analizy logów serwera:

• Kody statusów – powinny składać się głównie z kodów 200s i 301s (304s mogą się również pojawić, jeśli używasz polityki cache). Duża liczba błędów 5xx jest wyraźną wskazówką dla Google, że serwer nie jest w stanie obsłużyć żądań indeksowania bota. To spowalnia proces indeksowania i może prowadzić do tego, że Googlebot nie zbada wszystkich stron witryny.
• Najczęściej indeksowane części witryny – dobrze jest też przyjrzeć się temu, które katalogi i strony są najczęściej odwiedzane. Najlepszy wynik przynosi indeksowanie tych części, w których znajduje się najbardziej wartościowa treść.
• Parametry URL – analiza logów serwera pozwala łatwo zidentyfikować wszystkie parametry URL, które są używane na stronie. Dzięki temu można wpłynąć na zachowania bota w Google Search Console, chociażby wyłączając z indeksowania parametry, które nie zmieniają zawartości strony, np. sortowanie w obrębie kategorii.

Crawl budget – optymalizacja, której potrzebujesz!

Istnieje cały dział optymalizacji pod kątem wyszukiwarek poświęcony właśnie budżetowi indeksowania. Służy on wpływaniu na zachowanie Googlebota, aby istniejący crawl budget został dobrze wykorzystany. Ostatecznym celem jest oczywiście zaindeksowanie stron wysokiej jakości, które mają szczególne znaczenie dla operatora witryny.

Zgodnie z tą szkołą należy najpierw zidentyfikować strony, które mają niewielkie znaczenie. W szczególności dotyczy to tych z ubogą treścią lub małą ilością informacji, a także wadliwych stron, które zwracają kod błędu 404. Te strony muszą być wykluczone z indeksowania, aby budżet na indeksowanie pozostał dostępny dla stron o lepszej jakości. Następnie ważne podstrony powinny zostać zaprojektowane w taki sposób, aby były indeksowane przez boty w pierwszej kolejności.

Przeczytaj również: Co to jest błąd 404?

Możliwe działania w ramach optymalizacji crawlowania obejmują (według Digital Marketing Lexicon):

• wdrożenie płaskiej architektury strony, w której ścieżki do podstron są jak najkrótsze i wymagają tylko kilku kliknięć,
• wewnętrzne linkowanie stron z dużą ilością backlinków do stron, które mają być częściej indeksowane,
• bardzo dobre linkowanie wewnętrzne najważniejszych stron,
• wyłączenie nieistotnych stron z indeksowania poprzez robots.txt (np. strony logowania, formularze kontaktowe, obrazki),
• wykluczenie indeksowania poprzez użycie metadanych (noindex, nofollow),
• zaproponowanie sitemapy XML z listą adresów URL najważniejszych podstron.

Jeśli portfolio crawlowanych i indeksowanych stron zostanie poprawione poprzez optymalizację, także i ranking strony może ulec poprawie. Strony z dobrym rankingiem są częściej indeksowane, co z kolei przekłada się na lepszą widoczność i większe zasięgi.

Popraw swój crawl budget!

Optymalizacja crawl budget jest jednym ze sposobów wpływania na widoczność w wyszukiwarce. Sprawnie przeprowadzony proces obejmuje zarówno fazę przygotowawczą, jak i właściwą optymalizację. Poświęć czas na wstępną analizę i spojrzenie na stronę oczami bota. Pomoże Ci to wyeliminować niepotrzebne przeszkody, które mogą zniechęcać pająki Google do badania Twojej witryny. Kluczem do sukcesu jest tutaj analiza danych i trzeźwa ocena wartości poszczególnych podstron.

Jeśli marzy Ci się audyt i optymalizacja crawl budget w wielkim stylu, koniecznie daj znać.