Problemy z indeksacją stron − jakie mogą być przyczyny?

Problemy z indeksacją strony – najczęstsze przyczyny

Przyczyny problemów z indeksacją najczęściej wynikają z problemów natury technicznej, niemniej jednak zdarza się, że przyczyną takich problemów może być niska jakość treści na stronie. Jakie błędy najczęściej wywołują problemy z indeksacją stron? 

Błędy serwera (np. kody błędów 5xx)

Błędy występujące po stronie serwera – czyli takie z kodami błędów rozpoczynającymi się od liczby 5, mogą uniemożliwić indeksowanie stron, z powodu uniemożliwienia botom dostanie się do Twojej witryny. Do najpopularniejszych błędów 5xx należą: 

• 500 internal server error,
• 501 not implemented error,
• 502 bad gateway error,
• 503 service unavailable error. 

Zablokowane przez plik robots.txt

Robots.txt to plik, który służy do regulowania dostępu botów przeglądarek do różnych obszarów witryny. Oznacza to, że za jego pomocą możesz on nakazać botom Google ignorowanie Twoich stron. I to może być powodem ich niezaindeksowania przez wyszukiwarkę. 

Dlatego też warto upewnić się, że plik robots.txt został odpowiednio zoptymalizowany pod kątem SEO. Zasadniczo należy wyłączać tylko treści o niskiej jakości lub pliki, do których nie chcesz, aby miały dostęp nieuprawnione do tego osoby.

Błędne przekierowania (np. pętle przekierowań)

Tworzenie przekierowań jest istotnym elementem poprawnego zarządzania treściami oraz ich strukturą w witrynie internetowej. Zamiast wysyłać użytkownika na stronę, która przestała istnieć i uniknąć wyświetlania informacji o błędzie, można przekierować go na stronę, która zawiera informacje, których szukał.

Jeśli jednak nie będziesz ostrożny, możesz przypadkowo utworzyć błędy przekierowania, które uniemożliwiają indeksowanie stron. Przykładem może być nieumyślne utworzenie niekończącej się pętli przekierowań – czyli przekierowania użytkownika z jednego adresu, na kolejny, który wywołuje kolejne przekierowanie itd.

Atrybut ‘noindex’ 

Atrybut „noindex” to narzędzie, którego webmasterzy używają do instruowania robotów indeksujących wyszukiwarek, aby nie uwzględniały określonej strony w swoim indeksie – podobnie jak ma to miejsce w przypadku pliku robots.txt. Chociaż atrybut ten może być przydatny do wykluczania wrażliwych lub nieistotnych stron z wyników wyszukiwania, jej nieprawidłowe użycie może prowadzić do problemów z indeksem Google.

Niewystarczający crawl budget

Jeśli prowadzisz większą witrynę, kolejną rzeczą, która może prowadzić do problemów z indeksowaniem stron, jest przekroczony tzw. crawl budget. 

Duża liczba podstron nie jest problemem samym w sobie, jest nim jednak to, w jakim tempie boty Google „przeczesują” Twoją stronę internetową, indeksując kolejne podstrony. Takie problemy mogą być wywołane np. poprzez zbyt dużą liczbę podstron zawierających treści słabej jakości.

Jeśli zauważysz więc problemy z indeksowaniem kolejnych podstron swojej witryny, możesz przeprowadzić jej audyt i zastanowić się, które strony są niezbędne, a których możesz się pozbyć lub połączyć ich zawartość z innymi podstronami, np. konsolidując wszelkie treści zduplikowane lub słabej jakości. 

Aby sprawdzić stan crawl budget Twojej strony, możesz zapoznać się z raportem Statystyki indeksowania w Search Console.

Zdj. 1. Widok Statystyk indeksowania w panelu Google Search Console. Źródło: Google Search Console

Duża liczba podstron nie jest problemem samym w sobie, jest nim jednak to, w jakim tempie boty Google „przeczesują” Twoją stronę internetową indeksując kolejne podstrony. 

Jeżeli Twoja strona internetowa składa się z 250 tysięcy podstron, a boty indeksują tylko 2500 podstron dziennie – „przejrzenie” całej witryny, zakładając, że niektóre podstrony takie jak np. strona główna są „odwiedzane” przez boty częściej niż pozostałe, może zająć im nawet ponad 200 dni. 

Problem z crawl budget zaczyna się wtedy gdy boty Googla crawlują ponad dziesięć razy mniej stron dziennie niż składa się na Twoją witrynę.

Narzędzia do diagnozy indeksacji stron przez Google

Na rynku istnieje kilka narzędzi, które mogą okazać się pomocne podczas monitorowania statusu Twojej strony internetowej oraz tego, czy wszystkie podstrony są prawidłowo indeksowane. Wykorzystanie tych narzędzi sprawia, że optymalizacja strony pod kątem indeksacji będzie znacznie łatwiejsza. 

Niemniej jednak, aby sprawdzić to, czy podstrony Twojej witryny są prawidłowo zaindeksowane i widoczne w wynikach wyszukiwania wystarczy w wyszukiwarce Google wpisać: “site:[twojadomena]”. W ten sposób wyniki wyszukiwania zwrócą wszystkie podstrony w Twojej domenie, które do tej pory zostały zaindeksowane przez wyszukiwarkę.

Google Search Console

Wdrożenie Google Search Console to jedna z kilku podstawowych czynności przy pozycjonowaniu strony internetowej. GSC pozwoli Ci m.in. na monitorowanie statusu indeksowania stron, rozpoznawanie błędów crawlawania, jak również analizowanie danych dotyczących tego, jak Twoja witryna radzi sobie w wynikach wyszukiwania. Narzędzie to umożliwia również testowanie pliku robots.txt i map witryny (sitemaps).

Screaming Frog SEO Spider

Screaming Frog to narzędzie do analizy i audytu on-site SEO. Można wykorzystać je do przeszukiwania stron w poszukiwaniu problemów technicznych, takich jak:

• niedziałające linki, 
• błędne przekierowania, 
• duplikaty treści, 
• brakujące meta tagi 
• oraz wielu innych problemów technicznych, które mogą wpływać na indeksację.

Uzyskanie informacji o tym, czy dana podstrona jest widoczna w Google, wymaga zintegrowania Screaming Frog z GSC. Dzięki tej integracji otrzymasz bardziej szczegółowe informacje dotyczące podstron i ich widoczności w wynikach wyszukiwania oraz możliwych przyczyn takiego stanu rzeczy, m.in. dotyczących problemów z mobilną wersją strony.

Ahrefs

Ahrefs to jeden z najlepszych kombajnów SEO na rynku. Za jego pomocą możesz sprawdzić m.in.: 

• czy nie pojawiły się problemy z indeksacją, 
• dokonać analizy linków zwrotnych i przeprowadzić ogólną ocenę „zdrowia” strony pod kątem SEO,
• wyszukiwać słowa kluczowe,
• analizować treści konkurencji,
• śledzić pozycje witryny i jej podstron.

Ahrefs umożliwia przeprowadzenie researchu fraz kluczowych nie tylko w Google, ale również w wyszukiwarce Amazona czy YouTube

Semrush

Podobnie jak Ahrefs, Semrush może być traktowany jako zbiór narzędzi przydatnych nie tylko w SEO, ale również szeroko pojętym marketingu internetowym. Od identyfikowania słów kluczowych i analizowania profilu linków konkurencji po monitorowanie obecności w mediach społecznościowych, Semrush posiada zestaw narzędzi, zawierających unikalne funkcje, które można wykorzystać do dostosowywania, monitorowania i ulepszania kampanii. 

Lumar (dawnej DeepCrawl)

To narzędzie umożliwia szczegółowe przeszukiwanie strony w celu identyfikacji i rozwiązywania problemów technicznych, które mogą blokować lub ograniczać indeksację przez wyszukiwarki. Lumar pozwala na bieżąco monitorować wszelkie wprowadzane na stronie zmian. Narzędzie informuje Cię o możliwych problemach w sposobie działania Twojej witryny w czasie rzeczywistym. 

Index Checker

Index Checker to narzędzie dedykowane weryfikacji statusu zaindeksowania podstron na Twojej stronie internetowej. Głównymi funkcjami tego narzędzia jest monitorowanie statusu podstron. Index Checker informuje nie tylko o momencie kiedy dana podstrona zostanie zaindeksowana przez Google, ale również o tym gdy podstrona zostanie wyindeksowana i zniknie z wyników wyszukiwania. 

Index Checker pozwala na weryfikowanie statusu indeksacji dowolnej strony internetowej, dzięki czemu możesz np. sprawdzić, czy strony, które linkują do Twojej witryny, zostały zaindeksowany i tym samym uzyskane backlinki są skuteczne.   

Jak rozwiązać problemy z indeksacją stron?

Poprawa indeksacji stron może zwiększyć widoczność Twojego serwisu. Mogą być to błędy serwera, zablokowane pliki robots.txt., używanie atrybutu ‘noindex’ czy niska jakość treści na stronie. Optymalizacja strony pod kątem SEO powinna więc uwzględniać regularne monitorowanie, czy Twoja strona prawidłowo się indeksuje. Możesz wykorzystać do tego różne narzędzia, np. Ahrefs czy Semrush.

Jeżeli jednak zadanie to Cię przerasta, najlepiej nawiązać współpracę z doświadczoną agencją SEO, która nie tylko ma dostęp do – nie raz bardzo drogich – kombajnów SEO, ale i ma doświadczenie w optymalizacji.