Dlaczego strona nie jest indeksowana?

Porozmawiajmy o kilku rodzajach problemów z indeksowaniem i o tym, jak je rozpoznać.

Smutna statystyka: średnio 15–20% adresów URL strony nie trafia do indeksu. I nie są to podstrony techniczne. Mowa o adresach podstron, które spokojnie mogłyby przynosić ruch oraz generować leady i sprzedaż.

Do tego dochodzą problemy z częściowym indeksowaniem podstron.

Częściowe indeksowanie to sytuacja, w której Twój adres URL jest zaindeksowany przez Google, ale część zawartości podstrony nie — z wielu powodów.

W tej części podstrony może być wideo, kalkulator online albo inna usługa, która ma tworzyć dodatkową wartość dla użytkownika.

Większe strony, więcej problemów

Z problemami indeksowania mierzą się głównie właściciele dużych serwisów. Im więcej adresów URL, tym większe prawdopodobieństwo kłopotów. Dwa wyraziste przykłady:

• na stronie Walmartu zaindeksowanych przez Google jest tylko 61% podstron;
• na Yoox.com, marketplace z modną odzieżą, tylko 19%.

Z problemem mierzą się sklepy, blogi i portale branżowe.

Około 20% podstron serwisu Medium.com nie trafia do indeksu Google. To ogromna lista adresów.

Trochę historii. Problemy z indeksowaniem to nie tylko JavaScript

Częściowe indeksowanie treści nie jest problemem, który pojawił się dziś. W 2017 roku wszystko było oczywiste: Google indeksowało tę część podstrony, która napisana była w HTML-u, a pomijało elementy zbudowane w JavaScripcie.

Z czasem okazało się jednak, że to nie jedyna przyczyna problemów z indeksowaniem.

Coraz więcej stron bez JavaScriptu mierzy się z częściowym indeksowaniem. Żeby znaleźć przyczyny, trzeba najpierw ocenić skalę problemu.

Indeksowanie adresów URL

Ten problem jest bodaj najprostszy. Jeśli Twój adres URL nie jest indeksowany przez Google w całości, trzeba pilnie coś zmienić.

Dlaczego nazywa się to indeksowaniem URL? Wcześniej używano zamiast tego terminu „indeksowanie HTML”, ale zrozumiano, że nie do końca oddaje on istotę problemu.

Takich przykładów jest bardzo wiele na stronie Yoox.

Jak sprawdzić, że adres nie jest indeksowany? Zacznij od operatorów wyszukiwania. Jest kilka wariantów:

1. Użyj operatora site: i sprawdź, czy w wynikach są konkretne adresy, z którymi masz kłopot;
2. Nazwa marki w połączeniu z operatorem site. Wpisz w pole wyszukiwania nazwę marki i operator site. W wynikach zobaczysz, czy podstrony z produktami tej marki zostały zaindeksowane.
3. Konkretne zapytanie w połączeniu z operatorem site. Zasada jest ta sama: takie połączenie mówi, czy podstrony zostały zaindeksowane pod dane zapytanie.

Częściowe indeksowanie mobile-first

Indeksowanie i skanowanie w wynikach mobilnych wiąże się z kilkoma ciekawymi nowymi problemami. Wiele stron przedstawia dwie osobne wersje treści, zależnie od urządzenia, z którego korzysta odwiedzający.

Może to powodować problemy z indeksowaniem. Adres na zrzucie jest zaindeksowany.

Ale czy w całości? Od tego pytania zaczyna się najciekawsze. Porozmawiajmy o diagnozowaniu problemów z indeksowaniem. Na początek porównujemy wersję mobilną i desktopową podstrony.

Najprostszy sposób to wizualne porównanie dwóch wersji tej samej podstrony. Na zrzucie poniżej zobaczysz na przykład, że w jednej z nich brakuje fragmentu tekstu.

Drugi wariant to skorzystanie z serwisu Diffchecker. Wymaga on oczywiście umiejętności czytania kodu HTML, ale gdy się przyzwyczaisz, okaże się, że nie jest to takie trudne.

Rada z doświadczenia: wersję mobilną najlepiej umieścić w oknie po lewej. Różnica między fragmentami kodu będzie wtedy lepiej widoczna.

Po kilku minutach zobaczysz fragmenty treści widoczne wyłącznie w wersji desktopowej.

Żeby ostatecznie upewnić się, że podstrona jest zaindeksowana częściowo, użyj operatorów wyszukiwania. Znajdź fragment, który się nie zaindeksował, i wklej go w pole wyszukiwania. Następnie weź go w cudzysłów i dodaj po nim operator site ze wskazaniem analizowanej strony.

Jeśli wyszukiwarka nie pokaże nic, strona faktycznie ma problemy z częściowym indeksowaniem.

Częściowe indeksowanie a JavaScript (najczęstszy problem)

Zdziwisz się, widząc, na ilu stronach znaczna część treści nie jest indeksowana przez Google.

Częściowe indeksowanie JavaScriptu to najczęstszy i niestety najpoważniejszy problem, bo często dotyczy głównej treści podstrony. W efekcie adres nie może wspiąć się na wysokie pozycje.

Trudności z indeksowaniem najczęściej biorą się z treści dynamicznych. Spójrzmy na przykład Walmartu:

Jeden z powodów, dla których wybraliśmy ten adres: treść JavaScript wczytuje się nad głównym produktem, zapewne dlatego, że produktu tego chwilowo nie ma w magazynie.

Treść JavaScript pojawia się w obu wersjach adresu, ale w mobilnej znajduje się pod opisem.

Jak wykryć częściowe indeksowanie wywołane JavaScriptem

Najpierw wyłącz JavaScript w przeglądarce i zobacz, które elementy podstrony się nie wyświetlają.

Zostaje tylko sprawdzić, czy Google zdecydowało się wyrenderować i zaindeksować treść zależną od JavaScriptu. Wystarczy połączyć operator site: z nagłówkiem z bloku JavaScript. W omawianym przykładzie jest to „Consider this popular products”.

Jak to naprawić?

Rozwiązanie tego problemu to temat na osobny artykuł; tutaj opiszemy kilka wariantów:

• Skonfigurować renderowanie po stronie serwera (rozwiązanie preferowane) albo prerenderowanie (często nie najlepsze) treści JavaScript na potrzeby wyszukiwarek.
• Rozważyć optymalizację kodu JavaScript odpowiadającego za budowę sekcji z treścią dynamiczną. W przypadku Walmartu jest to konieczne ze względu na wszystkie problemy z wydajnością i UX (przesunięcie układu), które ta sekcja powoduje.
• Pomyśleć o usunięciu tej sekcji w całości. Może się to wydać przesadą, ale w niektórych przypadkach, jeśli Twój zespół nie potrafi szybko zoptymalizować sekcji, usunięcie jej do czasu, aż to zrobi, bywa lepszym rozwiązaniem i dla użytkowników, i dla wyszukiwarek.

Częściowe indeksowanie z powodu układu strony

To jedno z nowszych odkryć w obszarze SEO, indeksowania i tego, jak Google rozumie układ Twojej podstrony. Pracownicy Google faktycznie potwierdzili problemy z indeksowaniem wynikające z układu.

Zobaczmy, jak powstaje problem częściowego indeksowania z powodu układu.

Google ma ograniczone zasoby.

Sieć codziennie zalewana jest treściami. Problem stał się na tyle poważny, że Google musi oszczędzać zasoby, żeby dalej indeksować i oceniać treści wartościowe.

Google może pominąć w indeksowaniu część Twojej podstrony, jeśli nie wiąże się ona bezpośrednio z jej główną treścią.

Jeśli Twoja podstrona jest o psach, to z punktu widzenia wyszukiwarki kluczowe jest upewnienie się, że cała wartościowa treść o psach została zaindeksowana. Oznacza to, że wszystkie sekcje „podobne produkty”, „może Cię również zainteresować” i tym podobne mogą zostać całkiem wyłączone z indeksowania, bo nie niosą wartości dla wyszukiwarek.

Jako specjalista od SEO technicznego masz obowiązek śledzić, diagnozować i rozumieć wszystkie problemy indeksowania wynikające z układu.

Częściowe indeksowanie nie zawsze musi być złe. Ale często elementy Twojej podstrony, których Google postanowiło nie indeksować, powstały „ze względów SEO”. Mogą to być:

• Sekcje z linkami do nowych produktów, dla lepszego indeksowania.
• Wszystkie inne formy linkowania wewnętrznego „dla przyspieszenia indeksowania i skanowania”.

Dane pokazują, że w wielu przypadkach takie decyzje przynoszą więcej szkody niż pożytku, bo nie są indeksowane i bardzo utrudniają uzyskanie danych o skanowaniu, które naprawdę odzwierciedlałyby strukturę Twojej strony tak, jak widzi ją Google.

Wnioski

SEO uwzględniające czynnik JavaScriptu wciąż pozostaje czymś nowym i nie do końca zrozumiałym.

Mamy nadzieję, że ten artykuł o związku renderowania i SEO pomoże Ci głębiej zrozumieć techniczną stronę optymalizacji i budować strony wygodniejsze i szybsze, które łatwo przyswajają użytkownicy i roboty wyszukiwarek.

Wykorzystuj cechy skanowania i renderowania na swoją korzyść. Stosuj JavaScript właściwie i korzystaj z niezawodnego hostingu od Host4Biz.