SEO-Audit: Crawling & Indexing (Teil 3)

Wir können es kaum glauben: Laut einer Erhebung von onely aus dem Jahr 2021 sind 16 % der wertvollen Seiten auf beliebten Websites nicht indiziert. Beispielsweise sind 45 % der Produktseiten von Walmart.com, einem der größten Einzelhändler im US-amerikanischen Raum, nicht indiziert. Beim Cambridge Dictionary sind es sogar 99,5 % und bei der deutschen Website aboutyou.de sind es immerhin 37 %. Warum sind wir so verwundert? Seiten, die nicht indexiert sind, ranken nicht. Die Seite kann noch so nutzerfreundlich und SEO-optimiert sein, sie wird bei Google nicht auffindbar sein, selbst wenn ein:e User:in explizit danach sucht. Denn: Der Index ist die Datenbank, auf welche Google zurückgreift, wenn die Suchmaschine relevante Ergebnisse zu einer Suchanfrage ausspielen soll. Was nicht im Index steht, kann nicht gefunden werden.

Im 3. Teil unserer SEO-Audit-Reihe geht es um genau dieses Thema: Crawling & Indexing. Anders ausgedrückt: Findet Google meine Seite und macht Google meine Seite durchsuchbar? Damit du bei Google auffindbar bist, muss deine Seite zunächst gecrawlt und dann indexiert werden. Dies ist ein wichtiger Punkt bei deinem SEO-Audit. Du kannst noch so gut optimierte Inhalte haben, wenn deine Seite nicht gefunden werden kann, ranken diese nicht. In den meisten Fällen vergibst du mit nicht-indizierten Seiten viel Potenzial und Reichweite. Heute lernst du, wie du die Indexierung deiner Seite überprüfst, wie du Fehler behebst und wie du das Crawling initiierst.

Bevor du testest, ob Google deine Seite gecrawlt und indexiert hat, musst du verstehen, wie die Suchmaschine funktioniert:

Step 1: Crawling
Die Suchmaschine schickt ihre Roboter (auch Crawler genannt) durch das Internet, damit sie neue oder erneuerte Inhalte finden. Über externe und interne Verlinkungen gelangen sie von Seite zu Seite.
Step 2: Indexing
Die gefundenen Inhalte kommen anschließend in den Index (sofern andere Faktoren das nicht verhindern). Ist eine Seite im Index, können User:innen sie bei Google finden.
Step 3: Ranking
Stellt ein:e Nutzer:in eine Suchanfrage, sucht Google im Index nach den relevantesten Dokumenten zu diesem Thema.

Folgende Steps gehören zu deinem SEO-Audit:

1. Finde Fehler bei der Indexierung
Um Indexierungsfehler zu identifizieren, verwendest du am besten die Google Search Console. Im Reiter Index findest du bei Abdeckung einen Bericht über alle indexierten Seiten sowie Seiten mit Indexierungsproblemen und alle Seiten, die nicht indexiert sind.

Dort findest du auch Hinweise dazu, warum deine Seite nicht ordentlich indexiert ist. Das kann verschiedenste Gründe haben. Zum Glück gibt Google dir hier Hilfestellung: Indem du zuerst auf die Zeile klickst und dann im neuen Fenster auf mehr Informationen, bekommst du ausführliche Hilfe-Artikel zur Verfügung gestellt.

2. Finde Fehler in der robots.txt-Datei
Über die robots.txt gibst du Crawlern und Suchmaschinen die Anweisung, was sie mit deiner Seite tun sollen. Du erreichst sie, wenn du im Browser als Verzeichnis /robots.txt eingibst:

Wenn du Crawler hier ausschließt, ist es wahrscheinlich, dass sie deine Seite nicht crawlen und sie folglich nicht im Index landet.
Achtung: Ein Ausschluss über die robots.txt ist keine Garantie dafür, dass der Crawler die Seite ignoriert. Wenn sie intern oder extern verlinkt ist, kann es sein, dass sie trotzdem gecrawlt und indexiert wird. Bei Ryte findest du alles, was du zur robots.txt wissen musst.
Um einzelne Seiten zu checken, kannst du die URL-Prüfung in der Google Search Console verwenden. Diese zeigt dir Indexierungsprobleme einzelner URLs an. Ist die Seite noch nicht im Index vorhanden, kannst du sie hier direkt zum Crawling einreichen.
Eine weitere Möglichkeit, einzelne Seiten zu überprüfen, ist der Suchoperator site:. Den gibst du mit der entsprechenden URL bei Google ein. Findet Google hier kein Ergebnis, weißt du, dass deine Seite nicht im Index steht.

3. Checke dein Robots Meta Tag
Das Robots Meta Tag findest du im -Bereich deiner Seite. Über dieses kannst du im Gegensatz zur robots.txt deine Seite tatsächlich vom Index ausschließen. Das sieht dann so aus:

Findest du das im Head-Bereich einer Seite, die eigentlich normal indexiert werden soll, musst du es dringend entfernen.
Es gibt Seiten, die du bewusst vom Index ausschließen solltest. Dazu zählen folgende:

• Seiten ohne Mehrwert für die Nutzer:innen
• Seiten, die sich in einer Testumgebung befinden
• Admin-Seiten und Danke-Seiten
• Interne Suchergebnisse
• PPC Landingpages
• Seiten zu zukünftigen Angeboten, Wettbewerber oder Produktveröffentlichungen
• Duplicate Content (hier ist das canonical tag angebracht)

Quelle: ahrefs

4. Überprüfe deine XML Sitemap
Die Sitemap hilft Google, alle relevanten Seiten deiner Website zu finden. Sie ist wie ein Fahrplan, der dem Crawler den richtigen Weg zeigt. In der Sitemap sind alle URLs deiner Website aufgelistet, die du als wichtig betrachtest und die du im Index haben möchtest. So findet der Crawler alle Seiten, selbst wenn sie nicht intern verlinkt sind.
Um Fehler in deiner XML-Sitemap zu identifizieren, wählst du im Reiter Index in der Google Search Console die Sitemaps aus. Dort erhältst du alle relevanten Informationen. Fehler treten auf, wenn URLs in der Sitemap fehlen oder wenn URLs aufgelistet sind, die darin nicht vorkommen sollten. Das wären zum Beispiel 404-Seiten oder Seiten, die nicht über Google auffindbar sein sollen.
Wenn du mehr über die XML-Sitemap erfahren willst, empfehlen wir dir die Podcastfolge von Bloofusion.

„Deine Seite ranked nicht bei Google, aber du kannst nicht herausfinden, woran es liegt? Falls dir dieser Artikel nicht detailliert genug ist, habe ich zusätzlich noch einen ausführlichen Beitrag für dich verfasst. In meinem Blog-Artikel „Warum ist meine Seite (URL) nicht bei Google zu finden?“ findest du zahlreiche Gründe, weswegen deine Seite bei Google nicht gefunden werden kann. Selbstverständlich inklusive Lösungsmöglichkeiten.“

🔍 Neben den bereits genannten Quellen haben wir ahrefs als Quelle verwendet. Auch hier lohnt es sich, vorbeizuschauen.