Der ScreamingFrog SEO Spider ist ein Web-Crawler, der die Inhalte und Struktur deiner Seite oder von Seiten anderer durchsucht, speichert und für dich auswertbar macht. Ähnlich wie z. B. der Googlebot oder der Bingbot „kriecht“ der ScreamingFrog über jede einzelne URL deiner Website und erhebt dabei Daten. Auf Grundlage dieser Daten kannst du dein OnPage-SEO optimieren.
Der ScreamingFrog SEO Spider ist ein sehr effizienter Crawler und im SEO-Bereich ein echtes Must-Have. Mit ihm erhebst du relevante Daten über deine Website, welche du anschließend für verschiedenste Analysen oder sogar ganze SEO-Audits verwenden kannst. Du kannst Crawls manuell starten, oder aber wiederkehrende Crawls einrichten und die Crawl-Statistiken automatisch exportieren lassen.
Beim ScreamingFrog handelt es sich um eine Desktop-Anwendung, die sich auf alle gängigen Betriebssysteme herunterladen lässt. In der unbezahlten Version kannst du bis zu 500 URLs crawlen. Für kleine Websites kann das durchaus ausreichen. Für unlimitierte Crawls bezahlst du etwa 180€ pro Jahr.
Im Folgenden haben wir die wichtigsten Funktionen des ScreamingFrog aufgelistet:
- http-Statuscodes identifizieren
Mit dem ScreamingFrog kannst du in Windeseile die http-Statuscodes deiner URLs abfragen. So kannst du schnell kaputte Links (404s) und Server-Fehler (5xxs) identifizieren und auf Basis dieser Analyse den Fehlern auf den Grund gehen und sie beheben. Außerdem bekommst du Auskunft über deine Weiterleitungen (301- und 302-Statuscode). Du kannst Redircet-Ketten nachverfolgen und eventuelle Loops entdecken, die du anschließend lösen kannst. - Meta-Daten analysieren
Auch Title Link und Meta Description lassen sich mit dem ScreamingFrog analysieren. Durch einen Crawl findest du heraus, welche Elemente zu lang oder zu kurz sind, wo es doppele Inhalte gibt oder wo überhaupt keine Meta-Daten vorhanden sind. - Duplicate Content identifizieren
Nicht nur doppelte Meta-Daten, sondern auch doppelte URLs können mit dem ScreamingFrog identifiziert werden. Außerdem erkennt der Crawler Seiten mit dünnen Inhalten. - HTML-Date extrahieren
Auf Basis von CSS Path, XPath oder regex lassen sich sämtliche HTML-Daten herausfiltern und identifizieren. - Crawler-Anweisungen
Auch die Anweisungen, die Crawlern auf in deinen Meta-Daten oder deiner Robots.txt gegeben werden, werden vom ScreamingFrog identifiziert. Dazu zählen u. A. ‚noindex‘ und ‚nofollow‘, canocials und rel=“next“ und rel=“prev“. - XML-Sitemap
Nach einem Crawl kannst du die komplette Liste der URLs exportieren und daraus deine XML-Sitemap erstellen. Fortgeschrittene Nutzer können sogar eine automatische Aktualisierung der Sitemap einrichten. - APIs
Der ScreamingFrog lässt sich außerdem mit verschiedenen APIs verbinden, beispielsweise für Google Analytics, die Google Search Console oder die PageSeepd Insights. Dadurch erhältst du noch detailliertere Daten zu deinen URLs.
Hier ein Beispiel aus einem Crawl unserer 121WATT-Website:
BILD EINFÜGEN?????