Gecrawlt, nicht indexiert: Shopseiten in den Index bringen

In der Google Search Console steht bei vielen Online-Shops eine lange Liste unter „Gecrawlt – zurzeit nicht indexiert“. Der Status bedeutet: Google hat die Seite abgerufen, sie aber nicht in den Index aufgenommen (Search Console-Hilfe). Typischerweise stehen dort Kategorien mit wenigen Produkten, Varianten mit eigener Adresse und Produktseiten mit Herstellertext. Dieser Leitfaden zeigt, wie Sie die betroffenen URLs nach Seitentyp ordnen, die Ursache je Gruppe eingrenzen und entscheiden, was aufgewertet, zusammengeführt oder bewusst ausgeschlossen wird. Wer die Auswertung nicht selbst übernehmen möchte, findet sie als Teil des technischen Audits in unserer Suchmaschinenoptimierung für Shops.

Was „Gecrawlt – zurzeit nicht indexiert“ bedeutet

Der Bericht zur Seitenindexierung teilt die bekannten URLs einer Property in indexierte und nicht indexierte Seiten und nennt für die zweite Gruppe einen Grund. Für „Gecrawlt – zurzeit nicht indexiert“ ist die Beschreibung knapp: Die Seite wurde von Google gecrawlt, aber nicht indexiert. Sie könnte in Zukunft indexiert werden, und die URL muss nicht noch einmal zum Crawling eingereicht werden (Search Console-Hilfe). Technisch ist das kein Fehler: Der Server hat geantwortet, Google hat den Inhalt erhalten und sich gegen eine Aufnahme entschieden.

Dass ein Abruf nicht automatisch zur Indexierung führt, schreibt Google in der Dokumentation zum Crawling-Budget ausdrücklich: Nach dem Crawling wird jede Seite evaluiert, konsolidiert und bewertet, um ihre Eignung für den Index zu bestimmen (Google-Crawling-Infrastruktur). Auch ein Statuscode 200 ist kein Freibrief, eine Zusage zur Aufnahme gibt es nicht (Google-Crawling-Infrastruktur).

Bei der Google Suche wird nicht jede gecrawlte Seite indexiert.

Google-Crawling-Infrastruktur, Verwaltung des Crawling-Budgets

Die Liste ist deshalb kein Fehlerprotokoll zum Abhaken, sondern eine Rückmeldung zur Qualität und Eindeutigkeit der Seiten. Google rät selbst, nicht davon auszugehen, dass jede URL einer Website indexiert ist, weil einige Duplikate sein oder keine relevanten Informationen enthalten können (Search Console-Hilfe). Entscheidend ist, ob wichtige Seiten darunter sind: Hauptkategorien, umsatzstarke Produkte, Marken- und Ratgeberseiten.

Gecrawlt oder gefunden: zwei Status, zwei Baustellen

Im selben Bericht steht ein Grund mit fast gleichem Namen. Bei „Gefunden – zurzeit nicht indexiert“ kennt Google die URL, hat sie aber noch nicht abgerufen: Normalerweise hätte das Crawling die Website überlastet und wurde deshalb neu geplant, das Feld mit dem letzten Crawling-Datum bleibt leer (Search Console-Hilfe). Die Ursache liegt beim Abruf, etwa bei zu vielen URLs, langsamen Antworten oder Parameterräumen aus Filtern. Wie sich das steuern lässt, beschreibt unser Beitrag zu Filter-URLs und Crawl-Budget.

Seine Hinweise zum Crawling-Budget richtet Google vor allem an Websites mit über 1 Million Seiten und wöchentlich wechselnden Inhalten, an solche mit mehr als 10.000 Seiten und täglichen Änderungen sowie an Websites mit einem Großteil ihrer URLs unter „Gefunden“ (Google-Crawling-Infrastruktur). Die Zahlen sind laut Google ungefähre Werte, keine genauen Grenzwerte (Google-Crawling-Infrastruktur). Bei „Gecrawlt“ ist der Abruf dagegen erfolgt: Eingriffe ins Crawling bringen eine solche Seite nicht in den Index, entscheidend sind Inhalt und Signale der Seite selbst.

Wie Google zwischen Crawlen und Indexieren entscheidet

Nach dem Abruf analysiert Google Text, wichtige Tags wie das title-Element, Alt-Attribute, Bilder und Videos (Google Search Central). Dabei ermittelt Google auch, ob eine Seite ein Duplikat oder kanonisch ist. Seiten mit gleichem oder sehr ähnlichem Hauptinhalt werden zu einem Cluster gruppiert, kanonisch wird die Seite, die objektiv die vollständigste und für Suchende nützlichste ist (Google Search Central). Die übrigen gelten als Duplikate und werden seltener gecrawlt.

Die eigene Angabe im Canonical-Tag ist laut Google ein Hinweis und keine Regel. Google wertet weitere Signale aus, darunter HTTP oder HTTPS, Weiterleitungen, das Vorkommen in der Sitemap und rel="canonical"-Angaben, und kann sich anders entscheiden als der Betreiber (Google Search Central). Führt die Sitemap etwa die Variante, während das Canonical auf die Hauptvariante zeigt, wird das Ergebnis schwer vorhersehbar.

Als häufige Indexierungsprobleme nennt Google geringe Qualität der Inhalte, robots-meta-Regeln und ein Website-Design, das die Indexierung erschwert (Google Search Central). Eine noindex-Regel erscheint im Bericht unter eigenem Grund, „URL als ‚noindex‘ markiert“. Für „Gecrawlt – zurzeit nicht indexiert“ bleiben in der Regel Qualität und Aufbau der Seite.

Welche Shopseiten typischerweise betroffen sind

Die Beispielliste im Bericht zeigt je Grund höchstens 1.000 Zeilen und nicht zwingend alle betroffenen URLs (Search Console-Hilfe). Für die Auswertung reicht das, wenn man die Liste nicht URL für URL liest, sondern nach Mustern sortiert. In Shops ergeben sich meist wenige Gruppen, erkennbar an Pfad, Parametern oder Seitenvorlage:

Die Reihenfolge der Arbeit sollte sich nicht nach der Größe einer Gruppe richten, sondern nach dem Wert ihrer Seiten: Eine nicht indexierte Hauptkategorie wiegt schwerer als eine lange Reihe von Sortieradressen, die ohnehin nicht in den Index gehören.

Dünne Kategorien: wenn die Seite nichts Eigenes trägt

In vielen Shops bekommt jede Ebene im Kategoriebaum automatisch eine Adresse, auch wenn darin nur eine Handvoll Artikel steht, die genauso in der Elternkategorie auftauchen. Unter den Fragen, mit denen Google die Qualität von Inhalten einordnen lässt, steht, ob der Inhalt einen deutlichen Mehrwert gegenüber anderen Seiten in den Suchergebnissen bietet und ob er wesentliche neue Informationen enthält statt nur kopierter oder umgeschriebener Inhalte (Google Search Central).

Eine Unterkategorie, deren Produktliste auf der übergeordneten Seite ebenso zu sehen ist, beantwortet beide Fragen mit Nein. Ein Einleitungstext, der in jeder Kategorie mit ausgetauschtem Begriff wiederkehrt, ändert daran wenig. Wie Kategorieseiten mit echten Daten statt Schablonen entstehen, beschreibt unser Beitrag zu Programmatic SEO für Kategorieseiten. Im Kern gibt es drei Wege:

• Zusammenführen: Die Kategorie geht in der Elternkategorie auf, die alte Adresse leitet per 301 dorthin. Die Auswahl bleibt als Filter erhalten.
• Aufwerten: Die Kategorie bekommt Inhalte, die nur sie trägt: Auswahlhilfe, Einsatzbereiche, Vergleich der wichtigsten Merkmale. Voraussetzung ist ein Sortiment, das eine eigene Seite rechtfertigt.
• Bewusst ausschließen: Bleibt die Kategorie für die Navigation nötig, hat aber keinen eigenen Suchwert, hält noindex sie aus dem Index. In die Sitemap gehört sie dann nicht.

Beim Aufwerten zählen Produktdaten mehr als Fließtext: Gepflegte Merkmale lassen sich als Vergleich, Filterhilfe und Auswahlberatung ausspielen. Wo Attribute fehlen, kann eine KI-gestützte Datenanreicherung sie aus vorhandenen Daten und Bildern ableiten. Das Ziel ist mehr Substanz je Seite, nicht bloß mehr Text.

Herstellertexte: wenn viele Händler dasselbe sagen

Steht ein Produkt bei vielen Händlern mit derselben Beschreibung aus dem Datenblatt, erhält Google überall nahezu denselben Hauptinhalt. In den Spamrichtlinien nennt Google als Beispiel ohne Mehrwert Affiliate-Angebote, deren Produktbeschreibungen direkt vom ursprünglichen Händler kopiert sind, ohne Originalinhalte hinzuzufügen (Google Search Central). Ein Shop ist keine Affiliate-Seite, das Muster ist aber vergleichbar. Abhilfe schaffen Angaben, die nur der eigene Shop hat: Erfahrungen aus Beratung und Service, Einsatzbeispiele, Hinweise zu Zubehör, eigene Fotos. Gepflegt werden sie sinnvollerweise zentral, etwa über eine Anbindung an ein PIM-System.

Varianten und konkurrierende Canonicals

Liefert der Shop jede Farbe oder Größe unter eigener Adresse aus, entstehen Seiten mit fast identischem Hauptinhalt. Google wählt eine davon als kanonisch, die anderen erscheinen im Bericht etwa als „Duplikat – vom Nutzer nicht als kanonisch festgelegt“ oder „Duplikat – Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt“ (Search Console-Hilfe). Wo Google eine Variante weder als Duplikat einordnet noch eigenen Wert erkennt, bleibt sie erfahrungsgemäß häufig unter „Gecrawlt – zurzeit nicht indexiert“ stehen.

Für Varianten auf einer einzigen Seite, zwischen denen über Parameter gewechselt wird, sieht Google genau eine kanonische URL für die Produktgruppe vor, in der Regel die Basisadresse ohne vorausgewählte Variante (Google Search Central). Bei Varianten auf eigenen Seiten gibt es dagegen keine einzelne kanonische URL für die Gruppe (Google Search Central). Das Markup ProductGroup teilt Google zusätzlich mit, welche Produkte zusammengehören. Wann eine Variante eine eigene indexierbare Seite verdient, vertieft unser Beitrag zu Produktvarianten und Duplicate Content.

<!-- Variantenwahl auf einer Seite: Parameter-Adressen verweisen auf die Basisadresse -->
<!-- aufgerufen: https://shop.example/winterjacke-alpin?farbe=blau -->
<link rel="canonical" href="https://shop.example/winterjacke-alpin">

<!-- Seitenfolge einer Kategorie: jede Seite verweist auf sich selbst -->
<!-- aufgerufen: https://shop.example/jacken?page=2 -->
<link rel="canonical" href="https://shop.example/jacken?page=2">

Verbreitet ist die Angabe längst: 67 Prozent der vom HTTP Archive untersuchten mobilen Seiten tragen ein Canonical-Tag (Web Almanac 2025). Die Fehler liegen im Detail. Bei 3,02 Prozent der mobil untersuchten Websites ändert sich das Canonical erst beim Rendern, also nach dem Ausführen von JavaScript (Web Almanac 2025). Schaltet das Theme Varianten per Skript um, lohnt deshalb der Vergleich zwischen ausgeliefertem und gerendertem HTML.

Seitenfolgen, Filter und Sortierungen

Bei paginierten Kategorien empfiehlt Google, jeder Seite eine eindeutige URL zu geben, etwa mit ?page=n, die erste Seite nicht als kanonische Seite der ganzen Folge zu verwenden und jede Seite mit einer eigenen kanonischen URL zu versehen (Google Search Central). Die Seiten sollen der Reihe nach mit normalen HTML-Links verbunden sein, Fragmentbezeichner nach dem Rautezeichen ignoriert Google (Google Search Central). Verweisen Seite 2 und folgende per Canonical auf Seite 1, erklärt der Shop sie zu Duplikaten der ersten, obwohl sie andere Produkte zeigen.

Filter- und Sortieradressen sind der Gegenfall. Damit unterschiedliche Fassungen derselben Ergebnisliste nicht indexiert werden, nennt Google zwei Wege: unerwünschte URLs per noindex ausschließen oder das Crawlen bestimmter URL-Muster per robots.txt unterbinden (Google Search Central). Welcher Weg für welche Facette passt, beschreibt der Beitrag zur Steuerung von Filter-URLs ausführlich.

Fast leere Seiten und ausverkaufte Artikel

Eine Kategorie ohne lieferbare Artikel zeigt „Keine Produkte gefunden“ und liefert trotzdem Status 200. Deutet der Inhalt einer Seite mit 2xx-Status auf einen Fehler oder eine leere Seite hin, meldet die Search Console einen Soft 404 (Google-Crawling-Infrastruktur). Seiten knapp darüber, etwa mit einem einzelnen Artikel und ohne weiteren Inhalt, sind typische Kandidaten für „Gecrawlt – zurzeit nicht indexiert“.

Für dauerhaft entfernte Seiten empfiehlt Google die Statuscodes 404 oder 410, ein 404 ist ein starkes Signal, die URL nicht noch einmal zu crawlen (Google-Crawling-Infrastruktur). Gibt es einen Nachfolger, ist eine Weiterleitung besser. Vorübergehend ausverkaufte Artikel bleiben in der Regel stehen, mit klarer Verfügbarkeitsangabe. Die Zustände dazwischen behandelt unser Beitrag zu nicht lieferbaren Artikeln.

Technische Gegenprobe: sieht Google, was die Kundschaft sieht?

Vor jeder inhaltlichen Überarbeitung lohnt die Gegenprobe, ob Google den Inhalt vollständig erhält. Das URL-Prüftool zeigt im Live-Test die geprüfte Seite samt Screenshot und HTTP-Antwortheadern (Search Console-Hilfe). Ein positives Ergebnis heißt nur, dass die URL gecrawlt und geparst werden kann (Search Console-Hilfe). Für die Indexierung muss eine Seite laut Google unter anderem eigenständig oder als kanonische Version ausgewählt sein, und ihre Qualität muss hoch genug sein, damit eine Indexierung sinnvoll ist (Search Console-Hilfe). Drei technische Ursachen begegnen uns regelmäßig:

• Inhalt erst nach einer Nutzeraktion: Die Crawler von Google klicken nicht auf Schaltflächen und lösen im Allgemeinen keine JavaScript-Funktionen aus, die eine Nutzeraktion erfordern (Google Search Central). Listen hinter „Mehr laden“ brauchen deshalb zusätzlich verlinkte Seiten.
• Rendering-Warteschlange: Seiten mit Status 200 warten auf das Rendern, mitunter nur Sekunden, mitunter länger (Google Search Central). Wichtige Inhalte und das Canonical gehören deshalb ins ausgelieferte HTML.
• Sehr große Seiten: Der Googlebot crawlt die ersten 2 MB eines unterstützten Dateityps (Google Search Central), gemessen unkomprimiert. Kategorieseiten mit großen eingebetteten Datenblöcken sollten deutlich darunter bleiben.

Ob der Googlebot die Seiten tatsächlich abruft und welchen Statuscode er erhält, zeigt das Zugriffsprotokoll verlässlicher als jede Stichprobe. Wie man es auswertet, steht in unserem Beitrag zur Logfile-Analyse für Shops.

Interne Verlinkung und Sitemap als Wichtigkeitssignal

Google schließt aus der Verlinkung auf die relative Wichtigkeit einer Seite, unter anderem aus der Zahl der Links bis zu ihr und der Zahl der Links, die auf sie zeigen (Google Search Central). Als Faustregel gilt: Je mehr eine Seite innerhalb der Website verlinkt ist, desto höher ihre relative Wichtigkeit (Google Search Central). Suchfelder nutzt der Googlebot beim Crawlen in der Regel nicht (Google Search Central). Produkte, die nur über die interne Suche auffindbar sind, fehlen ihm deshalb als Ziel. Wie sich Verlinkung planen lässt, beschreibt unser Beitrag zur internen Verlinkung im Shop.

Die Sitemap ist das zweite Signal. Für eine einzelne Sitemap gilt eine Obergrenze von 50 MB unkomprimiert oder 50.000 URLs, größere Bestände werden auf mehrere Sitemaps aufgeteilt, die sich optional über eine Sitemap-Indexdatei gemeinsam einreichen lassen (Google Search Central). Weil das Vorkommen in der Sitemap zu den Signalen der Kanonisierung zählt, gehören nur kanonische, indexierbare Adressen hinein: keine Varianten mit Canonical auf die Hauptvariante, keine Filteradressen, keine Seiten mit noindex.

In fünf Schritten vom Bericht zur Entscheidung

Die Arbeit beginnt nicht mit einzelnen URLs, sondern mit Gruppen, und sie endet nicht mit der Korrektur, sondern mit der Kontrolle im Bericht. Den Rahmen für die übrigen Prüfbereiche gibt unser Leitfaden zum SEO-Audit für Online-Shops.

1. Exportieren und gruppieren: Die Beispiel-URLs für „Gecrawlt – zurzeit nicht indexiert“ exportieren und nach Seitentyp sortieren: Kategorie, Variante, Filter, Seitenfolge, Produkt, Inhaltsseite.
2. Stichproben prüfen: Je Gruppe einige URLs im URL-Prüftool ansehen: gewähltes Canonical, getestete Seite, letztes Crawling. Für Live-Prüfungen gilt je Property ein Tageslimit (Search Console-Hilfe).
3. Je Gruppe entscheiden: aufwerten, zusammenführen oder bewusst ausschließen, gemessen daran, ob die Seite eine Suchanfrage besser beantwortet als Seiten, die schon im Index stehen.
4. Signale angleichen: Inhalt, Canonical, interne Links und Sitemap müssen nach der Änderung dasselbe sagen.
5. Überprüfen und beobachten: Wo der Bericht es anbietet, die Überprüfung der Fehlerbehebung starten. Sie dauert in der Regel etwa zwei Wochen, manchmal deutlich länger (Search Console-Hilfe).

Entscheidungshilfe je Seitentyp

Was realistisch ist: nicht jede URL gehört in den Index

Die meisten Websites haben laut Google mindestens einige nicht indexierte Seiten. Alle wichtigen Seiten sollten jedoch indexiert sein, doppelte URLs dagegen nicht (Search Console-Hilfe). Das Ziel ist deshalb keine leere Liste, sondern eine nachvollziehbare: Jede URL darin ist bewusst ausgeschlossen oder steht auf der Arbeitsliste.

Auch Zeit gehört dazu: Bis Google eine neue Seite crawlt und indexiert, kann es etwa eine Woche dauern (Search Console-Hilfe). Saisonale Seiten sollten deshalb rechtzeitig live gehen, intern verlinkt und in der Sitemap stehen. Besser als eine Aktionsseite, die erst am Vortag erscheint, ist eine feste Adresse, die jedes Jahr wiederverwendet wird.

Wo die Ursachen im Shopsystem sitzen

Viele Muster entstehen nicht durch einzelne Seiten, sondern durch Einstellungen und Vorlagen des Shopsystems: wie SEO-Adressen für Varianten gebildet werden, ob leere Kategorien ausgeliefert werden, wo das Canonical im Template steht und ob ein Skript es verändert. Steigt die Zahl der Indexierungsfehler, kann laut Google eine Änderung an der Vorlage die Ursache sein (Search Console-Hilfe). Umgekehrt wirkt eine Korrektur dort auf alle betroffenen Seiten zugleich. Bei Shopware prüfen wir dazu Varianten- und SEO-URL-Konfiguration, Theme-Vorlagen und eigene Erweiterungen im Kopfbereich, eine Arbeit aus dem Alltag unserer Shopware-Agentur.

Ein guter Zeitpunkt ist ein ohnehin anstehendes Update. Wer etwa wegen des Supportendes von Shopware 6.5 die Hauptversion wechselt, testet Templates und Erweiterungen sowieso und kann die Indexierungssignale in der Staging-Umgebung mitprüfen.

Indexierung als Teil der laufenden Shoppflege

Der Status ist selten mit einer Maßnahme erledigt. Neue Kategorien, Sortimentswechsel und Updates erzeugen neue Seiten und neue Kandidaten für die Liste. Sinnvoll ist ein fester Rhythmus: den Bericht monatlich nach neuen Mustern durchsehen, die Liste der wichtigen Seiten abgleichen und Änderungen am System vor dem Livegang gegen die Indexierungssignale testen.