Crawl-Budget: Einflussfaktoren und Optimierungsstrategien für Websites aller Größen

Laut Google betrifft die Sorge um das Crawl-Budget hauptsächlich sehr große Websites. Kleinere Websites, die auf Beschränkungen des Crawl-Budgets stoßen, haben meist Probleme, die auf inhaltliche Aspekte zurückzuführen sind.

Die Entscheidung von Google, wie viele URLs einer Website gecrawlt und indexiert werden, basiert auf einer Vielzahl von Faktoren. Neben technischen Aspekten spielen insbesondere die Inhalte eine entscheidende Rolle. Die Qualität und Relevanz dieser Inhalte sind maßgeblich dafür verantwortlich, wie umfangreich das Crawl-Budget einer Website ausfällt.

Als “technische Aspekten” könnte man hier so etwas wie die Antwortzeit des Servers sehen. Für Google ist Rechenzeit extrem kostbar und so sollten in kurzer Zeit natürlich so viele Inhalte wie möglich geladen und verarbeitet werden können. Stellt Google hingeben fest, dass beim Crawling einer Website die Antwortzeit des Servers zurückgeht, so wird Google vermutlich das eigene Crawling dafür verantwortlich machen und dies in der Geschwindigkeit (Seiten pro Sekunde) bremsen, damit die Website noch “erreichbar” bleibt. Weiterhin kann Google das Crawling verlangsamen und gar komplett aussetzen, wenn der Crawler zu viele “Internal Server-Errors” beim Crawling feststellt. Dies kann auch nach länger anhaltenden Fehlern zu einer Indexierung einer Website, Teilbereiche oder einzelner URLs führen. Diese “technischen Aspekte” werden sich nicht direkt auf “den” harten Faktor “Crawlbudget” auswirken. Jedoch werden sie das Crawlvolumen in einer Zeit stark beeinträchtigen. Deshalb lohnt sich hier immer ein Blick in den “Crawl Report” in der Google Search Console.

Die Frage, ob das technische Crawl-Budget einer Website ausreicht, damit Google alle relevanten URLs erfassen kann, stellt sich in der Regel nur bei sehr großen Websites. John Müller von Google merkte in diesem Zusammenhang auf Reddit an, dass das Crawl-Budget vorrangig für "umfangreiche Websites" eine Herausforderung darstellt. Bei kleineren Websites, die auf Probleme mit dem Crawl-Budget stoßen, liegt die Ursache oft darin, dass Google keinen zusätzlichen Wert im Crawlen weiterer Seiten sieht. Hierbei handelt es sich nicht um ein technisches, sondern ein inhaltliches Problem.

Diese Aussage von John Müller würde ich nur teilweise zustimmen, denn meiner Meinung nach resultiert eine fälschliche Einstufung der Qualität einer Website sehr häufig auf einigen technischen Faktoren, die Inhalte einer Website als Duplicate-Content unkontrolliert auf zahllosen URL-Varianten einer Website publizieren. Google verliert hier schnell den “roten Faden” einer Website und muss sich um die Wahl des richtigen Canonicals pro URL kümmern. Häufig probiert Google immer wieder URLs aus so einem Canonical-Set und stuft diese URLs jedoch niedriger in den SERPs ein. Dies hat zur Folge, dass schwer erkämpfte Rankings immer wieder “wegbrechen” und mühsam neu aufgebaut werden müssen. Für solche Rankings ist es in Sistrix immer wieder gut zu beobachten, wie mit einer Verschlechterung der Positionierung auch ein URL-Wechsel stattfindet. So können schlecht stabile Rankings für eine Website aufgebaut werden.

Und dies ist nicht nur ein Problem für große Websites. Ich sehe immer wieder kleinere Websites und/oder Shops mit gerade einmal 10 Produkten, 20 Blogbeiträgen, die jedoch die Anzahl von mehr als 4.000 URLs sprengen. Daher heißt es für solche Websites:

• Inhalte identifizieren
• URLs, Canonicals definieren & technisch umsetzen
  (Ggf. in mehrsprachigen Websites auch die HREF-Lang-Auszeichnung anpassen)
• XML-Sitemaps prüfen & ggf. optimieren
• Interne Verlinkung auf die Canonicals anpassen