Back to Question Center
0

Semalt: Woher weiß Google, wann (und warum) Sie aufhören, Ihre Website zu crawlen?

1 answers:

Google-Spider sind bei der Vermarktung einer Website genauso wichtig wie die SEO-Kampagne. Sie crawlen Websites und indexieren Inhalte von allen Seiten, die sie finden können. Außerdem werden aktualisierte Seiten auf der Website neu indiziert. Dies geschieht regelmäßig auf der Grundlage verschiedener Faktoren. Dazu gehören unter anderem PageRank, Crawling-Einschränkungen und Links auf der Seite. Die Häufigkeit, mit der Google-Spider eine Website crawlen, hängt von einem oder mehreren dieser Faktoren ab.

Eine Website sollte sowohl für die Besucher als auch für die Google-Crawl-Spider leicht zu navigieren sein. Es ist der Grund, warum eine crawl-freundliche Website ein zusätzlicher Vorteil für die SEO-Kampagne ist. Andernfalls kann Google keinen Zugriff auf die Inhalte erhalten, wodurch das Ranking der Website auf der Ranking-Seite der Suchmaschine reduziert wird.

Ross Barber, der Customer Success Manager von Semalt , definiert, dass zwei der wichtigsten Indizierungsfaktoren, auf die sich Google verlässt, um die Entscheidung zu beeinflussen, die Website zu verlangsamen oder zu beenden: Verbindungszeit und HTTP. Statuscode. Andere enthalten den Befehl disavow, "no-follow" -Tags und robots.txt.

Verbindungszeit und HTTP-Statuscodes

Der Verbindungszeitfaktor bezieht sich auf die Zeit, die der Google-Crawl-Bot benötigt, um den Standortserver und die Webseiten zu erreichen. Geschwindigkeit wird von Google sehr geschätzt, da sie für eine gute Nutzererfahrung spricht. Wenn die Webseite nicht geschwindigkeitsoptimiert ist, wird die Site schlecht bewertet. Google-Spider versuchen, die Website zu erreichen, und wenn die Verbindungsdauer länger ist, schalten sie sich zurück und kriechen weniger häufig. Wenn Google außerdem die Website mit der aktuellen Geschwindigkeit indiziert, kann dies die Nutzererfahrung unterbrechen, da der Server dadurch erheblich langsamer wird.

Der zweite Indexierungsfaktor sind die HTTP-Statuscodes, die darauf verweisen, wie gut der Server auf eine Anforderung zum Crawlen der Site reagiert. Wenn die Statuscodes innerhalb des 5xx-Bereichs liegen, übernimmt Google selbst die Aufgabe, die Rate, mit der die aktuelle Website gecrawlt wird, zu stoppen oder zu verzögern. Alles innerhalb der 5xx-Reihe ist ein Indikator für mögliche Probleme mit dem Server, und die Beantwortung der Anfrage könnte problematisch sein. Aufgrund des Risikos, zusätzliche Probleme zu verursachen, treten Google-Bots beiseite und führen eine Indizierung durch, wenn der Server besser erreichbar ist.

Wann setzt Google das Crawlen der Website fort?

Google glaubt daran, Nutzern die bestmögliche Nutzererfahrung zu bieten, und ordnet Websites, die ihre SEO-Elemente optimieren, auf diese Ziele hoch. Wenn die Website jedoch die oben genannten Probleme aufweist, wird ihr Googlebot befohlen, es zu einem späteren Zeitpunkt zu crawlen. Wenn die Probleme weiterhin bestehen, wird der Besitzer eine große Chance verlieren, wenn Google seinen Inhalt durchgeht und ihm einen wohlverdienten Rang in den Suchergebnissen zuweist. Zusätzlich zu diesen Problemen wird bei jedem Spam-Zeichen die Website blockiert, die jemals in den Suchergebnissen angezeigt wird.

Wie alle anderen Algorithmen, die Google verwendet, sind auch seine Spider automatisch. Sie werden entwickelt, um Inhalte basierend auf bestimmten Parametern zu finden, zu crawlen und zu indexieren. Wenn die Site nicht bestimmten Best Practices entspricht, wird keine Indizierung durchgeführt. Es gibt viele andere Faktoren, aber denken Sie immer daran, die Verbindungszeit und die HTTP-Statuscodes Ihrer Website genau zu beachten.

November 24, 2017
Semalt: Woher weiß Google, wann (und warum) Sie aufhören, Ihre Website zu crawlen?
Reply