Wenn Du an Googlebot denkst, hast Du vielleicht den niedlichen Wall-E-Roboter vor Augen, der auf der Suche nach Wissen in allen Ecken sucht und indexiert. Es ist immer etwas enttäuschend, dass Googlebot eigentlich „nur“ ein von Google geschriebenes Computerprogramm ist, das das Web durchsucht und dem Index Seiten hinzufügt. Im nachfolgenden Beitrag erfährst Du mehr über den Crawler und seinen Aufgaben in der Onlinewelt.
Crawler, Spider oder Bot – die vielen Namen des Googlebot
Der Googlebot besitzt verschiedene Bezeichnungen, die allerdings alle dasselbe bedeuten: Es handelt sich um einen Bot, der das Web durchsucht. Er stöbert durch die verschiedensten Webseiten über Links und liest dabei neue sowie aktualisierte Inhalte. Im Anschluss schlägt er vor, was dem Index hinzugefügt werden sollte. Der Index ist wie das Gehirn der Suchmaschine Google. Hier ist alles Wissen abgespeichert. Dabei verwendet Google eine Unmenge von Computern, um seine Crawler in jeden Winkel des Internets zu schicken, damit diese Seiten finden können. Googlebot ist der spezielle Web-Crawler oder -Roboter von Google, während andere Suchmaschinen ihre eigenen haben.
Wie funktioniert Googlebot?
Googlebot verwendet Sitemaps und Datenbanken mit Links, die bei früheren Analysen entdeckt wurden. Damit legen sie fest, wohin sie als Nächstes gelangen wollen. Immer wenn der Crawler neue Links auf einer Seite findet, fügt er sie der Liste der Seiten hinzu, die als nächstes besucht werden sollen. Wenn Googlebot Änderungen oder fehlerhafte Links findet, werden diese notiert und der Index so aktualisiert. Das Programm bestimmt selbst, wie oft Seiten durchsucht werden. Um sicherzustellen, dass Googlebot auch Deine Website korrekt indizieren kann, solltest Du die Verfügbarkeit der Seite im Auge behalten. Erst wenn Deine Website für Crawler verfügbar ist, können sie mit Deinen Informationen arbeiten.
Wie Googlebot Deine Website besucht
Um herauszufinden, wie oft Googlebot Deine Website besucht und was er dort macht, siehst Du Dir die Protokolldateien an oder nutzt den Abschnitt „Crawl“ der Google Search Console. Wenn Du wirklich fortgeschrittene Dinge zur Optimierung der Crawlleistung Deiner Website tun möchtest, kannst Du auf Tools wie Kibana oder auf den SEO Log File Analyzer von Screaming Frog zurückgreifen. Google gibt dabei keine Listen mit IP-Adressen frei, die von den verschiedenen Googlebots verwendet werden, da sich diese Adressen häufig ändern. Um herauszufinden, ob ein echter Googlebot Deine Website besucht hat, kannst Du eine Reverse-IP-Suche durchführen. Spammer oder Hacker könnten leicht den Namen eines Benutzeragenten manipulieren, jedoch keine IP-Adresse.
Die Google Search Console
Die Search Console ist eines der wichtigsten Tools zur Überprüfung der Analysefähigkeit Deiner Website. Dort kannst Du genau überprüfen, wie Googlebot Deine Webseite sieht. Du erhältst außerdem eine Liste mit Crawl-Fehlern, die Du im Anschluss lösen kannst. In der Suchkonsole kannst Du Googlebot außerdem darum bitten, Deine Website erneut zu durchsuchen. Eine andere Möglichkeit Crawl-Fehler zu beheben, besteht darin, Yoast SEO mit der Search Console zu verbinden. So kannst Du Fehler importieren und direkt aus dem Backend Deiner Seite beheben.
Optimiere Deine Seite für den Googlebot
Den Googlebot schneller zum Crawlen Deiner Webseite zu bringen, ist ein ziemlich technischer Prozess. Zunächst müssen technische Hürden beseitigt werden, die den Crawler daran hindern, ordnungsgemäß auf Deine Website zuzugreifen. Kann Google Deine Website nicht einwandfrei crawlen, wird die Seite auch nie in der Rangfolge erscheinen. Finde deshalb alle Fehler und behebe sie.
Fazit
Googlebot ist der kleine Roboter, der Deine Website besucht. Wenn Du für Deine Webseite technisch fundierte Entscheidungen getroffen hast, werden diese häufig angezeigt. Wenn Du regelmäßig neue Inhalte hinzufügst, kommt dies häufiger vor. Falls Du umfangreiche Änderungen an Deiner Website vorgenommen hast, musst Du den niedlichen kleinen Crawler möglicherweise sofort aufrufen, damit die Änderungen so schnell wie möglich in den Suchergebnissen angezeigt werden.
