Bibliothek zur Googlebot-Erkennung

Ein Beispiel für die Bestimmung der Zugehörigkeit von GoogleBot zur Google-Suchmaschine

Sehr oft crawlen Angreifer Websites, um beispielsweise Inhalte weiterzugeben, und geben sich als Google-Suchmaschinenbot aus. Angreifer führen diesen einfachen Trick aus, indem sie einen User-Agent-Header übergeben, der dieselben Informationen enthält wie in den Headern eines echten Bots: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Solche Aktionen von Cyberkriminellen können nicht nur Ihre Internetserver unnötig belasten, sondern auch die Inhalte Ihrer Websites ohne Ihre Zustimmung crawlen.

Um unerwünschte Aktivitäten von gefälschten Bots zu verhindern, die sich als GoogleBot ausgeben, können Sie das folgende PHP-Codebeispiel (Googlebot-Erkennungsbibliothek) verwenden:

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

Auf diese Weise können Sie unerwünschte Aktivitäten von Bots verhindern, die nichts mit der Google-Suchmaschine zu tun haben.

Kostenlose Online-Tools und -Dienste für Webmaster und Websitebesitzer