Biblioteca de detecção do Googlebot

Um exemplo de como determinar a pertença do GoogleBot ao motor de busca Google

Muitas vezes, os invasores rastreiam sites para, por exemplo, passar conteúdo, se passando por um bot do mecanismo de pesquisa do Google. Os invasores realizam este truque simples passando um cabeçalho do Agente do Usuário contendo as mesmas informações que nos cabeçalhos de um bot real: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Essas ações de cibercriminosos podem não apenas criar carga desnecessária em seus servidores de Internet, mas também rastrear o conteúdo de seus sites sem o seu consentimento.

Para evitar a atividade indesejada de bots falsos que se fazem passar pelo GoogleBot, você pode usar o seguinte exemplo de código PHP (biblioteca de detecção do Googlebot):

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

Dessa forma, você pode evitar atividades indesejadas de bots que não estão relacionados ao mecanismo de pesquisa Google.

Ferramentas e serviços online gratuitos para webmasters e proprietários de sites