Библиотека обнаружения роботов Google

Пример определения принадлежности GoogleBot к поисковой системе Google

Очень часто злоумышленники сканируют веб-сайты, например, для передачи контента, выдавая себя за бота поисковой системы Google. Злоумышленники выполняют этот простой трюк, передавая заголовок User-Agent, содержащий ту же информацию, что и в заголовках настоящего бота: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Такие действия киберпреступников могут не только создавать ненужную нагрузку на ваши интернет-серверы, но и сканировать содержимое ваших сайтов без вашего согласия.

Чтобы предотвратить нежелательную активность поддельных ботов, выдающих себя за GoogleBot, вы можете использовать следующий пример кода PHP (библиотека обнаружения Googlebot):

if (strpos($_SERVER['HTTP_USER_AGENT'],'Googlebot') !== false) {
	$iphost = gethostbyaddr($_SERVER['REMOTE_ADDR']);
	if (substr($iphost, -10) != "google.com" && substr($iphost, -13) != "googlebot.com")
		echo "It's a fake GoogleBot! :(";
	else
		echo "It's a real GoogleBot! :)";
}

Таким образом, вы можете предотвратить нежелательную активность ботов, не связанных с поисковой системой Google.

Бесплатные онлайн-инструменты и услуги для веб-мастеров и владельцев веб-сайтов