Bloquear acceso de buscadores a mi sitio web

El consumo elevado de recursos en nuestro sitio web puede ser un problema debido a que se puede saturar los servicios indispensables para el funcionamiento de nuestro sitio como lo es apache y bases de datos (Mysql).

Muchas veces esto es generado por conexiones de buscadores  que ingresan al sitio con la finalidad de adjuntar la pagina en sus resultados de búsqueda.

Los mas comunes y en los que deseamos a parecer son google y yahoo.

Existen muchos otros que pueden causarnos problemas  ya que son buscadores de otros países y mandan gran cantidad de visitas que consumen muchos recursos.

Una manera sencilla de saber que buscadores están ingresando a nuestro sitio es, ir a tu cPanel, en la sección de Estadísticas (Métrica), ingresar a Awstats:

Esta la opción de visualizar con o sin https dependiendo como es que se muestra tu sitio ante el publico, ingresamos a cualquiera de las opciones y una vez dentro buscamos la siguiente sección:

Aquí podemos localizar que buscadores son los que mas hits o solicitudes mandan.

Ya con esta información, podemos realizar un código para bloquear el acceso a los Robots/Spiders  de los que no quieras recibir visitas:

Este código debemos colocarlo en el archivo .htaccess de tu sitio como se muestra en el siguiente ejemplo:

SetEnvIfNoCase User-Agent (SemrushBot|AhrefsBot|bingbot|MJ12bot|DataForSeoBot|YandexBot|DotBot) is_search_bot
order deny,allow
deny from env=is_search_bot

Esperando que este tutorial sea de ayuda.

Saludos.