Crear un Archivo robots.txt

• Objetivo:
  Mostrar cómo crear un archivo robots.txt para 
  
  
  
  
• Descripción general del funcionamiento de un archivo robots.txt

Al generar o dar de alta un nuevo sitio web, los motores de búsqueda envían a sus aliados (o robots) a ‘rastrearlo’ y de esta manera, crear un mapa de todas las páginas que contiene. Al culminar su labor, estos robots rastreadores sabrán qué páginas mostrar cuando algún usuario busque palabras clave relacionadas. En pocas palabras, es así de sencillo.

El contenido de un archivo robots.txt proporciona un conjunto de instrucciones para los robots de los motores de búsqueda: «¡Oigan, pueden entrar a la sala y el baño, pero tienen prohibido ingresar a las habitaciones de arriba!» Dicho archivo puede ser tan detallado y específico como se desee, y es bastante fácil de crear, incluso si no eres un experto en los aspectos técnicos.

Los motores de búsqueda rastrearán tu sitio web, incluso si no se posee un archivo robots.txt configurado. Ahora bien, el no crearlo es ineficiente, ya que sin este archivo, estás dejando que los robots indexen todo tu contenido, y son tan minuciosos que podrían terminar mostrando partes de tu sitio web al cual no quieres que otras personas tengan acceso.

Algo a tomar muy en cuenta es que, sin un archivo robots.txt, tendrás muchos robots en tu sitio web, lo cual puede afectar negativamente su rendimiento. Incluso si el contacto es insignificante, la velocidad de la página es algo que siempre debería estar entre tus principales prioridades. Después de todo, hay pocas cosas que la gente odia tanto como los sitios web lentos (¡y eso nos incluye a nosotros!).

• Contenido de un archivo robots.txt

El archivo robots.txt debe crearse dentro de la carpeta public_html de su dominio y el contenido debe ser similar al siguiente:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/

Este es un ejemplo de un archivo robots.txt muy sencillo. Cuya definición es la siguiente... la parte justo después de User-agent: declara a qué robots se aplican las reglas a continuación. Un asterisco significa que las reglas son universales y se aplican a todos los robots. En este caso, el archivo le dice a esos robots que no pueden ir a tus directorios wp-admin, wp-content y wp-includes. Eso tiene cierto sentido, ya que esas dos carpetas contienen una gran cantidad de archivos confidenciales.

Sin duda alguna encontrará muchas sugerencias al respecto en la web, sin embargo si desea mitigar al menos temporalmente el rastreo de estos agentes, el código a agregar es el siguiente...

User-agent: *
Disallow: /

• Directivas

Directivas que se pueden agregar:

• Disallow: para indicar que no quieres que el bot rastree los archivos o directorios indicados.
• Allow: para indicar que los bots sí deben rastrear este directorio.
• Crawl-delay: la espera que deben hacer los bots entre cada petición dentro del sitio.
• Noindex: especial para Google, para indicar qué archivos no quieres indexar.

Comodines que se pueden combinar:

• *: para indicar que la directiva se aplica a todos los bots.
• $: este símbolo te permite poner caracteres y hacer que los bots no indexen documentos o archivos con estos caracteres.
• #: comentarios que serán ignorados por los bots.

El contenido y personalización del archivo depende de sus necesidades, motivo por el cual tiene alguna duda o caonsulta, favor de contactar a nuestro personal de soporte a través de cualquiera de nuestros canales de atención (Ticket, Chat o Llamada Telefónica).