La importancia del Archivo robots.txt para el SEO

Para que sirve el fichero robots.txt

El fichero robot.txt sirve para limitar el acceso a los robots como el bot de Google y otros buscadores, pues éstos están diseñados para indexar prácticamente todo lo que encuentren y la única manera de filtrar las publicaciones para mostrar a los lectores es mediante la introducción de directrices específicas en el archivo para especificar aquellas que no queramos que se muestren. Por estas y otras razones que ahora explicaremos , un archivo robots.txt correctamente configurado ayudará a mejorar el SEO de tu web

robots-txt-seo

Porque restringir el acceso de robots a ciertos directorios

Existen múltiples situaciones en las que se puede utilizar un fichero robot.txt para restringir el acceso a determinados contenidos como las que se detallan a continuación.

Aplicaciones del fichero Robot.txt

Limitar acceso a directorios

Limitar el acceso a determinadas zonas de la web para que no sean indexadas aunque estén disponibles para los usuarios, tales como páginas de relleno tipo políticas de uso o formularios de contacto, además de áreas privadas o restringidas al público como cursos,membresías etc.

Evitar contenido duplicado

Evitar contenido duplicado. Esto es prácticamente lo más importante para evitar caer en penalizaciones y resulta válido tanto para contenido dentro de la misma web, como para contenido externo repetido que no queramos que sea rastreado por el buscador.  Ojo aunque que bloqueemos alguna parte de a web no quiere decir que nos de garantías de que los robots no van a rastrearlo.

Aligerar la carga del servidor

Aligerar la carga del servidor se encuentra entre las múltiples utilidades que podemos atribuir al fichero robot.txt, ya que si se trata de servidores compartidos o damos barra libre a todos los robots puede dar lugar a un carga excesiva y a una caída del servidor.

Otras aplicaciones del archivo robots

Estos son sólo algunos ejemplos de lo que se puede hacer con un fichero robot.txt, no obstante, hay muchas otras situaciones en las que un archivo.txt no basta para restringir algunas publicaciones, como por ejemplo, los robots o spiders que scrapean las páginas webs buscando direcciones email para comercializar con ellas o para prevenir ataques por fuerza bruta, para lo cual se aconseja tomar medidas adicionales de restricción. Por eso tal vez te interese este artículo que te ayudará a bloquear mas de 200 robots o crawlers que pueden ser maliciosos

Como crear el archivo robots.txt

Hay muchas maneras de crear un archivo robot.txt, en el caso de WordPress, por ejemplo, se pueden aplicar las restricciones pertinentes mediante los múltiples plugins de SEO que podemos instalar de manera gratuita o instalar un plugin específico para crearlo. Aunque la forma más factible es subir tu fichero robot.txt en el directorio raíz vía FTP, posteriormente sería conveniente entrar en Search console y comprobar que no existen fallos. Si no estas dado de alta en Search console este artículo te puede ayudar

Es aconsejable poner la url del sitemap en el archivo robots

Para una filtración más eficiente de la indexación de contenidos es aconsejable introducir la url del sitemap con todas las páginas del sitio web, excluyendo previamente las que no queramos que se añadan a nuestro mapa del sitio. Por ejemplo perfil de autor, opiniones…

Plugins para crear tu sitemap en WordPress

Al igual que el fichero robot.txt existe múltiples aplicaciones online y plugins específicos para crear un sitemap, el cual también se puede enviar a google a través de search console

Yoast
All in one SEO

Configuración archivo robots.txt

Una buena configuración mínima para tu archivo robots.txt puede ser esta, en la que dices al robot que no explore esas rutas, lo que hará que mejore la indexación de las páginas que realmente son importantes, ya que cada web tiene asignada una frecuencia y una duración de rastreo. Además si tu servidor es compartido o tienes otros programas o instalaciones accesibles desde la web te aconsejo que añadas la ruta de la carpeta.

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /feed/

Disallow: /*.js$

Disallow: /*.css$

Disallow: /xmlrpc.xml

Sitemap: https://tusitio.com/sitemap.xml

( la url del sitemap es diferente dependiendo del plugin que utilices para genearlo, siempre comprueba la url por si no fuera accesible)

Otras instrucciones válidas para tu robots.txt

User-agent: [Nombre del robot al que quieres aplicar reglas]

Disallow: [url o rutas que quieres bloquear]

Allow: [url o ruta que quieres dar prioridad para que sea escaneada si o si]

Si quieres aprender más revisa la información sobre robots.txt que proporciona google para webmasters

¿Conectamos?

Seo valencia

SEO at Kupakia
Consultor Seo en Valencia, apasionado del Marketing online, Añádeme a tu red estaré encantado de aceptarte
JOSEMISEO en Google Plus
Añádeme a Linkedin
¿Conectamos?
 

More from our blog

See all posts
1 Comment