El fichero robots.txt es un recurso clave para dirigir cómo los rastreadores web rastrean tu portal. Ofrece a los rastreadores directrices sobre qué páginas de tu dominio pueden indexadas y cuáles deben excluidas . Una configuración adecuada del robots.txt puede impactar positivamente tu posicionamiento en los SERP y evitar problemas de rastre