El fichero robots.txt es una herramienta fundamental para dirigir cómo los rastreadores web exploran tu portal. Ofrece a los bots indicaciones sobre cuáles secciones de tu sitio pueden ser rastreadas y cuáles es preferible que no omitidas. Una configuración del robots.txt puede mejorar tu visibilidad en los resultados de búsqueda y solucionar