El fichero robots.txt es un recurso esencial para controlar cómo los buscadores exploran tu página web . Permite a los rastreadores instrucciones sobre qué páginas de tu dominio pueden exploradas y cuáles no deben ser ignoradas . Una configuración del Entrar robots.txt puede aumentar tu SEO en los resultados de búsqueda y prevenir problemas