#Documento robot para sitio AGLOMERADOS ZABALETA #Metemos primero el sitemap.xml Sitemap:http://www.aglomeradoszabaleta.com/sitemap.xml #--------------------------------------- #Ahora las directrices para los robots #Elegimos el robot, en este caso las normas son para todos al poner * User-Agent:* #Le decimos lo que no queremos que indexe #Le damos 10 segundos de pausa entre peticion de pagina para no saturar nuestro servidor Crawl-delay:10