# # robots.txt para tu blog en WordPress. # # User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-content/themes/ Disallow: /wp-includes/ Disallow: /wp-admin/ Disallow: /2009/11/01/ Disallow: /2009/10/30/ Disallow: /2009/11/02/ Disallow: /hotel-cariblue Disallow: /hotel-shawandha Disallow: /hotel-blue-tag-inn Disallow: /hotel-bananarama/ Disallow: /hotel-atitlan Disallow: /hotel-el-establo Disallow: /hotel-los-delfines Disallow: /hoteles-en-honduras/ Disallow: /hotel-arenas-del-mar/ Disallow: /hotel-atitlan/ Disallow: /tag/la-ceiba/www.plantationbeachresort.com/ Disallow: /hoteles-en-panama Disallow: /hotel-vista-mar Disallow: /hotel-los-delfines/ Disallow: /hoteles-en-panama/ Disallow: /hotel-el-parador Disallow: /hotel-punta-caracol/ Disallow: /hoteles-en-honduras Disallow: /hotel-el-parador/ Disallow: /paises/peru Disallow: /tag/la-ceiba/www.plantationbeachresort.com Disallow: /hotel-heliconia/ Disallow: /hoteles/hoteles-en-peru Disallow: /hoteles-en-peru Disallow: /hotel-el-establo/ Disallow: /hoteles-en-nicaragua Disallow: /hotel-arenas-del-mar Disallow: /hotel-blue-tag-inn/ Disallow: /hotel-bananarama Disallow: /hotel-tabacon Disallow: /hoteles/hoteles-en-peru/ Disallow: /hotel-tabacon/ Disallow: /paises/peru/ Disallow: /hotel-shawandha/ Disallow: /hotel-sapo-dorado Disallow: /hotel-vista-mar/ Disallow: /hotel-cariblue/ Disallow: /hoteles-en-peru/ Disallow: /hoteles-en-nicaragua/ Disallow: /hotel-heliconia Disallow: /hotel-punta-caracol Disallow: /hotel-sapo-dorado/ # También podemos desindexar todo lo que empiece # por wp-. Es lo mismo que los Disallow de arriba pero # incluye cosas como wp-rss.php Disallow: /wp- # # Sitemap permitido, búsquedas no. # Sitemap: http://www.cartadeviajes.com/sitemap.xml # # Permitimos el feed general para Google Blogsearch. # # Impedimos que permalink/feed/ sea indexado ya que el # feed con los comentarios suele posicionarse en lugar de # la entrada y desorienta a los usuarios. # # Lo mismo con URLs terminadas en /trackback/ que sólo # sirven como Trackback URI (y son contenido duplicado). # Allow: /feed/$ Disallow: /feed Disallow: /comments/feed Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ # # A partir de aquí es opcional pero recomendado. # # Lista de bots que suelen respetar el robots.txt pero rara # vez hacen un buen uso del sitio y abusan bastante… # Añadir al gusto del consumidor… User-agent: MSIECrawler Disallow: / User-agent: WebCopier Disallow: / User-agent: HTTrack Disallow: / User-agent: Microsoft.URL.Control Disallow: / User-agent: libwww Disallow: / # # Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen # idas de pinza, toca decirles que reduzcan la marcha. # El valor es en segundos y podéis dejarlo bajo e ir # subiendo hasta el punto óptimo. # User-agent: noxtrumbot Crawl-delay: 50 User-agent: msnbot Crawl-delay: 30 User-agent: Slurp Crawl-delay: 10