{\rtf1\ansi\ansicpg1252\cocoartf949\cocoasubrtf430
{\fonttbl\f0\fswiss\fcharset0 Helvetica;}
{\colortbl;\red255\green255\blue255;}
\paperw11900\paperh16840\margl1440\margr1440\vieww9000\viewh8400\viewkind0
\pard\tx566\tx1133\tx1700\tx2267\tx2834\tx3401\tx3968\tx4535\tx5102\tx5669\tx6236\tx6803\ql\qnatural\pardirnatural

\f0\fs24 \cf0 #\
# robots.txt para tu blog en WordPress.\
#\
# Usar bajo propia responsabilidad, que nos conocemos \}:)\
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml\
#\
# Primero el contenido adjunto.\
User-Agent: *\
Allow: /wp-content/uploads/\
Disallow: /wp-content/plugins/\
Disallow: /wp-content/themes/\
Disallow: /wp-includes/\
Disallow: /wp-admin/\
# Tambi\'e9n podemos desindexar todo lo que empiece\
# por wp-. Es lo mismo que los Disallow de arriba pero\
# incluye cosas como wp-rss.php\
Disallow: /wp-\
#\
# Sitemap permitido, b\'fasquedas no.\
#\
Sitemap: http://www.javiquil.com/sitemap.xml\
Disallow: /?s=\
Disallow: /search\
#\
# Permitimos el feed general para Google Blogsearch.\
#\
# Impedimos que permalink/feed/ sea indexado ya que el\
# feed con los comentarios suele posicionarse en lugar de\
# la entrada y desorienta a los usuarios.\
#\
# Lo mismo con URLs terminadas en /trackback/ que s\'f3lo\
# sirven como Trackback URI (y son contenido duplicado).\
#\
Allow: /feed/$\
Disallow: /feed\
Disallow: /comments/feed\
Disallow: /*/feed/$\
Disallow: /*/feed/rss/$\
Disallow: /*/trackback/$\
Disallow: /*/*/feed/$\
Disallow: /*/*/feed/rss/$\
Disallow: /*/*/trackback/$\
Disallow: /*/*/*/feed/$\
Disallow: /*/*/*/feed/rss/$\
Disallow: /*/*/*/trackback/$\
#\
# A partir de aqu\'ed es opcional pero recomendado.\
#\
# Lista de bots que suelen respetar el robots.txt pero rara\
# vez hacen un buen uso del sitio y abusan bastante\'85\
# A\'f1adir al gusto del consumidor\'85\
User-agent: MSIECrawler\
Disallow: /\
User-agent: WebCopier\
Disallow: /\
User-agent: HTTrack\
Disallow: /\
User-agent: Microsoft.URL.Control\
Disallow: /\
User-agent: libwww\
Disallow: /\
#\
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen\
# idas de pinza, toca decirles que reduzcan la marcha.\
# El valor es en segundos y pod\'e9is dejarlo bajo e ir\
# subiendo hasta el punto \'f3ptimo.\
#\
User-agent: noxtrumbot\
Crawl-delay: 50\
User-agent: msnbot\
Crawl-delay: 30\
User-agent: Slurp\
Crawl-delay: 10}