#   
# robots.txt para tu blog en WordPress.   
#   
# Usar bajo propia responsabilidad, que nos conocemos }:)   
# http://www.sigt.net/desarrollo-web/robotstxt-para-wordpress.html   
#

# Primero el contenido adjunto.

User-Agent: *   
Allow: /wp-content/uploads/   
#Disallow: /wp-content/plugins/   
#Disallow: /wp-content/themes/   
Disallow: /wp-includes/   
Disallow: /wp-admin/
Disallow: /phpMyAdmin/
Disallow: /plumassectas/
Disallow: /developer/

# Tambien podemos desindexar todo lo que empiece   
# por wp-. Es lo mismo que los Disallow de arriba pero   
# incluye cosas como wp-rss.php

#Disallow: /wp-

#   
# Sitemap permitido, busquedas no.   
#

Sitemap: https://lagazzettadf.com/sitemap_index.xml  
Disallow: /?s=   
Disallow: /search

#   
# Permitimos el feed general para Google Blogsearch.   
#   
# Impedimos que permalink/feed/ sea indexado ya que el   
# feed con los comentarios suele posicionarse en lugar de   
# la entrada y desorienta a los usuarios.   
#   
# Lo mismo con URLs terminadas en /trackback/ que solo   
# sirven como Trackback URI (y son contenido duplicado).   
#

Allow: /feed/$   
Disallow: /feed   
Disallow: /comments/feed   
Disallow: /*/feed/$   
Disallow: /*/feed/rss/$   
Disallow: /*/trackback/$   
Disallow: /*/*/feed/$   
Disallow: /*/*/feed/rss/$   
Disallow: /*/*/trackback/$   
Disallow: /*/*/*/feed/$   
Disallow: /*/*/*/feed/rss/$   
Disallow: /*/*/*/trackback/$

#   
# A partir de aqui es opcional pero recomendado.   
#

# Lista de bots que suelen respetar el robots.txt pero rara   
# vez hacen un buen uso del sitio y abusan bastante...   
# Anadir al gusto del consumidor...

User-agent: MSIECrawler   
Disallow: /

User-agent: WebCopier   
Disallow: /

User-agent: HTTrack   
Disallow: /

User-agent: Microsoft.URL.Control   
Disallow: /

User-agent: libwww   
Disallow: /

#   
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen   
# idas de pinza, toca decirles que reduzcan la marcha.   
# El valor es en segundos y puedes dejarlo bajo e ir   
# subiendo hasta el punto optimo.   
#

User-agent: noxtrumbot   
Crawl-delay: 50

User-agent: msnbot   
Crawl-delay: 30

User-agent: Slurp   
Crawl-delay: 10