Curiosidades SEO en la Casa Blanca

Podemos observar en la web de la casa blanca,  se han producido cambios con la entrada de Barack Obama. Y uno de ellos muy curioso y no visible a los ojos normales de un usuario es del archivo robots.txt.

La información contenida por el archivo robots.txt con Bush era:


User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /360pics/text
Disallow: /911/911day/text
Disallow: /911/heroes/text
…
2400 líneas más...


Y ahora el robots.txt con Barack Obama es:

User-agent: *
Disallow: /includes/


curioso, verdad?