Antes de comenzar, hay que partir de la siguiente base: Si queremos que Google (u otro buscador) conozca todas las páginas de nuestro sitio web, tendremos que facilitarle la tarea.
Para eso existen los sitemaps (mapas del sitio), unos documentos XML especiales que utilizan el protocolo sitemap para indicar todas las páginas que existen dentro de un sitio web, junto a detalles como la fecha de la última modificación, frecuencia con la que se modifican los contenidos (evita que el robot revise la página más veces de lo necesario) o la prioridad de rastreo sobre otras secciones de tu sitio web. Aquí tienes dos herramientas para crear Sitemaps: https://www.xml-sitemaps.com/ y http://www.web-site-map.com/
Además, dependiendo del tipo de sitio web que poseas, puedes crear sitemaps especializados para el contenido que tengas:
- Un sitemap de imágenes, para indexar tus imágenes en Google.
- Si tienes archivos de video en tu sitio web, un sitemap de vídeos.
- Un sitemap para móviles si tienes una versión especial para ellos.
- Si publicas noticias de actualidad, un sitemaps de noticias.
- Incluso, puedes crear un sitemap de código fuente si acostumbras a publicar archivos de programación.
Desde el panel de Google Webmaster puedes gestionar tus sitemaps y comprobar si han sido correctamente enviados (e indexados en Google). También puedes usar Submit URL para realizar envíos de forma manual.
Archivo Robots
El archivo Robots.txt es ideal tenerlo en cada uno de los sitios, ya que con él podremos indicar a los buscadores lo que queremos que indexe y lo que no, pudiendo decirle el tiempo máximo que puede estar por cada carpeta.
Generadores de archivos Robots.TXT :
http://www.mcanerin.com/en/search-engine/robots-txt.asp
http://tools.seobook.com/robots-txt/generator/
http://www.robotsgenerator.com/
Todo lo que necesitas saber de los archivos robots.txt: http://deteresa.com/archivo-robots-txt/
Ejemplo para wordpress:
User Agent:*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /*trackback
Disallow: /wp-login/
Disallow: /*feed
Ampliar:
Como crear una buena estructura