El Archivo Robots.txt en Blogger – Lincoln – Teleconferencias

Como parte de la interacción de nuestro sitio web o blog con el buscador, hay dos archivos que son fundamentales, el sitemap que vimosaquí y aprendimos a gestionaraquí y el que ahora vamos a abordar conocido como "robots.txt".

Mientras que el sitemap permite dar a conocer al buscador la estructura de información de contenidos que alojamos en nuestro sitio web o blog, el archivo robots.txt se centra en controlar qué páginas pueden rastrear los robots de los diferentes buscadores que "pasan" por nuestro sitio web.

Si siempre ha suscitado tu curiosidad este archivo o no conocías su exsitencia, es posible que este artículo te ayude a entenderlo mejor.

QUÉ ES UN ARCHIVO ROBOT.TXT Y CÓMO INTERACTÚA CON EL BUSCADOR

Los robots rastreadores de los diferentes buscadores recorren nuestros sitios para añadir a sus correspondientes índices las nuevas entradas, páginas, imágenes y componentes que utilizamos en nuestro sitio web. Por medio del archivo robots podemos evitar que estos rastreadores incorporen páginas que no deseamos que se añadan al índice. A priori, parece un "sin sentido" no querer que estén todas nuestras páginas listas para servir en los resultados del buscador, pero en realidad es absolutamente necesario cuando queremos evitar que se produzcan duplicidades en la información añadida al índice o, simplemente, impedir el acceso a ciertos directorios donde tengamos información que no deseamos "indizar" o por la que no deseamos "ser encontrados".

Hay que dejar claro, que el archivo robots es perfectamente accesible desde el navegador y por tanto, susceptible de ser alterado utilizando métodos avanzados a tal propósito. Podéis comprobar que poniendo la URL de vuestro sitio web o blog "/robotos.txt", el navegador tratará de descargarse dicho archivo para mostrároslo en pantalla.

PRECAUCIONES A TENER EN CUENTA:

Es extremadamente importante no tocar estos archivos innecesariamente y sólo con el conocimiento adecuado de lo que se hace, pues podemos por error excluir por completo del motor de búsqueda a nuestro sitio web o blog. Blogger crea uno por defecto que está bien tal cual se presenta, no necesita modificaciones. Lo fundamental es buscar la forma en que protejamos lo que nos interesa sin impedir que se acceda al contenido que ofrecemos, cualquier error aquí puede suponer un problema para que los usuarios del buscador nos encuentren.

EJEMPLOS DE ARCHIVO ROBOTS.TXT EN BLOGGER PARA COMPRENDER SU FUNCIONAMIENTO:

El archivo robots.txt es un texto "plano" perfectamente editable por medio del Notepad o cualquier otro editor del cual dispongamos para realizar las modificaciones que estimemos oportunas. Viendo estos ejemplos podemos llegar a comprender parte de los conceptos básicos que conforman la construcción de esta clase de archivos.

EJEMPLO 1 de contenido de un Robots.txt

User-agent: *
Disallow:

Siempre suele comenzarse con la palabra clave "User-agent" que especificará el nombre del rastreador al que daremos acceso o, por el contrario, decidamos denegárselo. Si utilizamos como en el ejemplo "User-agent: *", al emplear el carácter comodín "*" estamos indicando que la sentencia que a continuación introduzcamos aplica para todos los robots rastreadores. A continuación como aparece "Disallow:" y no hay ningún directorio o "/" especificado, estamos indicando que todos los robots ("User agent: *") pueden acceder a todo el contenido de nuestro sitio web o blog ("Disallow:").

EJEMPLO 2 de contenido de un Robots.txt
User-agent: NOMBRE_BOT #
Disallow:
User-agent: *
Disallow: /

En este otro ejemplo, "User-agent: NOMBRE_BOT #" indica que vamos a establecer normas de trabajo para sólo el robot con el nombre que pongamos a la derecha de la sentencia User-agent. A continuación "Disallow:" indica que el robot indicado en User-agent tiene acceso completo para rastrear toda la información al índice. A continuación "User Agent: *" está especificando que se va a aplicar una regla para todos los robots. Al encontrarse bajo otra sentencia "User Agent" anterior, no afecta a la anterior norma ya establecida. El "Disallow: /" que aparece bajo "User-agent: *", indica que todos los demás robots que accedan para rastrear que no sean el robot autorizado en el primer bloque de sentencia ("User-agent:*"), no tendrán acceso a ningún directorio del sitio ("Disallow:/").

CÓMO EDITAR ROBOTS.TXT EN TU BLOG DE BLOGGER

Dentro de tu panel de control Blogger, accede en el menú de la izquierda a la opción "Configuración" y posteriormente a "Preferencias para motores de búsqueda". En la pantalla mostrada nos vamos a la sección inferior llamada "Rastreadores e indexación" y ahí podemos realizar la edición del archivo robots.txt

EN DEFINITIVA

Otro fichero necesario para conocer a fondo las interacciones del buscador con nuestro sitio web o blog. Permite evitar el acceso a los robots rastreadores de los buscadores para acceder a información que no deseamos añadir al índice: evitando duplicidades innecesarias en el índice, accesos a zonas que deseamos mantener "protegidas" o incluso consiguiendo que no nos busquen por determinados conceptos que no deseamos (aquellos que puedan estar en directorios que deseamos excluir por cualquier razón de las búsquedas públicas). Así mismo, ayudará al buscador a saber por dónde debe mover sus robots rastreadores para analizar y añadir al índice la información.

Como siempre, si tenéis alguna duda o inquietud utilizad los comentarios y la atiendo en cuanto me sea posible.

MESOTHELIOMA LAW FIRM DONATE CAR TO CHARITY CALIFORNIA HARDDRIVE DATA RECOVERY SERVICES DONATE A CAR IN MARYLAND DONATING A CAR IN MARYLAND,DONATE CARS ILLINOIS,CRIMINAL DEFENSE ATTORNEYS FLORIDA ,BEST CRIMINAL LAWYER IN ARIZONA STRUCTURED ANNUITY SETTLEMENT,ASBESTOS LAWYERS,NUNAVUT CULTURE,DAYTON FREIGHT LINES ,Bextra Bankruptcy Dental Plan Private Jet Mundial Football Perros,FIFA World Cup Peinados caninos,Veterinarios caninos,MESOTHELIOMA LAW FIRM,MESOTHELIOMA LAW FIRM,DONATE CAR TO CHARITY CALIFORNIA ,DONATE CAR FOR TAX CREDIT,DONATE CARS IN MA,DONATE YOUR CAR SACRAMENTO,HOW TO DONATE A CAR IN CALIFORNIA,SELL ANNUITY PAYMENT,DONATE YOUR CAR FOR KIDS,ASBESTOS LAWYERS,DONATE YOUR CAR FOR KIDS ,Selling annuity payments for cash Selling annuity payments for cash,Sell my structured settlement,Sell structured settlement,Structured settlement,Structured settlement companies,Sell my annuity payments lump sum,Car accident lawyer Denver,Accident injury attorneys,Sell my annuity