Si tú me dices ven, lo indexo todo (3)

:|*Robots.txtel buen compañero del auditor|:

1, RTXT, 3
CapturaSi tú me dices ven, lo indexo todo (2)

Como podéis ver en la <captura> delanterior artículo” (a modo derepasito-) y como ya os he dicho, elrobotentiende que la orden afecta a toda esa #carpeta o directorio# (/servicios/).

Pero ¿es eso lo que queremos que haga? – pues No! – para que losrobotsentiendan que tan solo nos referimos a esa página en concreto, utilizaremos el <operador> #dólar#: (“$“) que nos especifica el final de laURL“. Es decir:

2, RTXT, 3

De esta manera le decimos alrobotque <No ·indexe·> lasURLsque terminen (exactamente) de esa forma, quedando comoúnica opciónsólo la <URL> de ese tipo la que queremosdesindexarprecisamente.Esto nos conduce al uso deexpresiones regularesen <robots.txt>.

-|*Operadores* enrobots.txt” (dólar y asterisco) ·usos·|-

El <ejemplo anterior> –sirvepara que podáisentender (y explicar)” el uso del #dólar# (-$-) en elrobots“, y lo cierto es que para sacarle mayor partido se ha de emplear junto alasterisco” (“*“). Dichoasteriscofunciona como un <comodín>, si hablara diría:

  • – > #Hola ¿que tal? – soy el sustitutodecualquier cosaque pueda ir en mi lugar#.

Mejor será que veamos un ejemplo de esto:

3, RTXT, 3

Resumiendo unpoquitín-: ya os he <explicado> que eldólar” (·$·) sirve para decirle que ahí <acaba> laURL“, que <No ·puede·> llevar nada más por <detrás> a aquello que queramos aplicarle el <“allowo eldisallow“>.

Para el <asterisco> (“*“) le estamos diciendo que #puede cambiarlo por lo que quiera#, siempre que detrás vaya un “.htm“. Es decir, podrá habervarios– “niveles de <carpeta>” de por medio; ejemplo:  (/carpeta/subcarpeta/pagina.htm) seríaexcluído-.

Con todo loexplicadole decimos a todos losrobotsque <Noindexen“> ningún #archivo# <HTM>. Esto nos <conduce> a #otracuestión“#..

|-Impedir la <indexación> de ·URLs· con #parámetros#-|

Con frecuencia nuestroCMSgenera <rutas con #parámetros#> del tipo: <“midominio.com/index.php?user=1”> queNo queremosque sean <indexadas> para no cometer unacopia doble” de <contenidos>. es decir, –duplicar-.

Siseguimoselpatrón <anterior>” y como ya sabemos que los #parámetros# vienenprecedidosde una <interrogación> “?“, aplicamos algo como esto:

4, RTXT, 3

De esta manera le decimos queNo <indexe>” todo lo que comience por #lo que quiera que sea# pero que luego tenga una <interrogación> “?“, seguido también de (otra vez) #lo que quiera que sea#. A buen seguro quealguno de vosotros ya se ha perdido en esteúltimo paso“, que <existirá> eldeseo e impulsode querer poner; –Disallow:/*?*- para tener la seguridad de que después de poner la <interrogación> “?irá algo más, como los #parámetros#.

Pues va a ser queNo“, va a ser que este ·tipo· de <expresionesregulares“> conllevan (por defecto) que, tras esto que os he dicho, pueda ir #cualquier cosa#. Por eso cuando digamos; <Disallow: /sevicios/> elrobotva acomprenderque todo lo que vaya pordetrás” (ejemplo; <servicios/auditoria>) no loindexará porque ha respondido a un #patrón# “definido“.

Pero debéis tener <muchocuidado“> porque esto puede resultar bastante <peligroso>. Esto lo vemos a continuación.

-|¿Qué ocurre cuando laURLde la página carece de extensión: (ejemplo: “.html“)?|-

imaginemos como <ejemplo> que hay unapáginaque no queremos que se <indexe> y cuya URLpongamos que es esta: (www.midominiochulo.com/servicio). Ahora <prestadatención“, <estarmuy atentos“> porque se podría caer en el queprobablementesea la mayor <errata> cometida (oerror“, como más os guste) cometido con el uso del #archivo# –robots.txta un nivelestratosférico” (literalmente hablando):

5, RTXT, 3

Con esto os dejo para quepenséis” (por ahora). Continuamos en el <próximo>.

Salu2

6, RTXT, 3

Anuncios

Responder

Por favor, inicia sesión con uno de estos métodos para publicar tu comentario:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s