Sobre palomas con malas intenciones

JMiur [E]

Sitemaps, robots y METAs

El buscador de Google sin duda es el más usado. Según dicen, 2 de cada 3 búsquedas se hacen a través de él y muchos otros buscadores utilizan sus motores. De alli que tratar que Google note nuestra existencia es una de las preocupaciones de cualquier sitio y, en mayor o menor medida, es lógico que nos ocupemos del tema.

Las herramientas de Google para Desarrolladores (Google Webmaster Tools) son un paso casi obligado en la vida de un blog sobre todo ahora que Blogger las ha integrado.

Pará qué sirven o cómo las usamos es más difícil de contestar pero, lo elemental es agregar un sitemap de nuestro sitio para mejorar la indexación; es decir, para que nuestras entradas aparezcan en los buscadores (más información).

Google nos explica que un sitemap es un archivo en formato XML que les proporciona información sobre un sitio web y lo que contiene es, básicamente, una lista de las páginas de ese sitio. Esa lista cubre las posible omisiones o errores de los robots que, de todas maneras, rastrean la web en búsqueda de contenido. Su utilidad aumenta si el sitio es dinámico, es decir, si cambia con cierta regularidad (un blog, por ejemplo) o si es nuevo y no tiene muchos enlaces externos.

Eventualmente, esos sitemaps también agregan otro tipo de información: la frecuencia con la que se modifican las páginas; las fechas de esas modificaciones; la importancia relativa de las páginas dentro del sitio; etc.

Hay que tener claro que, la existencia o no de esos sitemaps no garantiza nada, sólo son un complemento (más información).

Un sitemap estándar funcionará en la mayoría de los sitios aunque hay ciertas variantes que pueden incluirse y que son específicas de cada buscador.

Este es un contenido típico:

<url>
  <loc>http://misitio.com/</loc>
  <lastmod>2008-09-02T03:00:13+00:00</lastmod>
  <changefreq>daily</changefreq>
  <priority>1.0</priority>
</url>
<url>
  <loc>http://misitio.com/carpeta/unaentrada..html/</loc>
  <lastmod>2008-08-26T05:56:47+00:00</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.7</priority>
</url>

En resumen, un sitemap es un archivo XML que se genera con alguna aplicación y que luego, podemos editar pero, en el caso especial de Blogger esto no es así ya que, simplemente, no nos lo permite y debemos utilizar feeds para crear algo similar.

Del mismo modo, hay otro archivo de texto llamado robots.txt que también (si nos dejaran) podríamos utilizar.

Ese archivo es el que nos permitiría controlar la forma en que los rastreadores (crawlers) como los Googlebots de Google deben interpretar nuestro sitio aunque, en realidad, su contenido sólo son "sugerencias" y esos rastreadores pueden aceptarlas o no. Por ejemplo, podría impedirse el accesos a algunos de ellos (los que "roban" contenido), limitar la frecuencia de rastreo, eliminar páginas o contenido irrelevante o duplicado, etc.

Cuando un crawler visita una página, lo primero que busca en el servidor es el archivo robots.txt y si lo encuentra, lo analiza para ver si le está permitido acceder al contenido y, dentro de ciertos límite, sigue las directivas establecidas en él (más información).

Como ya sabemos, los blogs de Blogger no tienen acceso a ese archivo, es el servicio quien lo crea y lo maneja a su antojo. En el menú Herramientas de Google Webmaster Tools nos vamos a encontrar con la posibilidad de analizarlo o verlo con la opción Análisis de robots.txt:

URL de robots.txt http://vagabundia.blogspot.com/robots.txt
Descargado por última vez Hace 47 minutos
Estado 200 (Correcta)

El texto de ese archivo dirá esto:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Noindex: /feedReaderJson

Sitemap: http://nombre.blogspot.com/feeds/posts/default?orderby=updated

Todos los robots.txt de Blogger dirán exactamente lo mismo.

User-agent es el nombre del rastreador al que se le dan instrucciones:

Mediapartners-Google es el que se encarga de los anuncios de Google Adsense
Googlebot-Image es el que indexa las imágenes de Google
Slurp es el de Yahoo
Googlebot el de Google
msnbot el de MSN

Disallow se usa para indicar las rutas prohibidas, aquellas que no queremos que se indexen.

Disallow: # sin valor, indica que no hay restricciones
Disallow: /search # impide la indexacion de las paginas que son resultados de búsquedas internas

Podría haber otras y, por ejemplo, usar un asterisco para especificar a todos los robots:

User-Agent: *
Disallow: / # impide la indexacion de todas las paginas
Disallow: /contacto.html # no indexar esa página
Disallow: /privado/ # no indexar el contenido de ese directorio
Disallow: /*.css$ # impide la indexacion de los archivos con extensión CSS

Cuando vamos a la parte de Diagnóstico, nos muestra errores. Algunos son culpa nuestra (Errores de HTTP) y son el resultado de enlaces equivocados. Esos deberíamos tratar de corregirlos; lo mismo ocurre con los listados como No se ha encontrado.

Otros tipo de error que nos muestra es el que suele causar dudas: URL restringidas por robots.txt y allí veremos, por ejemplo:

http://misitio.blogspot.com/feedReaderJson
http://misitio.blogspot.com/search/label/

Esos, no son errores sino que es lo que dice nuestro archivo robots.txt, las páginas de búsqueda no serán indexadas, están bloqueadas y eso, no es malo sino bueno.

Noindex: /feedReaderJson es una nueva restricción que se ha agregado recientemente y que impide que los enlaces generados via los scripts de Json sean indexados (más información).

Las Herramientas para Webmasters también permiten generar un archivo robots.txt, verificarlo, probarlo, etc pero, de nada nos servirá en Blogger ya que no tenemos ninguna posibilidad de alojarlo.

Ahora bien, si no podemos crear ese archivo pero queremos personalizar algunas instrucciones, podemos utilizar las etiquetas META para comunicarnos con esos robots.

<META name="robots" content="INDEX,FOLLOW" />
indica que se indexe la página y todos sus enlaces (es el valor por defecto)

<META name="robots" content="INDEX,NOFOLLOW" />
indica que se indexe la página pero no los enlaces

<META name="robots" content="NOINDEX,FOLLOW" />
indica que NO se indexe la página pero si los enlaces

<META name="robots" content="NOINDEX,NOFOLLOW" />
indica que no se indexe la página ni sus enlaces

Y al séptimo dia, Google descansó

¡Che, Blogger!

Etiquetas desplegables en la sidebar

Como Blogger no nos ofrece alternativas para manejar nuestros archivos, organizarlos o listarlos, generalemente, no queda más remedio que recurrir a scripts que leen el contenido RSS de nuestro blog y de esa manera hacer cosas diferentes de las no-pensadas por los desarrolladores.

Una de esas alternativas es la que muestra El escaparate de Rosa

en un artículo reciente y que es muy sencilla de implementar.

La idea es mostrar las etiquetas pero adosándoles la posibilidad de desplegarse para que además, cada una nos liste las últimas entradas asociadas como enlaces individuales; de alguna manera, se trata de crear un estilo similar al que se ve en el elemento Archivos.

Para implementarlo, debemos descargar el archivo JS con el script, alojarlo en un servidor y luego, si seguimos las instrucciones de Rosa, no habrá problemas.

Como alternativa, ya que el tema de usar archivos externos es un "drama" para muchos, voy a explicar la manera de hacer lo mismo pero, agregando el código directamente y de esa manera, no depender de servidores. Como se verá, el resultado final, será el mismo.

Empiezo agregando un elemento Etiquetas en la plantilla, dándole un título para poder encontrarlo luego y lo ubico en la sidebar donde quiero que se muestre. Ahora vamos a Edicion HTML de la plantilla y expandimos los artilugios para buscar ese elemento que dirá algo así:

<b:widget id='LabelX' locked='false' title='El Titulo' type='Label'>
<b:includable id='main'>
<b:if cond='data:title'>
<h2><data:title/></h2>
</b:if>
<div class='widget-content'>
<ul>
.......
.......
</ul>
<b:include name='quickedit'/>
</div>
</b:includable>
</b:widget>

Vamos a eliminar todo eso que está entre <ul> y </ul> para reemplazarlo por nuestro propio código:

<script type='text/javascript'>
// <![CDATA[
home_page = 'http://NOMBREBLOG.blogspot.com/';
max_rc_posts = 10;
function showentry(json){
var maxp = (max_rc_posts <= json.feed.entry.length) ? max_rc_posts : json.feed.entry.length;
var text = "<ul>";
for (var i = 0; i < maxp; i++) {
var entry = json.feed.entry[i];
var posttitle = entry.title.$t;
var posturl;
if (i == json.feed.entry.length) break;
for (var k = 0; k < entry.link.length; k++) {
if (entry.link[k].rel == 'alternate') {
posturl = entry.link[k].href;
break;
}
}
text += "<li><a href='"+posturl+"'>" + posttitle + "</a></li>";
}
text += "</ul>";
document.getElementById("showItemLabel").innerHTML = text;
}
function showPostLabel(sPL_label,e){
var isDOM  = (navigator.appName.match("Microsoft Internet Explorer") || navigator.appName.match("MSIE")) ? false : true;
var check = document.getElementById("showItemLabel");
if(check) {
if(!isDOM) { check.removeNode(true); }
else {check.parentNode.removeChild(check);}
}
var elm;
if(e.target) elm = e.target;
else elm = window.event.srcElement;
var div = document.createElement('div');
div.innerHTML = "";
div.id = "showItemLabel";
if(!isDOM) { elm.insertAdjacentElement('afterEnd', div); } else { elm.parentNode.insertBefore(div, this.nextSibling); }
var elm2 = document.getElementById("showItemLabel");
elm2.style.display = "inline";
elm2.innerHTML = "<br/>Cargando entradas...";
var script = document.createElement('script');
script.src = home_page+"feeds/posts/summary/-/"+sPL_label.replace(/ /g,"%20")+"?start-index=1&max-results="+max_rc_posts+1+"&alt=json-in-script&callback=showentry";
script.type = "text/javascript";
document.getElementsByTagName('head')[0].appendChild(script);
}
// ]]>
</script>
<ul>
<b:loop values='data:labels' var='label'>
<li>
<b:if cond='data:blog.url == data:label.url'>
<span expr:dir='data:blog.languageDirection'>
<data:label.name/> <span dir='ltr'>(<data:label.count/>)</span> <a expr:onclick='"showPostLabel(\"" + data:label.name + "\",event)"' href='javascript:void(0)'>►</a>
</span>
<b:else/>
<a expr:dir='data:blog.languageDirection' expr:href='data:label.url'><data:label.name/></a>
<span dir='ltr'>(<data:label.count/>)</span> <a expr:onclick='"showPostLabel(\"" + data:label.name + "\",event)"' href='javascript:void(0)'>►</a>
</b:if>
</li>
</b:loop>
</ul>

El único dato que debemos modificar es la dirección de nuestro blog que está en una de las primera líneas:

home_page = 'http://NOMBREBLOG.blogspot.com/';

El otro dato que podemos modificar con facilidad es la cantidad máxima de entradas a ser mostradas; eso lo hacemos con esta línea:

max_rc_posts = 10;

Es importante saber que la demora en cargarse dependerá de ese número así que no conviene usar valores muy altos.

Cada vez que hagamos click en una de esas etiquetas, se mostrará "Cargando entradas..." que es un texto que podemos modificar si lo buscamos en el código:

elm2.innerHTML = "<br/>Cargando entradas...";

Lo mismo podemos hacer con el contador de entradas por etiqueta, borrando lo marcado en color rojo (está en dos lados):

<data:label.name/> <span dir='ltr'>(<data:label.count/>)</span> <a ...

En el script, también se utiliza un símbolo [ ► ] como enlace para "expandir":

►

Podemos reemplazarlo por otros o por cualquier texto o imagen:

▼ [ ▼ ]
◄ [ ◄ ]

Como lo que se genera es una lista, el estilo se adaptará a nuestra sidebar y si queremos personalizarla, podemos agregar las definiciones y propiedades de estilo justo antes de </b:skin>.

Si queremos establecer un estilo distinto al estandard, deberemos identificar el elemento:

#LabelX ul { ....... }
#LabelX ul li { ....... }
#LabelX ul li a { ....... }

El área expandida está dentro de un DIV llamado showItemLabel así que la controlamos con esa definición. Por ejemplo:

#showItemLabel { /* es el área completa */ }
#showItemLabel ul { /* la lista */
padding:0;
margin:0;
}
#showItemLabel ul li { /* cada item de la lista */
background-color: #343F4A;
list-style-image: url();
padding: 0 0 0 10px;
margin: 2px 0;
width: 85%;
}
#showItemLabel ul li a, #showItemLabel ul li a:visited { /* cada item es un enlace */
color: #FF9933;
font-weight: normal;
}
#showItemLabel ul li a:hover { /* efecto rollover sobre los enlaces */
color: #FFFFFF;
}

Agregar una "marca" a los feeds

Ahora que es tan común el acceso a publicar contenido utilizando los feeds RSS de otros sitios, nos vemos en una situación incómoda y de muy difícil solución. Todo esto es demasiado nuevo, las reglas no son claras, ni siquiera sabemos si existen y es probable que el tiempo vaya decantando las cosas pero, por ahora no hay más remedio que "jugar" con lo que tenemos y usar las herramientas a nuestra disposición.

Alguna vez se comentó sobre lo dificultoso que resulta para el mismo Google y sus robots detectar la fuente original de artículos que son exactamente iguales. Ellos, afirman que lo hacen. Cualquier usuario sabe que no o por lo menos que no lo hace bien.

Estos sitios no tienen nada que ver con el llamado copypaste que es una práctica individual; se trata de sitios armados especialmente para eso y son los llamados scrapers. Tienen una característica que los identifica: nada en ese sitio es original y se han multipicado a partir de la incorporaciòn de la publicidad, sobre todo, con la expansión de Google Adsense.

¿Podemos evitarlo? No, nadie ha logrado hacerlo pero, un artículo de Digital Inspiration nos muestra una forma de minimizar el problema e incluso, utilizarlo a nuestro favor. Simplemente se trata de "marcar" los feeds con nuestra dirección URL.

En Blogger es algo que podemos hacer con facilidad. Hay que ir a la Configuración | Feed del Sitio y allí veremos un área de texto con el título Pie de página del feed de entradas donde se nos permite agregar algún tipo de código HTML. Por ejemplo, podríamos poner:

<hr />  <a href="http://miSitio.blogspot.com">Nombre</a>

Esto agregaría un enlace al final de cada entrada que sólo sería visible en un lector de feeds y que en nada cambiaría la forma en que se ve nuestro sitio.

Tampoco estamos limitados a eso, en realidad, podemos agregar cualquier otro tipo de enlace o texto. La única condición es que debemos establecer la opción Permitir feed del blog como Completo ya que Blogger no agrega esos pie de página cuando son parciales.

Por supuesto, esto no hará que Google identifique el contenido como original, sólo hará evidente que algún artículo fue copiado y que ni siquiera se han tomado la molestia de "corregirlo".