Es así que necesitamos alguna forma de discriminar entre una cantidad abismante de información disponible. Las técnicas de Recuperación de la Información para la Web se han basado tradicionalmente en palabras claves o keywords. Sin embargo es difícíl diferenciar entre varios -posiblemente millones de páginas cuál contiene la información más útil con respecto a lo que estamos buscando. Para lograr este objetivo es necesario discriminar. La idea base de discriminar es la base de cualquier ranking(*), esto es, definir un orden (total o parcial) of un grupo de entidades basados en un conjunto de criterios.

Esta es una buena forma de manejar información, ya que no tenemos los recursos necesario (sean estos memoria, tiempo, etc.) para navegar entre todas las posibles páginas disponibles. Y esto es exactamente lo que hace Google: Nosotros preguntamos “Necesito encontrar páginas que contengan la palabras X, Y y Z” y Google responde “De acuerdo a mi algoritmo y la información que tengo, aquí hay una lista ordenada de qué es lo que creo que es lo más relevante a tu consulta”.

La Web Semántica conlleva problemas similares, pero en este caso no estamos hablando sólo de páginas y links, sino sobre cualquier cosa (personas, autos, páginas web, ontologías, etc.) relacionadas de diversa forma (las personas tienen amigos, los autos tienen piezas, las páginas tiene autores y las ontologías describen conceptos). Así, el problema es mucho más complejo, ya que hay mucha más información disponible.

Asimismo aparecen varias preguntas nuevas: ¿Cual ontologías debería usar para cierto trabajo, dado que hay una docena de posibles candidatos? Si realizo una consulta basada en esta ontología y tengo un millón de posibles resultados (entre los que están mezclados autos, personas y páginas web), ¿Son todos los resultados igualmente relevantes para mi? Sino, ¿cuales se deberían mostrar primero?

La idea de la Web Semántica de abrir, compartir y mezclar los datos abre grandes oportunidades, así como hace todo mucho más complejo: No es suficiente tener mil respuestas posibles, como usuario quiero las más adecuadas para mi (independiente de lo que esto signifique).

(*) Como punto aparte, no existe una traducción de ranking en castellano….. si alguien conoce una palabra equivalente, agradeceré hacérmelo saber.

Imagen: W3C

Uno de los problemas principales es que -hasta donde tengo conocimiento- no existen buenas estructuras de datos para grafos en general (menos para RDF que es dirigido y considera aristas con etiquetas). En alguna parte leí que “la estructura de datos define el algoritmo”. En parte por esto quizás para hacer cualquier cosa más o menos “interesante” sea carísimo.

Como ejemplo de contraste, basta tomar el modelo relacional, el cual ha sido tremendamente exitoso y ampliamente usado desde hace 30 años en la academia e industria. Ha traves del uso de ingeniosas estructuras de datos, tales como B-Trees, R-Trees -sólo por mencionar algunas- es posible realizar operaciones en tiempo logarítmico, lineal, etc.

Sin embargo, cuando empezamos a hablar de grafos y realizar tareas más “interesantes”, no he logrado encontrar una buena plataforma para trabajar. Me explico: Si alguien ha trabajado con RDF/XML al poco tiempo se dará cuenta que no sólo es difícil de parsear, sino principalmente “poco natural” (el guardar un grafo en un árbol no es de las mejores ideas cuando se manejan muchísimos nodos).

Asimismo, el tratar de usar una base de datos, es decir, guardar el grafo en una (o más) tabla(s) hace que muchas búsquedas, como la ruta más corta entre 2 puntos, sea muy costosa.
Hasta el momento y siguiendo la filosofía UNIX y KISS, he optado por utilizar el formato N-Triples: Este consiste en un archivo de texto plano donde en cada línea hay una tupla. Esto, en conjunto con grep, awk y otros permite fácilmente realizar tareas que de otra forma serían mucho más difíciles.

Aunque un tanto artesanal, el uso de herramientas UNIX y archivos planos (N-Triples y listas/matrices de adyacencia) me ha dado buenos resultados para una serie de operaciones (aunque claro, estaría feliz de escuchar recomendaciones de otras plataformas ). Sin embargo quedan otros desafíos como el uso de memoria externa y paralelización de algoritmos que permitirían resolver (o aproximar) problemas mucho más complicados técnicamente tales como la ruta más corta entre todos los nodos y búsqueda de cliques, entre otros.

Siguiendo con el ejemplo, podría mejorar mucho la búsqueda si pusiera “Ricardo Lagos Chile”. Pero información de quien me entrega? Ricardo Lagos Escobar? Lagos Weber? O mi vecino Ricardo Lagos que tuvo la mala suerte de llamarse igual que dos personajes famosos?

El problema aquí es que no está clara la semántica de la búsqueda ya que, independiente del algoritmo de indexación, siempre se realiza un pattern matching, es decir, se buscan las palabras independiente del significado de estas.

La gente de la W3c y en particular, Sir Tim Berner-Lee pensaron en la siguiente solucion: Agregar información acerca de la información, es decir, metadatos. Es decir, poder especificar que cuando hablo de lagos chile, la palabra “lagos” es un apellido de una persona que fue presidente de un pais llamado Chile y no una gran masa de agua rodeada por tierra.

¿Y cómo se hace eso? Usando algun lenguaje, como RDF. Primero, necesitamos definir un identificador disponible en la Web para identificar la persona/cosa/etc sobre la que queremos agregarle información. Esto es importante, para poder identificar (volviendo al ejemplo) a Lagos (presidente) de lagos(agua). Por ejemplo, mi identificador es http://www.dcc.uchile.cl/~agraves/foaf.rdf#me. Ahora podemos agregar metadatos con respecto a mi identificador.

¿Y cómo se hace eso? Fácil. Cuando queremos decir algo sobre un recurso(recordar que un recurso puede ser una persona, un modelo de auto, o el edificio de la esquina) decimos que ese algo tiene cierta propiedad, Por ejemplo, para decir que “Alvaro Graves tiene una página web que es http://graves.cl”, tenemos que especificar un identificador para la relación “tiene una página web” y otro para “la página http://graves.cl”.

Existen hace tiempo identificadores de relaciones que mucha gente usa, como por ejemplo, “tiene una página ….”, “su nombre es ….” o “es de el color ….”. En particular, para nuestro ejemplo la relación “tiene una página web” se define de manera estándar por http://xmlns.com/foaf/0.1/homepage. Por lo tanto, para poder expresar la información “Alvaro Graves tiene una página web que es http://graves.cl” esta se puede expresar como

<http://www.dcc.uchile.cl/~agraves/foaf> <http://xmlns.com/foaf/0.1/homepage> <http://graves.cl>

Ok, muy interesante, pero para qué sirve todo esto? Al tener mucha información organizada de este modo se va creando un grafo donde cada identificador es un nodo. De esta forma es posible crear programas que puedan ir recorriendo este grafo y buscando (semi)automaticamente información que sería practicamente imposible de encontrar via google. Por ejemplo “Quiero una lista de todas los restorantes donde vendan pizzas que estén en santiago, ordenados por precio de la pizza”. En este caso, un programa, que llamaremos SuperGoogle, buscará todos un identificador de algún restorán, si éste tiene como propiedades “está ubicado en santiago” y “ofrecemos pizza”. Luego buscará en la propiedad “tiene lista de precios” del restorán el precio de la pizza y finalmente los ordenará de acuerdo a esto.

Para llegar a algo así todavía falta mucho, pero ya se están dando los pasos necesarios. La idea final es poder utilizar la Web como algo parecido a una base de datos donde la gente pueda realizar consultas mucho más complejas que las actuales. Esperemos que en unos años más, las búsquedas como las conocemos ahora sólo queden como un bonito recuerdo de infancia

Más información

• Web Semántica en Wikipedia
• RDF
• Proyecto FOAF
• RDF Primer

La idea original consiste en lo siguiente: Mucho del contenido existente en la Web (blogs, diarios, sitios sociales, etc.) viene de bases de datos, cuya interfaz es alguna aplicación web. Entonces ya que están bien ordenados en una BD, ¿No es posible utilizar esos mismos datos en forma un poquito más estructurada como para que los computadores puedo “entenderlos” un poquito más?

Pues bien, si se puede.

La gracia de Triplify es que trata de adaptarse a las aplicaciones web más comunes, tales como blogs (Drupal, WordPress, Joomla!), algunos wikis, foros (phpBB), etc. Por el momento funciona sólo en PHP pero la idea es portarlo a otras plataformas.

La idea básica es configurar ciertas consultas SQL que conviertan los datos en tu BD en triples (sujeto-predicado-objeto). De esta forma super sencilla es posible exportar la información de tu aplicación a algo que es más entendible por una máquina y es posible procesarlo. En esta misma línea, el crear Mashups se hace mucho más fácil, ya que es posible unir información de diversos blogs, galerías de fotos, etc… En pos de esto, la gente de triplify ofrece el servicio de registrar tu web, de forma que sea más fácil encontrar sistemas que usen triplify (por ejemplo, este blog y su versión triplifycada).

Ahh y por si alguien se pregunta, si, es software open source (LGPL3 si la memoria no me falla)

Creando información

El primer paso consiste en crear un twine, vale decir una idea general sobre la que se va agregando información. Esta puede ser desde un evento hasta una presentación en powerpoint, un video y obviamente una página web. A cada paso se pueden agregar tags, pero lo más interesante es que estos van siendo desde los items agregados anteriormente. Es decir, si subí una presentación con la palabra PageRank alguna heurística misteriosa puede considerarla relevante como para que pueda ser usada como tag más adelante en otros documentos/fotos/etc… Finalmente, a cada tag se le asocia una URI de modo que es posible identificarla.

Compartir

Hasta aquí no hay mucha gracia (excepto quizás el auto-tagging). Sin embargo, al momento de compartir la información es cuando se van creando redes sociales, que a diferencia de Facebook y sitios similares, se van formando más por intereses en común que por amistades de colegio, universidad, etc. Es así como un twine eventualmente puede reemplazar un blog o foro de discusión con gente que tiene intereses similares a los tuyos. Así, si por ejemplo busco información sobre distintos pedales de efectos para guitarras hay un twine que alguien creó y al que uno se puede unir. Aquí se postean links, comentarios, videos, etc.

Descubrir información

La idea de las tags tiene varios años ya, pero el uso del sistema automático lo hace tremendamente cómodo, evitando (o minimizando) los errores de tipeo que hacen que los tags se corrompan. En base a estos es posible buscar Twines o sólo algunos de sus elementos. Asimismo, es posible ver los tags/personas/documentos/etc. más importantes dentro de cada uno, aunque sospecho que este ranking se hace simplemente contando el número de veces que cada item ha sido clickeado o el número de items agregados por un usuario.

Exportar a RDF

Quizás la mayor gracia es que la posibilidad de usar la información en formato RDF, de forma que se pueden usar otras herramientas para realizar búsquedas/exploración sobre los distintos twines. En particular, aquí aparece el twine del libro Jurassic Park y esta es la versión en RDF. Más abajo se ve la misma información usando Tabulator y RDF Gravity.

Conclusiones

Después de usarlo un rato, pienso que Twine podría ser una excelente herramienta. Sin embargo, me deja con gusto a poco: Muchas cosas se pueden hacer con herramientas disponibles hace rato (blogs, flickr, facebook) a pesar de que la integración de todos los diversos ítems lo hace más atractivo. La idea de poder exportar a RDF lo hace interesante pensando en la posibilidad de crear widgets y herramientas externas que hagan uso de la información proveniente de Twine.

Otro factor en contra es que dado que está “en beta”, todavía no hay una masa crítica de usuarios que lo utilicen como para ver que tal funciona a gran escala, de manera que hasta ahora sólo queda como un experimento interesante.

Como he explicado en distintas ocasiones existen muchos aspectos de la Web Semántica que resultan interesantes. En particular, el Resource Description Framework (RDF cuando estamos en confianza) es una especificación para expresar metadatos como un modelo semiestructurado…. lo cual significa que es posible hacer que de alguna forma sea posible representar información en la Web que sea entedible por los computadores.

Una de las gracias de RDF es que tiene diferentes sintaxis, es decir, se puede escribir correctamente de distintas formas. La más conocida es RDF/XML (es decir, usar la sintaxis XML). Así también están Turtle y N3 que están enfocadas para que los seres humanos podamos leer RDF más comodamente, ya que la primera es bien enredada.

Basicamente es posible escribir cosas entendibles para los computadores de la forma “Mi nombre es agraves” o “Escribo en el sitio http://sushiknights.org” o “La clave de mi cuenta en el banco es sushi123″. Como todos debiésemos recordar de las clases de castellano, en estas oraciones existen 3 elementos: un sujeto (Yo, Yo, La clave de mi cuenta), un predicado (es, escribo, es) y un objeto (agraves, http://sushiknights.org, sushi123). Así, definiendo las distintas partes de la oración es posible para un computador saber sobre qué estamos hablando.

Un ejemplo en formato N3 quedaría algo así (tomado de Wikipedia)

<http://en.wikipedia.org/Tony_Benn> <http://purl.org/dc/elements/1.1/title> “Tony Benn” .
<http://en.wikipedia.org/Tony_Benn> <http://purl.org/dc/elements/1.1/publisher> “Wikipedia” .

Y en RDF/XML, lo mismo sería algo como

<rdf:RDF
xmlns:rdf=”http://www.w3.org/1999/02/22-rdf-syntax-ns#”
xmlns:dc=”http://purl.org/dc/elements/1.1/”>
<rdf:Description rdf:about=”http://en.wikipedia.org/Tony_Benn”>
<dc:title>Tony Benn</dc:title>
<dc:publisher>Wikipedia</dc:publisher>
</rdf:Description>
</rdf:RDF>

“Ya, pero esto nadie lo usa”…. Error!!! si estás leyendo esto a traves de un feed RSS, estás usando RDF (sobre el que se construye RSS)… asimismo, todo el tema de RDFa y muchas otras cosas están de a poco usando RDF (incluso hay unas versiones de Wikipedia pasadas a RDF). En realidad RDF es un marco tremendamente simple y es complementado con RDF-S y OWL (Lite, DL y Full) tanto en su versión estándar 1.0 como la polémica 1.1…. Pero de ellos no voy a hablar ahora sino cuando estén de cumpleaños

En la medida que vayamos acertando debemos ser cada vez más específicos: por ejemplo, si la entrada se refiera a una instancia, que es, un objeto, un evento? Si es un objeto, es un agente, una organización?

La idea además es ser rápido, ya que se juega contra el tiempo, tratando de clasificar la mayor cantidad de entradas posibles. En general, el el juego es super explicativo y si no entiendes un concepto siempre hay ayudas explicando a que se refiere cada categoría.

El juego está disponible aquí. El único pero es que es necesario registrarse, lo cual siempre es molesto, pero creo que vale la pena aunque sea para probarlo un par de veces.

Quizás lo más urgente sería definir qué es una ontología. Según Wikipedia:

El término ontología en informática hace referencia al intento de formular un exhaustivo y riguroso esquema conceptual dentro de un dominio dado, con la finalidad de facilitar la comunicación y la compartición de la información entre diferentes sistemas.

¿Qué significa esto?

En resumen, es un modelo de una parte de la realidad que nos interesa caracterizar formalmente. Es una forma de decirle al computador de que existen ciertos conceptos (clases) que estan relacionados (tienen propiedades) de alguna forma. Por ejemplo, una entidad que llamaremos “estudiante” es una subclase de otra clase llamada “ser humano”. Asimismo, un “ser humano” tiene ciertas propiedades que pueden ser únicas, tales como la fecha de nacimiento, múltiples como los hijos que tenga, etc.

¿Y para que sirve esto?

En la medida que los computadores “entiendan” formalmente el mundo, serán capaces de comunicarse y realizar búsquedas complejas dado que “saben” qué están buscando (alguna clase o propiedad) más que simplemente hacer un matching de palabras. Es así como será posible consultar en la web acerca de todos los jugadores de futbol que vistan la camiseta 11 en un club de futbol que tenga un estadio con capacidad para más de 40 mil personas y que sea de un pais de más de 10 millones de habitantes*.

(*) Para entender la complejidad de esta búsqueda, intenten realizarla a mano usando Google

Ok, y de donde saco una ontología?

En principio uno podría comenzar creando su propia ontología desde cero. Sin embargo, hay una fuente de conocimiento que puede ser utilizada y que ha sido desarrollada durante decenios: Los esquemas de base de datos. En estos tenemos una serie de clases (tablas), propiedades (campos), relaciones (llaves primarias, foráneas, triggers), tipos (int, varchar, etc.). En resumen, aunque nunca me ha tocado ver un traductor automático desde un esquema a una ontología, sospecho que debe ser más o menos directo.

Existen una serie de complicaciones relacionadas con las ontologías, por ejemplo, eventualmente se podrían crear ontologías que no son decidibles por un computador (es decir, un computador como lo conocemos, nunca va a ser capaz de “entender”, independiente de la velocidad, ram, etc.). Además existen una seria de problemas “mundanos”. Por ejemplo ¿Cómo saber si 2 ontologías son equivalentes?, ¿Existe una ontología que que me sirve y que alguien más hizo? Si es así ¿Cómo la encuentro?

De todas formas, para quienes deseen echarle una mirada, ya existen ontologías que abarcan grande áreas del conocimiento humano, tales como FOAF, Gene Ontology y Dublin Core entre muchos otros.

Probablemente mucha gente se preguntará qué es la web semántica, pero eso da para otro post que alguno de los SK deberá escribir en algún momento, pero en pocas palabras es la nueva web que vendrá en algunos años más donde, se espera, se puedan automatizar búsquedas mucho más complejas que las actuales.

Aunque no he podido explorarlo a full, al parecer tiene integración con google maps y es posible realizar queries en SPARQL, entre otros.

Para hacerlo funcionar, eso si, en firefox, deben poner como URL about:config y cambiar el valor de signed.applets.codebase_principal_support a true.
En palabras de los desarrolladores:

The browser browses things, not documents. Of course some thing are documents, but the browser considers them first as things, and then as documents.

Other browsers have tended to focus on a document at a time, or work by amassing a large static database of RDF from all known sources and then browsing it.
[ .... ]
This browser works in a web of documents. This is partly in order to scale: to operate in an unbounded space without having to manage with more than a certain finite memory. It is partly in order to develop the links we need in this space.

Para todos los interesados en la web en general, creo que será interesante echarle una mirada.

Links:

• Tabulator
• Ayuda para configurar el browser