SPIRIX

Eine Suchmaschine für Peer-to-Peer Information Retrieval in XML-Dokumenten

Die Menge digital zur Verfügung stehender Dokumente wächst zunehmend. Umso wichtiger sind adäquate Methoden, um sehr große Dokumentkollektionen durch­suchen zu können. Im Gegensatz zur exakten Suche, bei der nach Dokumenten mit bekannten Dateinamen gesucht wird, werden Techniken des Information Retrieval (IR) dazu eingesetzt, relevante Ergebnisse zu einer Anfrage ausfindig zu machen. Seit einigen Jahren werden verstärkt Kollektionen mit struktu­rierten Dokumenten durchsucht, insbesondere seit Durchsetzung der eXten­sible Markup Language (XML) als offizieller Standard des World Wide Web Consor­tiums (W3C). Mittler­weile gibt es eine Reihe von Forschungsansätzen, bei denen IR-Methoden auf XML-Dokumente an­gewendet werden. XML Information Retrieval (XML-IR) nutzt dabei die Struktur der Dokumente, um die Suche nach und in denselben effektiver zu machen, d.h. die Qualität von Suchergebnissen zu verbessern, beispielsweise durch Fokus­sierung auf besonders relevante Dokument­teile. Die bisherigen Lösungen beziehen sich jedoch alle auf zentralisierte Stand-Alone Suchmaschinen zu Forschungszwe­cken. Sehr große, über eine Vielzahl von Rechnern verteilte Daten­kollektionen lassen sich damit nicht durchsuchen. Techniken für verteiltes XML-IR werden in der Praxis auch dort benötigt, wo das zu durchsuchende System aus einer Vielzahl lokaler, heterogener XML-Kollektionen besteht, deren Benutzer ihre Dokumente nicht auf einem zentralen Server speichern wollen oder können; solche Benutzer schließen sich häufig in Form eines dezentralen Peer-to-Peer (P2P) Netzes zusammen.

In dem Forschungsprojekt SPIRIX wird am Beispiel von P2P-Netzen erstmalig unter­sucht, inwiefern XML-IR in verteilten Systemen effektiv und effizient möglich ist. Dazu wird ein allgemeines Architekturmodell für die Entwicklung von P2P-Suchmaschinen für XML-Retrieval entworfen, in dem Funktionalität aus den Bereichen XML-IR und P2P in abstrakten Schichten angeordnet ist. Das Modell wird als Grundlage für den Entwurf einer konkreten P2P-Suchmaschine für XML-IR verwendet. Es werden dazu verschiedene Techniken für verteiltes XML-IR entwickelt, um die einzelnen Phasen der Suche umzusetzen: Indizierung der Dokumente, Routing der Anfragen, Ranking geeigneter Dokumente und Retrieval von Ergebnissen. Insbesondere die Problematik von aus mehreren Suchbegriffen bestehen­den Multiterm-Anfragen sowie Verteilungsaspekte werden berücksichtigt. Neben der zu erzielenden Suchqualität steht vor allem der notwendige Kommunikations­aufwand im Vordergrund.

Die entwickelten Methoden werden in Form einer P2P-Suchmaschine für verteiltes XML-Retrieval implementiert. Diese Suchmaschine namens SPIRIX kann voll-funktionsfähig nach XML-Dokumenten in einem P2P-Netz suchen und deren Relevanz inhaltsbasiert bewerten. Für die Kommunikation zwischen Peers wird im Rahmen ein P2P-Protokoll namens SpirixDHT entworfen, das auf Basis von Chord arbeitet und speziell für den Einsatz von XML-IR angepasst wird.

Für die Evaluierung der entworfenen Techniken wird zunächst die Suchqualität von SPIRIX nachgewiesen. Dies geschieht durch Teilnahme an INEX, der inter­nationalen Initiative für die Evaluierung von XML-Retrieval. Im Rahmen von INEX werden jedes Jahr XML-IR Lösungen weltweit miteinander verglichen. Für 2008 konnte mit SPIRIX eine Suchpräzision erreicht werden, die vergleichbar mit der Qualität der Top-10 XML-IR Lösungen ist.

In weiteren Experimenten werden die entworfenen Methoden für verteiltes XML-Retrieval mit INEX-Werkzeugen evaluiert; dabei werden jeweils die erzielte Such­qualität und der notwendige Aufwand gegenübergestellt. Die gewonnenen Erkenntnisse werden auf den Routingprozess angewendet; hier ist speziell die Fragestellung interessant, wie XML-Struktur zur Performanzverbesserung in Bezug auf die Effizienz eines verteilten Systems genutzt werden kann. Die Evaluierung der konzipierten Routingtechniken zeigt eine signifi­kante Reduzierung der Anzahl versendeter Nachrichten, ihrer Größe und somit der Netzlast, wobei gleichzeitig eine Steigerung der Suchqualität erreicht wird.

Im Rahmen des Projektes SPIRIX wird somit der Nachweis erbracht, dass verteiltes XML-IR sowohl effektiv als auch effizient möglich ist. Zugleich wird gezeigt, wie die Ver­wendung von XML-IR Techniken beim Routing der Anfragen dazu beitragen kann, den notwendige Suchaufwand - insbesondere den für die Kommunikation zwischen Peers - so weit zu reduzieren, dass das System auch zu einer großen Anzahl von teilnehmenden Peers skaliert und trotzdem eine hohe Suchqualität aufrechterhalten werden kann.

Ansprechperson:  Prof. Dr. J. Winter 
Publikationen zum Projekt:  Publikationen zu SPIRIX