Relevance Ranking ist in der bibliothekarischen Welt äußerst selten in Recherchesystemen anzutreffen. Möglicherweise liegt das an der Schwierigkeit, Relevance Ranking Konzepte zu testen oder vielleicht auch daran sie überhaupt zu verstehen.
Eines vorweg: Relevanz ist das, was das System für “relevant” hält, d.h. es ist eine Definitionssache im System.
Baut man ein auf Relevance Ranking basierendes Recherchesystem wird man um Tests nicht herumkommen. Nur wie geht man sinnvollerweise vor? Jeder hat ein anderes Verständnis von Relevanz. Da Relevanz Definitionssache ist und Ergebnisse der Relevanzberechnungen entscheidend vom Inhalt des indizierten Materials abhängen, ist es nicht möglich nur “am grünen Tisch” mit Facharbeitsgruppen oder Komissionen Kriterien / Gewichtungen für ein Relevance Ranking festzulegen. Hier muss evaluiert werden!
Evaluierungen können wir selbst kaum durchführen. Zum einen kennen wir die Inhalte unseres Prototypen zu gut, zum anderen wollen wir nichts wissen. Zugespitzt: Da wir keine Fragen haben, können wir auch keine Antworten bekommen. Ein paar Begriffe in die Eingabezeile zu tippen und mal sehen was passiert hilft kaum weiter. Davon abgesehen, gibt es für Evaluierungen auch Profis, die das allemal besser können als wir. Hier benötigen wir aber auch unbedingt Studierende und Wissenschaftler, die wirklich Informationen recherchieren möchten. Immerhin kann man im Prototypen u.a. das komplette Nature Archiv von 1869 bis 2007 mit Metadaten und Volltexten durchsuchen. Wenn unser System Informationssuchenden weiterhilft, dann können wir schon zufrieden sein.
Im Übrigen haben alle Schermaschinen das selbe Problem und müssen folglich auch permanent evaluieren. Google berichtet sogar darüber in seinem Blog.
Stichwort Google und seine Evaluationsmethoden: Techcrunch berichtete im Sommer über ein neues Evaluationsverfahren, dass sich bereits in Erprobung befindet, und zwar die Möglichkeit des Ratings einzelner Treffer nach dem Hop- oder Top-Prinzip: http://www.techcrunch.com/2008/07/16/is-this-the-future-of-search/ Finde ich auch nicht uninteressant!
Posted by Anne on September 22nd, 2008.
[...] man selbstverständlich nicht mit unseren gut funktionierenden Lieblingsbeispielen beantworten. Gerald schrieb ja schon, dass wir eigentlich gar nichts wissen wollen, wenn wir unsere schönen Beispielsuchen eintippen – [...]
Posted by Suchkisten-Blog — Interessantes aus Hamburg on Oktober 30th, 2008.