Bilder als Wissensspeicher

Dr. Lyndon J.B. Nixon ist ein Pionier im Bereich semantischer Technologien. Seit den Anfangstagen der Online-Suchmaschinen beschäftigt sich der Forscher damit, wie Daten im World Wide Web nicht nur für Maschinen, sondern auch für Menschen lesbar und zugänglich gemacht werden können. Als Assistenzprofessor an der Modul University Wien und CTO von Modul Technology widmet er sich aktuell dem Thema Media Understanding. Er untersucht, wie Bilder und Videos mit Daten angereichert werden können, die es Maschinen erlauben, die Welt der Menschen zu “verstehen”. 

Im Rahmen von Forschungsprojekten arbeitet Dr. Nixon bereits seit 20 Jahren auch an Anwendungen von wissensgestützten Technologien im Kulturbereich. Als Koordinator des Projekts GreenGLAM trägt er nun dazu bei, digitale Wissensspeicher mit Nachhaltigkeitsthemen zu.

Als Mentor wird er den Kulturhackathon 2025 mitbegleiten und wir freuen uns schon sehr auf Lyndons Expertise. Anmeldung unter: https://pretix.eu/OpenGLAMat/GLAMhack25/verknüpfen.

Was sind semantische Technologien?

Computer geben Informationen in Form von Zahlen aus. Semantische Technologien erlauben es Maschinen, Informationen durch Wissensmodelle zu verstehen und in einen bestimmten Kontext zu setzen. In der künstlichen Intelligenz, der Datenanalyse oder dem Wissensmanagement sorgen sie so dafür, dass menschliche Nutzer:innen schneller das finden, wonach sie suchen und helfen bei der Interpretation. Semantische Systeme verstehen nicht nur, was gesucht wird, sondern auch warum es gesucht wird. 

Was macht den Einsatz von KI für GLAMs so interessant?

GLAMS wie Museen, Archive, Galerien und Bibliotheken arbeiten oft mit Datenbanken und Katalogen, die Text-basierte Suchen verwenden. Für solche Institutionen bieten jedoch Bilder häufig einen höheren Informationsgehalt, der durch reine Beschreibungen nicht abgedeckt werden kann. Viel nützlicher ist es also, die Bilder selbst mit Informationen anzureichern, sogenannten semantischen Metadaten, die eine Maschine auslesen kann. Eine Methode dies zu erreichen sind Wissensgraphen (Knowledge Graphs), riesige Wissensnetzwerke die Daten zu Objekten, Konzepten, Ereignissen oder Personen aus der realen Welt miteinander verknüpfen. So ist es beispielsweise möglich, Artefakte, Dokumente oder Kunstwerke zu finden, von denen man nur ein bestimmtes visuelles Element kennt oder wenn der genaue Titel nicht bekannt ist. Das System versteht, was man meint, auch auf Basis unvollständiger oder veralteter Informationen.

Außerdem werden kulturelle Inhalte im Laufe der Geschichte immer wieder neu interpretiert. Landesgrenzen verschieben sich, Inhalte ändern ihre Bedeutung je nachdem, wer sie betrachtet, wo und wann. Wir können Bilder und Fotos mit Daten anreichern, die Aufschluss über das Weltbild oder den sozialen Hintergrund der ursprünglichen Autor:innen geben und dabei helfen, Werke neu zu kontextualisieren und einen kulturellen Dialog abzubilden. 

Wie profitieren Besucher:innen davon?

KI-basierte Technologien erleichtern beispielsweise die Recherchearbeit von Archivist:innen oder Kurator:innen, sodass mehr Zeit für Aufbereitung und Vermittlung bleibt. Im GreenGLAM Projekt gehen wir aber noch einen Schritt weiter und geben der Öffentlichkeit KI Tools an die Hand, mit deren Hilfe sie mehr über die GLAMS selbst herausfinden können. 

Als Anwendungsbeispiel haben wir die Sustainable Development Goals (SDGs) der Vereinten Nationen gewählt. Galerien, Bibliotheken, Archive und Museen haben die Auswirkungen ihrer Arbeit im Bezug auf die UN-Nachhaltigkeitsziele oft nicht genau im Blick, obwohl sie vielleicht bereits aktiv dazu beitragen. GreenGLAM wird KI nutzen, um Wissen von GLAMs mit öffentlichen Diskussionen in Onlinemedien zu verknüpfen und sie mit den relevanten SDGs zu verbinden. Besucher:innen, die wissen möchten, was ein GLAM zu den SDGs beiträgt, können die gesammelten Daten dann mit Augmented Reality (AR) als interaktive Datenskulpturen erkunden. So kommen sie an die gewünschten Informationen und haben gleichzeigig die Möglichkeit, innovative Technologien selbst auszuprobieren.

Das von FFG und BMK geförderte Projekt GreenGLAM ist gerade gestartet. 20 Jahre seit seiner ersten Forschungszusammenarbeit zu diesem Thema freut sich Dr. Nixon darauf, zu zeigen, wie semantische Metadaten und Wissensgraphen das computergestützte Verständnis der Welt weiter verbessern können. Das GreenGLAM Projektteam wird die nächsten drei Jahre daran arbeiten, diese Technologien weiterzuentwickeln, um GLAMS und der Öffentlichkeit dabei zu helfen, in der Tiefe zu verstehen wie Kulturinstitutionen zu Nachhaltigkeitsthemen beitragen.