In diesem Jahr fand die ACM-Konferenz „Human Factors in Computing Systems“ (CHI) 2026 vom 13. bis 17. April im Barcelona International Convention Center statt. Die CHI ist die führende Veranstaltung im Bereich Mensch-Computer-Interaktion und bringt Tausende von Forschern aus den Bereichen Informatik, Künstliche Intelligenz, Psychologie und verwandten Fachgebieten zusammen. In diesem Jahr präsentierte emergenCITY auf der Konferenz vier Arbeiten zu urbaner Resilienz und Risikomanagement mittels unterschiedlicher Extended Reality (XR) Techniken.

AR-gestützte Zusammenarbeit im Riskomanagement vor Ort

Risikomanagement erfordert die Lösung komplexer Probleme und damit die Zusammenarbeit von Experten vor Ort. Um dieses Szenario zu unterstützen, untersuchen Forscher von emergenCITY verschiedene XR-Techniken, die die Zusammenarbeit vor Ort mittels Augmented Reality (AR) aus drei Perspektiven fördern sollen: Über die Anwendung von XR-Techinken sollen emotionale Verbundenheit, gemeinsames Verständnis und Effizienz beim Wissenserwerb hergestellt werden.

emergenCITY Mitarbeiterin Yanni Mei et al. [1] untersuchten, wie das Teilen visueller sozialer Signale das gegenseitige Verständnis und die emotionale Verbundenheit unter AR-Nutzern am selben Ort fördern kann. In ihrer Arbeit stellten die Autoren Designrichtlinien für die Visualisierung sozialer Signale für verschiedene Ausdruckszwecke vor. Julian Rasch et al. [2] führten eine Mixed Methods Studie durch, um zu untersuchen, ob ein geteilter Blick die Effizienz und Kommunikation bei AR-Kooperationsaufgaben am selben Ort verbessern kann. Er stellte fest, dass ein geteilter Blick zwar die gemeinsame Aufmerksamkeit unterstützt und das gesamte Kooperationserlebnis verbessert, jedoch keine Leistungsvorteile bringt. Clara Sayffaerth et al. [3] konzentrierten sich auf physische Aufgabenanweisungen aus der Ich-Perspektive in AR und untersuchten, wie das Timing (parallel oder sequenziell) und unterschiedliche Visualisierungen der Gliedmaßen die Lerngeschwindigkeit, das Erinnerungsvermögen und das Wohlbefinden der Nutzer beeinflussen.

KI unterstützt die Erstellung von XR-Tools auf Abruf

Im Risikomanagement können verschiedene AR-Anwendungen auf vielfältige Weise zur Lösung komplexer Probleme beitragen, beispielsweise indem sie gefährliche Bereiche hervorheben und so die Aufmerksamkeit gezielt lenken oder auch durch Unschärfeeffekte bei ablenkenden Informationen, die so Expert:innen bei der Fokussierung helfen oder durch die Simulation von Sehbeeinträchtigungen wie Farbenblindheit, um barrierefreiere Lösungen zu schaffen. Da solche Anforderungen jedoch vielfältig und a priori nicht vorhersehbar sind, ist es schwierig, Standardanwendungen bereitzustellen, die die vielfältigen Anwendungsfälle abdecken.

Als mögliche Lösung für diese Herausforderung stellten Yanni Mei et al. [4] ShadAR vor, eine Anwendung, mit der Nutzer On-Demand-AR-Erweiterungen erstellen können, indem sie verbal beschreiben, wie sie die Welt sehen möchten (z. B. „Hebe die Fußgänger rot hervor“). Das System nutzt ein Large Language Model (LLM), um Shader-Skripte zu generieren und diese bei Ausführung in die AR-Anwendung einzubinden.

“Unser Ziel ist es, Risikomanagement-Szenarien zu unterstützen, indem wir Fachexperten in die Lage versetzen, während der Problemlösung schnell AR-Anwendungen zu erstellen, wodurch die Aufgabeneffizienz und die experimentellen Praktiken verbessert werden. Wir haben dies in drei CHI-Interactivity-Sessions demonstriert und den Prototyp von über 100 Teilnehmern nutzen lassen,” erklärt Yanni Mai.

Die Teilnehmenden kombinierten beim Ausprobieren ihre Forschungsarbeit kreativ mit dem Prototyp. So erstellten beispielsweise Forschende aus dem Bereich der visuellen Gesundheit einen Simulator für farbenblinde Personen, und Wissenschaftler:innen aus der digitalen Kunst nutzten ihn, um „die Welt wie Van Gogh zu sehen“.

Über die Autorin

Yanni Mei ist Doktorandin am HCI-Labor der Technischen Universität Darmstadt und Mitglied von emergenCITY. Ihre Forschung konzentriert sich auf die Untersuchung zukünftiger AR-Alltagszenarien unter den Gesichtspunkten der Zusammenarbeit vor Ort, des Designs und der Produktivität sowie auf die Integration von LLM- und XR-Techniken.

Paper

[1] Mei, Yanni, et al. “Meme, Myself and AR: Exploring Memes Sharing in Face-to-face Conversation using Augmented Reality.” Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems. 2026.

[2] Rasch, Julian, et al. “Anticipation Without Acceleration: Benefits of Shared Gaze in Collocated Augmented Reality Collaboration.” Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems. 2026.

[3] Sayffaerth, Clara, et al. “Do It Fast, Forget It Fast: How Timing and Limb Visualizations Affect First-Person Augmented Reality Instructions.” Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems. 2026.

[4] Mei, Yanni, et al. “ShadAR: LLM-driven shader generation to transform visual perception in Augmented Reality.” Proceedings of the Extended Abstracts of the 2026 CHI Conference on Human Factors in Computing Systems. 2026.