Trustworthiness

Symbolbild (Max Gutbrod, ReMIC@OTH Regensburg)

Trustworthiness

Projektverantwortlich: Prof. Dr. Christoph Palm

Laufzeit: seit 2024

In risikoreichen Bereichen wie der Medizin haben sich neuronale Netze – insbesondere bei der Segmentierung endoskopischer Bilddaten – als äußerst leistungsfähige Werkzeuge etabliert. Trotz ihrer hohen Genauigkeit stellen sie jedoch weiterhin eine zentrale Herausforderung dar: Als „Black Boxes“ sind ihre Entscheidungsprozesse nur schwer nachvollziehbar und sie geben auch dann Vorhersagen aus, wenn Eingaben außerhalb des gelernten Datenraums liegen. Systeme, die ihre Grenzen nicht transparent kommunizieren und deren Vorhersagen potenziell fehlerhaft sind, stellen daher ein verstecktes und erhebliches Risiko dar. Aus diesem Grund reicht für eine sichere und effektive Integration in den Klinikalltag die reine Performance eines KI-Systems nicht aus – es müssen Schlüsselmechanismen entwickelt werden, die KI-Systemen ihre eigenen Grenzen bewusst machen und so die Zuverlässigkeit und das Vertrauen schaffen, das für eine sichere Anwendung im Gesundheitswesen unerlässlich ist.

Out-of-Distribution Detection

Die Out-of-Distribution (OOD)-Erkennung ist ein grundlegender Mechanismus, um die Zuverlässigkeit von KI-Systemen in der medizinischen Bildverarbeitung zu gewährleisten. Ziel ist es, Methoden zu entwickeln und zu evaluieren, die es Modellen ermöglichen, unbekannte oder irreguläre Eingaben zuverlässig zu identifizieren, was für die Patientensicherheit von entscheidender Bedeutung ist.

Das Vorgehen gliedert sich in zwei Schritte: Zuerst werden domänenspezifische Benchmarks erstellt, um existierende OOD-Methoden systematisch zu bewerten. Darauf aufbauend werden vielversprechende Ansätze, die ursprünglich für Klassifikationsaufgaben entwickelt wurden, optimiert und auf die Bildsegmentierung übertragen.

Als Teil des Projekts wurde das Framework OpenMIBOOD (Open Medical Imaging Benchmarks for Out-Of-Distribution Detection) auf der CVPR 2025 vorgestellt. Das Paper beschreibt den wissenschaftlichen Hintergrund. Das Framework ist als Open-Source-Software auf GitHub verfügbar.

Uncertainty

Ziel dieses Projekts ist es, bestehende Methoden zur Uncertainty Estimation – also zur quantitativen Einschätzung der Vorhersagezuverlässigkeit – systematisch zu evaluieren und neue Verfahren zu entwickeln. Im Fokus stehen dabei die Echtzeitfähigkeit der Ansätze sowie ihre Eignung für Segmentierungsaufgaben, da diese Anforderungen besonders relevant für die Analyse endoskopischer Videos sind – einem zentralen Forschungsgebiet des Labors ReMIC.

Durch die enge Verbindung von methodischer Forschung und klinischer Anwendung soll das Projekt einen Beitrag zu transparenteren, robusteren und vertrauenswürdigeren KI-Systemen in der medizinischen Bildgebung leisten.

Partner-Links:

Prof. Dr. Christoph Palm