2021 Oktober - Christoph Rinner

Priv.-Doz. DI Dr. Christoph Rinner

MedUni Wien RESEARCHER OF THE MONTH, Oktober 2021

Die Jury „Researcher of the Month” verleiht die Auszeichnung für diesen Monat Herrn Priv.-Doz. DI Dr. Christoph Rinner aus Anlass der im Top-Journal „Nature Medicine“ (IF 36.136) erschienenen Arbeit „Human–computer collaboration for skin cancer recognition“ [5] sowie im Top-Journal „Journal of Medical Internet Research“ (IF 5.034) erschienenen Arbeit „Analysis of Collective Human Intelligence for Diagnosis of Pigmented Skin Lesions Harnessed by Gamification Via a Web-Based Training Platform“ [4]. Die beiden Arbeiten sind im Rahmen des Projekts Dermonaut in Zusammenarbeit mit Ap.Prof. Priv.Doz. Dr. Philipp Tschandl, PhD und Ao. Univ. Prof. Dr. Harald Kittler der Universitätsklinik für Dermatologie der Medizinischen Universität Wien entstanden.

Zusammenarbeit von Menschen sowie Menschen und Maschinen zur Hautkrebserkennung

Basierend auf den Erkenntnissen einer gemeinsamen Online-Umfrage der Erfahrung in Kombination mit KIs [1,2] entwickelten Harald Kittler, Philipp Tschandl und Christoph Rinner die Lern- und Lehrplattform DermaChallenge. Die DermaChallenge-Plattform soll spielerisch (i.e. Gamification) die Lücke zwischen medizinischer Forschung und Lehre schließen. Sie bietet derzeit Zugang zu über 20 Tsd. dermatoskopischen Bildern in unterschiedlichen Levels (z.B. Melanome erkennen, Bilder eines einzelnen Patienten im Kontext diagnostizieren,Mensch gegen Maschine, etc.), die beliebig oft mit z.T. unterschiedlichen Bildern gespielt werden können. Die DermaChallenge-Plattform hat 5.175 registrierte und verifizierte BenutzerInnen aus über 65 Ländern. Ein Alleinstellungsmerkmal der DermaChallenge-Plattform ist die Möglichkeit, sie auf verschiedene Fragestellungen und Forschungsfragen im Bereich der Dermatoskopie anwenden zu können. In einer in Lancet Oncology [3] veröffentlicht Studie wurde anhand der DermaChallenge-Plattform und der Ergebnisse eines speziell konzipierten Levels mit 511 KlinikerInnen aus 63 Ländern die Genauigkeit der KlinikerInnen mit modernsten KI-Algorithmen verglichen.
Entscheidungen mit großen Auswirkungen auf PatientInnen werden z.T. in Gruppen getroffen (z.B. Tumorboards). Um den Effekt von Gruppen-Diagnosen im Vergleich zu KI-Algorithmen zu analysieren, werden in [4] 4.216 dermatoskopische Bilder der häufigsten benignen und malignen pigmentierten Hautläsionen 1.245 menschlichen KlinikerInnen gezeigt und über 100 Tsd. Einzelbewertungen gesammelt. Als Einzelbewertungen erzielten Nicht-ExpertInnen eine geringere mittlere Genauigkeit (58,6%) als ExpertInnen (68,4%). Die Genauigkeit bei Kollektiven von Nicht-ExpertInnen nahm mit der Größe des Kollektivs zu und Kollektive von 8 Nicht-ExpertInnen erzielten eine ähnliche Genauigkeit wie einzelne ExpertInnen.
Diese Vorarbeiten im Bereich KI und die aufgebaute Nutzerbasis und Reputation der DermaChallenge-Plattform ermöglichten es in einem Nature-Medicine-Artikel [5] zu zeigen, dass eine qualitativ hochwertige KI-basierte Unterstützung der klinischen Entscheidungsfindung die diagnostische Genauigkeit von ÄrztInnen verbessert und dass die am wenigsten erfahrenen KlinikerInnen am meisten von einer KI-basierten Unterstützung profitieren. Um den Einfluss verschiedener Darstellungen der KI-Unterstützung auf die diagnostische Genauigkeit der KlinikerInnen in verschiedenen Szenarien zu untersuchen, wurde ein KI-Algorithmus (i.e. ResNet34, eine Art eines Convolutional Neural Network) auf einem öffentlich zugänglichen Trainingsdatensatz von pigmentierten Läsionen mit 7 unterschiedlichen diagnostischen Kategorien trainiert und als Hilfestellung in der DermaChallenge zur Verfügung gestellt.
Die Ergebnisse zeigen, dass die Entscheidungsunterstützung mit KI-basierten Mehrklassenwahrscheinlichkeiten die Genauigkeit der menschlichen Ratings von 63,6% auf 77,0% verbessert, aber es wurde keine Verbesserung bei der Entscheidungsunterstützung mit KI-basierter Vorhersage von Malignität oder mit der Darstellung der KI-basierten Bildsuche beobachtet. Die KlinikerInnen in der am wenigsten erfahrenen Gruppe änderten ihre Anfangsdiagnose häufiger als ExpertInnen. ExpertInnen profitierten nur geringfügig und nur dann, wenn sie sich ihrer Anfangsdiagnose nicht sicher waren, aber nicht, wenn sie sich sicher waren. Wenn ExpertInnen von ihrer Diagnose überzeugt waren, hatten sie in der Regel Recht und brauchten keine Unterstützung. Weiters wurde der Einfluss einer "fehlerhaften" KI auf die diagnostische Genauigkeit getestet. Alle zuvor beobachteten Genauigkeitsgewinne mit KI-basierter Unterstützung führen zu einem Verlust, wenn diese KI-Unterstützung fehlerhaft ist. Unsere Ergebnisse deuten darauf hin, dass KlinikerInnen, wenn sie das Vertrauen aufbauen, das notwendig ist, um von KI-basierter Unterstützung zu profitieren, auch anfällig dafür sind, bei einem Fehler in der KI unter ihrer erwarteten Leistungsfähigkeit zu bleiben.
Für den Erfolg dieser Studien sind bestehenden Forschungsnetzwerke und Kooperationen mit anderen Forschungsgruppen im Bereich der digitalen Dermatoskopie essenziell. Die internationalen ExpertInnen waren nicht nur als BenutzerInnen der DermaChallenge an der Studie beteiligt, sie halfen auch DermatologInnen aus aller Welt für die Studie zu interessieren und das Studiendesign zu verfeinern.

Wissenschaftliches Umfeld

Priv.-Doz. DI Dr. Christoph Rinner begann seine wissenschaftliche Laufbahn 2006 am Institut für medizinisches Informationsmanagement der Medizinischen Universität Wien in der Arbeitsgruppe von Univ.-Prof Dipl.-Ing. Dr. Georg Duftschmid als Software-Entwickler der RDA-Plattform. Nach den ersten wissenschaftlichen Publikationen 2007 beschäftigte er sich im Rahmen eines FWF-Projektes mit der standardisierten Informationsbereitstellung in elektronischen Gesundheitsakten. Seit 2016 ist er als vollzeitbeschäftigter wissenschaftlicher Mitarbeiter am Institut für Medizinisches Informationsmanagement (MIM) der Medizinischen Universität Wien angestellt. Sein Forschungsschwerpunkt ist die medizinische Informatik mit Fokus auf Standardisierung und Wiederverwendung von Daten für die Forschung.

Zur Person

Priv.-Doz. DI Dr. Christoph Rinner wurde Anfang der 1980er Jahre in Vorarlberg geboren. Er absolvierte von 2001 bis 2007 das Masterstudium der Medizinischen Informatik an der Technischen Universität Wien und von 2009 bis 2013 das Doktoratsstudium an der Technischen Universität Wien. 2021 erhielt er die Lehrbefugnis (Venia Docendi) als Privatdozent für das Fach “Medizinische Informatik” der Medizinischen Universität Wien. Neben seiner Forschungstätigkeit beteiligt sich Priv.-Doz. DI Dr. Christoph Rinner auch an der Lehre im Rahmen des Humanmedizin- und Medizinische Informatikstudiums und betreut Bachelor- und Diplomarbeiten.

Ausgewählte Literatur

1. Sinz C, Tschandl P, Rosendahl C, Akay BN, Argenziano G, Blum A, et al. Accuracy of dermatoscopy for the diagnosis of nonpigmented cancers of the skin. J Am Acad Dermatol. 2017;77(6):1100-9.
2. Tschandl P, Rosendahl C, Akay BN, Argenziano G, Blum A, Braun RP, et al. Expert-Level Diagnosis of Nonpigmented Skin Cancer by Combined Convolutional Neural Networks. JAMA Dermatol. 2019;155(1):58-65.
3. Tschandl P, Codella N, Akay BN, Argenziano G, Braun RP, Cabo H, et al. Comparison of the accuracy of human readers versus machine-learning algorithms for pigmented skin lesion classification: an open, web-based, international, diagnostic study. Lancet Oncol. 2019;20(7):938-47.
4. Rinner C, Kittler H, Rosendahl C, Tschandl P. Analysis of Collective Human Intelligence for Diagnosis of Pigmented Skin Lesions Harnessed by Gamification Via a Web-Based Training Platform: Simulation Reader Study. J Med Internet Res. 2020;22(1):e15597.
5. Tschandl P, Rinner C, Apalla Z, Argenziano G, Codella N, Halpern A, et al. Human-computer collaboration for skin cancer recognition. Nat Med. 2020;26(8):1229-34.