DER TAG in Berlin & Brandenburg: SCHLAUES: Undurchsichtige KI-Ergebnisse | Video der Sendung vom 15.05.2025 18:00 Uhr (15.5.2025) mit Untertitel

Ki-Modelle können richtige Antworten liefern, aber aus falschen Gründen. Das bleibt oft unbemerkt und kann später zu gravierenden, auch gefährlichen Fehlern führen. Ein Forschungsteam der TU Berlin warnt vor dem sogenannten Kluger-Hans-Effekt: KI-Modelle erkennen zwar richtige Muster, stützen sich dabei aber auf irrelevante Hinweise – etwa handschriftliche Notizen statt medizinischer Bildinhalte. Besonders bei unsupervised learning, also dem selbstständigen Erkennen von Mustern, ist das riskant. Denn solche Modelle können später in der Praxis versagen, wenn der scheinbar kluge Weg in die Irre führt. Der (kluge) "Hans" war ein Pferd in den 1900er Jahren, das angeblich rechnen konnte, in Wirklichkeit aber nur auf die körperlichen Reaktionen des Fragestellers geachtet hat. Es kam also meist zum richtigen Ergebnis, aber halt nicht durch rechnen. Bei KI-Modellen ist es ähnlich, da oft schwer zu überprüfen ist, wie die KI zu ihren Ergebnissen kommt. Beispiel: Die KI sollte zwischen deutschen und amerikanischen Panzern unterscheiden, das klappte, aber nur, weil die KI bei amerikanischen Panzern Wüste im Hintergrund fand und bei deutschen eher Wald. Diese Unterscheidung kann also leicht zu Fehlern führen. Beitrag von Susanne Stein