Meine Publikationen
ChatGPT Gesundheit« – eine medizinethische Risikoanalyse
Zusammenfassung
OpenAI lancierte am 7. Januar 2026 „ChatGPT Health" in den USA mit angekündigter europäischer Expansion. Das System ermöglicht die Anbindung elektronischer Gesundheitsakten und Wellness-Apps. Bei geschätzten 700 Millionen weltweiten ChatGPT-Nutzern und 5,7% gesundheitsbezogenen Anfragen ergibt sich ein wöchentliches Volumen von circa 256,5 Millionen Gesundheitsanfragen.
Psychologische Einflussmechanismen:
Mehrere psychologische Faktoren werden von ChatGPT genutzt, um die Nutzer zur unkritischen Akzeptanz der Ergebnisse zu veranlassen.
Vertrauensmechanismen:
Gewöhnungsvertrauen durch positive Erfahrungen in anderen Kontexten
Transfervertrauen: Projektion von Vertrauen aus unkritischen auf kritische Anwendungsbereiche
Parasuraman/Riley-Effekt: Stärkere Nutzung bei wahrgenommener Zuverlässigkeit, unabhängig vom Verständnis der Systemgrenzen
Kognitive Heuristiken:
Affektheuristik: Emotionale Bewertung der Marke beeinflusst Risikoeinschätzung
Halo-Effekt: Positive Einzelerfahrungen strahlen auf unbekannte Bereiche aus
Verfügbarkeitsheuristik: Leicht abrufbare positive Assoziationen dominieren Entscheidungen
Design-induzierte Manipulation:
Minimalistische Benutzeroberfläche suggeriert Kontrolle
Absolutistische, selbstbewusste Wortwahl reduziert kritisches Hinterfragen
Linguistische Plausibilität wird mit inhaltlicher Korrektheit verwechselt
Ryser et al.: Halluzinationen ändern Vertrauensart, aber nicht grundsätzliches Vertrauen
Regulatorische Unklarheiten
MDR/MPDG/EU AI Act:
Die Einstufung als Medizinprodukt und Hochrisiko-KI-System ist ungeklärt. Falls zutreffend, gelten umfangreiche Dokumentationspflichten, Risikomanagementpläne, transparente Dokumentation und kontinuierliche Überwachung. Das System dürfte dann nicht mehr durch Nutzereingaben lernen.
Informationsdefizit:
OpenAI kommuniziert zwar Zusammenarbeit mit 260 Ärzten aus 60 Ländern und 600.000 Feedback-Inputs, verschweigt jedoch:
KI-technische Entwicklungsdetails
Data/KI Governance-Strukturen
Qualitätssicherungsprozesse
Human-in-the-Loop-Systeme im operativen Betrieb
Konkrete Risikomanagement-Maßnahmen
Haftungsproblematik
Aktuelle Position OpenAI:
Laut AGB werden indirekte, zufällige, Folge- und exemplarische Schäden ausgeschlossen. Die Argumentation stützt sich auf die inhärente Zufälligkeit der Ergebnisse. Haftungsverschiebung auf Ärzte und Kliniken bei institutioneller Nutzung.
Patientenperspektive:
Komplexe Vertragsketten im KI-Ökosystem erschweren Haftungsansprüche. Bei Drittanbietern (Beratungsunternehmen, Start-ups) mit API-Integration entsteht undurchsichtige Verantwortungsverteilung. Gesundheitsschäden manifestieren sich subtil (verzögerte Behandlungen, missinterpretierte Symptome, verpasste Interventionsfenster), was Kausalitätsnachweise erschwert.
Ärzteperspektive:
Beibehaltung der Arzthaftung ethisch sinnvoll zur Aufrechterhaltung sorgfältiger KI-Tool-Selektion und Datenanalyse. Notwendigkeit unabhängiger KI-Fachexpertise über nationale Strukturen (Ärztekammern) und eigenständiger europäischer Qualitätssicherung ohne Abhängigkeit von Herstellern.
Medizinethische Prinzipienverletzungen
Prinzip des Nicht-Schadens (Non-Maleficence)
Akkuratheitsproblematik:
Hirotaka et al. (2025): Metaanalyse von 83 Studien zeigt 52,1% diagnostische Gesamtgenauigkeit
Signifikant schlechter als Fachärzte, vergleichbar mit Nicht-Spezialisten
Gehlen et al.: Symptom-Checker erreichen 35,8% korrekte Diagnosen vs. 84,4% bei Ärzten; Dringlichkeitseinschätzung: 20,6% vs. 70,0%
Spezifische Risiken:
Halluzinationen: Nicht-existente medizinische Fachartikel
Kein vollständiger Zugriff auf relevante Fachliteratur
Übersetzungsfehler
Unbekannte Datenherkunft und -repräsentativität
Regionale Krankheitsunterschiede bei vermutlich außereuropäischen Datenquellen
Bildungsgrad und Prompt-Qualität beeinflussen Ergebnisse
Nutzerspezifische Gefahren:
Fehlinformation und falsche Sicherheit
Panikauslösung
Kognitive Verankerung falscher Informationen vor Arztbesuch
Besondere Vulnerabilität psychisch Erkrankter
Prinzip der Sorgfaltspflicht
Keine transparente Information über:
Cybersicherheitsmaßnahmen
Qualitätssicherung und Risikomanagement
Ethische Entwicklungs- und Betriebsprinzipien
Entscheidungsprozesse (fehlende Erklärbarkeit)
Prinzipien der Gerechtigkeit und Fürsorge (Beneficence)
Disclaimer erst nach kognitiver Verarbeitung unwirksam. Nutzer in Notsituationen besonders verwundbar durch erhöhte Stresshormone. Haftungsfreizeichnung kann Sorgfaltspflicht bei Produktentwicklung reduzieren.
Prinzip der Gleichbehandlung vs. algorithmische Diskriminierung
Unterrepräsentation medizinischer Besonderheiten von Minderheiten
Genetischer Hintergrund und sozialer Kontext unberücksichtigt
Bildungs- und KI-Kompetenzunterschiede führen zu unterschiedlichen Prompt-Qualitäten und Ergebnissen
Prinzip der Patienten-Autonomie
Die Kombination aus Markenbekanntheit, kognitiven Heuristiken, UX/UI-Design, linguistischer Plausibilität und nachgestellten Disclaimern wird als algorithmische Bevormundung charakterisiert, die echte Autonomie unterminiert.
Systemische Risiken
Hypothese zur Qualitätsunmöglichkeit:
Aufgrund der KI-Systemgröße, komplexen Daten-Lieferantenkette und Nutzer-Eingabenmenge sei präzises Qualitäts- und Risikomanagement unmöglich, da bereits die Systemgrenzziehung nicht realisierbar ist.
Datenmachtkonzentration:
Potentielle größte Gesundheitsdatenbank weltweit
Machtasymmetrie für Preisdiktate, Patente, Forschungsmonopole
Mögliche ePA-Anbindung und EHDS-Zugriff
Verlust nationaler Rechtsräume und Ethikkommissions-Einfluss
Technologie setzt de facto Normen statt demokratischer Debatte
Kommerzielle Verzerrungen:
Angekündigte Werbeschaltung auch bei Gesundheitsfragen
Priorisierung maschinell lesbarer Webseiten ohne Qualifikationsprüfung
Potentielle Lenkung profitabler Erkrankungen
Empfehlungen für europäische Symptom-Checker
Wissenschaftliche Fundierung: Umfängliche, kontinuierliche Untersuchung des Nutzens im Verhältnis zu den Risiken
Unabhängige Überwachung: Europäische fachlich zertifizierte Experten
Regulatorische Compliance: Fortlaufende Einhaltungsprüfung
Transparenzkommunikation:
Explizite Warnung vor Heuristiken und linguistischer Manipulation
Prominente Anzeige unabhängig gemessener Akkuratsheitsmetriken vor Nutzung
Verständliche Governance-Strukturdokumentation
Nutzer-Befähigung:
Differenzierte Eingabemasken statt Freitext
Tutorials für hochwertige Prompts
Berücksichtigung sprachlicher Einflüsse auf Ergebnisse
Es wir grundsätzlich infrage gestellt, ob Systeme basierend auf „Oberflächenplausibilität, Konformität und stochastischen Prozessen" jemals als Schnittstelle zwischen Patienten und Ärzten fungieren sollten – unabhängig vom Nutzer. Die identifizierte Manipulationskraft erfordert strenge regulatorische Intervention zum Schutz der informationellen Selbstbestimmung und medizinethischen Grundprinzipien.
Ängste vor Künstlicher Intelligenz (KI) und eine gewisse Technikaversion gelten als der Grund, warum in Deutschland die Entwicklung von KI-Anwendungsfällen und deren Implementierung im internationalen Vergleich so schleppend vorwärtsgeht.
Mithilfe neuropsychologischer Techniken kann es gelingen, den irrationalen Teil dieser Ängste abzubauen.
Durch unser kulturhistorisch geprägtes Sicherheits- und Risikobedürfnis haben wir die große Chance, vertrauenswürdige und sichere KI sowie ein sicheres Ökosystem der sie begründenden Daten und Prozesse zu entwickeln – bezogen auf die KI-Modelle, die kommen werden. Die Qualität und Akzeptanz von KI-Systemen, die hohe ethische und technische Standards erfüllen, kann höher sein als bei Systemen, die wenig transparent sind.
Globale Marktpotential und Technologie-Anlayse: Digital Trust
Unlocking the Next Wave of Growth in the Digital Economy
Rolle: Dr. Katharina von Knop war Sonderberaterin dieser globalen Studie zum Thema: Digitales Vertrauen und dessen Marktpotentiale und Technologien
Diese Studie wurde in Singapure durchgeführt und von SG Tech, AWS, Lenovo, Microsoft, Netsfere und Intel gesponsert.
Wie gelingt digitaler Vertrauensaufbau in digitale Finanzservices Neuropsychologische wissenschaftliche Arbeit
38 halbblinde Experimente auf der Basis realer Problemstellungen digitaler Lösungen und Geschäftsmodelle, die uns 34 Banken genannt haben.
Die durchschnittliche Testgruppengröße betrug 980 Personen
Dr. Katharina von Knop: Sprecherin bei 42 Webinaren im Jahr 2021 zu den Themen: Aufbau von Digitalen Vertrauen, Entscheidungsarchitekturen von Menschen und Maschinen, AI Trust Worthiness, Safety Tech und Women in Tech.
Sicherheitspolitisches Entscheidungsverhalten: Mit strukturierten Methoden Heuristiken und „Noise“ erkennen und bessere Entscheidungen treffen
Zusammenfassung: Die Entscheidungsfindungen von Menschen und somit auch von politischen Organisationen wird von 188 Heuristiken (Biases) und „Noise“, die unerwünschte Variabilität von Entscheidungen beeinflusst und ist in jeder Kategorie der politikwissenschaftlichen Entscheidungsfindung identifizierbar. Wenn ein terroristischer Anschlag verübt wird, sind die Folgen immer Krisenentscheidungen. Diese Krisenentscheidungen dienen dazu, die staatliche Handlungsfähigkeit durch öffentlich direkt erlebbare Maßnahme zu artikulieren und weitere unmittelbare Anschläge zu verhindern. Anschließend folgen Vorbereitungsentscheidungen. Bei diesen Entscheidungen ist das Ziel zukünftige Anschläge zu verhindern. In diesem Artikel wird das Thema behandelt, dass durch die Implementierung von strukturierten Entscheidungsmethoden politische Organisationen und Entscheidungsträger dazu befähigt werden können, wirksamere Entscheidungen zu treffen, weil diese Methoden Heuristiken und Noise transparent machen und dabei helfen diese deutlich zu reduzieren.
Vertrauen im Zeitalter der Digitalisierung
Wie kann digitales Vertrauen bei digitalen Geschäftsmodellen,, digitalen Produkten und IT-Lösungen aufgebaut und implementiert werden? Der fachliche Schwerpunkt bei diesem Vortrag liegt in der Neuropsychologie. Mein Vortrag beginnt ab Minute 52.
Zum vollständigen Artikel
Wie kann digitales Vertrauen bei Finanzprodukten umgesetzt werden und was bedeutet digitales Vertrauen in der Fintech-Szene?
Zum vollständigen Artikel
"Digitales Vertrauen befähigt uns, Entscheidungen zu treffen"
Dr. von Knop, Ihr jüngsten Unternehmen „Digital Trust“ untersucht, wann wir neuen Technologien vertrauen. Was findet eine mehrfache Gründerin und Treiberin der digitalen Transformation wie Sie an dem Thema interessant?
Katharina von Knop: Ich saß in so vielen Meetings, bei denen darüber gesprochen wurde, wie digitale Geschäftsmodelle besser skalieren. Dabei wurde sehr viel geglaubt, gemeint und gefühlt, aber erstaunlich wenig belastbar gewusst, obwohl es die erste App bereits vor elf Jahren gab. Ich wollte mehr substanielle Evidenz auf die Frage, warum wir manche Technologien nutzen und manche weniger bis gar nicht. Der klassische A/B-Test, den man sonst für die Erforschung von Nutzerreaktionen einsetzt, hilft hier nicht wirklich weiter, da man neben der Originalversion eines Systems einfach nur eine Variante testet. Deshalb habe ich dazu einen Forschungsantrag bei der Europäischen Union gestellt, um digitales Vertrauen genauer zu untersuchen, mit neuropsychologischen Experimenten. Der wurde genehmigt und inzwischen ist mit Digital Trust ein eigenes Unternehmen daraus entstanden.
Der methodische Einsatz von künstlicher Intelligenz in der Diagnose und Therapie des Myelodysplastischen Syndroms (MDS)
Sonderausgabe der Leukämie Lymphom Liga
e.V. zum Thema Digitalisierung und KI-basierte Entscheidungshilfe in der Klinik für Hämatologie, Onkologie und
klinische Immunologie
klinische Immunologie
"Es ist ein Risiko, nicht ins Risiko zu gehen"
Was haben Rosinen, Katzen-Videos und die Weigerung, die Steuererklärung zu machen, mit Digitalisierung und Technologie zu tun? Katharina von Knop untersucht die Nutzung von Software und digitalen Services aus der Perspektive der Neuropsychologie. Mit dem von ihr gegründeten Unternehmen Digital Trust zeigt sie Wege auf, über die sich die Akzeptanz solcher Lösungen optimieren lässt.
Daneben greift die Fraunhofer-Alumna beim Plug & Play Tech Center jungen Gründern und Start-ups beim Business Development und der Produktentwicklung unter die Arme, sofern sie nicht bei einer Versicherung die digitale Gesundheitskarte implementiert oder Satelliten-gestützte Lösungen entwickelt, die die Verbreitung von Infektionskrankheiten abbilden oder Lecks in Gasleitungen aufspüren.
Beim Unternehmen Regify ist sie aktive Beirätin und unterstützt das Business Development für die Cyber-Sicherheitslösungen. Beim Fraunhofer Institut für Offene Kommunikationssysteme FOKUS hat die diplomierte Politikwissenschaftlerin und promovierte Philosophin von 2011 bis 2012 als Projektmanagerin unter anderem das Rettungssystem Katwarn weiterentwickelt und in eine Lösung für Kommunen und Organisationen gepackt.
Daneben greift die Fraunhofer-Alumna beim Plug & Play Tech Center jungen Gründern und Start-ups beim Business Development und der Produktentwicklung unter die Arme, sofern sie nicht bei einer Versicherung die digitale Gesundheitskarte implementiert oder Satelliten-gestützte Lösungen entwickelt, die die Verbreitung von Infektionskrankheiten abbilden oder Lecks in Gasleitungen aufspüren.
Beim Unternehmen Regify ist sie aktive Beirätin und unterstützt das Business Development für die Cyber-Sicherheitslösungen. Beim Fraunhofer Institut für Offene Kommunikationssysteme FOKUS hat die diplomierte Politikwissenschaftlerin und promovierte Philosophin von 2011 bis 2012 als Projektmanagerin unter anderem das Rettungssystem Katwarn weiterentwickelt und in eine Lösung für Kommunen und Organisationen gepackt.
»Vom Risiko, nicht ins Risiko zu gehen«
Wichtig ist, dass die Geschäftsidee etwas taugt. Worauf sollten Gründerinnen und Gründer diesbezüglich achten?
Erstens muss man den Markt und die Zielgruppe sehr gut analysieren und realistisch einschätzen. Zweitens sollte man überlegen, ob man seine Idee vermittelt bekommt. Und drittens reicht am Anfang ein MVP, ein Minimum Viable Product. Es geht darum, schnell mit einer Idee am Markt zu sein. Weitere Probleme lösen Sie dann, wenn sie sich stellen. Wir müssen nicht gleich den Ozean zum Kochen bringen, oft reicht eine 80-prozentige Lösung. Bei meinem ersten Start-up hatte ich anfangs, als ich den ersten B2B-Kunden akquirierte, nicht viel mehr als eine Excel-Liste mit Verbrauchsdaten, mathematische Überlegungen und eine schlüssige Argumentation. Keine Homepage, kein Büro – reine Fokussierung auf das Kernprodukt. Da kann ich nur den Tipp geben, seien Sie mutig! Es muss nicht perfekt sein, viel wichtiger ist, dass man auf den Markt reagiert und das Produkt entsprechend weiterentwickelt
Erstens muss man den Markt und die Zielgruppe sehr gut analysieren und realistisch einschätzen. Zweitens sollte man überlegen, ob man seine Idee vermittelt bekommt. Und drittens reicht am Anfang ein MVP, ein Minimum Viable Product. Es geht darum, schnell mit einer Idee am Markt zu sein. Weitere Probleme lösen Sie dann, wenn sie sich stellen. Wir müssen nicht gleich den Ozean zum Kochen bringen, oft reicht eine 80-prozentige Lösung. Bei meinem ersten Start-up hatte ich anfangs, als ich den ersten B2B-Kunden akquirierte, nicht viel mehr als eine Excel-Liste mit Verbrauchsdaten, mathematische Überlegungen und eine schlüssige Argumentation. Keine Homepage, kein Büro – reine Fokussierung auf das Kernprodukt. Da kann ich nur den Tipp geben, seien Sie mutig! Es muss nicht perfekt sein, viel wichtiger ist, dass man auf den Markt reagiert und das Produkt entsprechend weiterentwickelt
Finanzwirtschaft lernt aus der Neuropsychologie
Digitales Vertrauen als Währung für den Erfolg
Die Bank- Zeitschrift für Bankenpolitik und Praxis, Zeitschrift des Bankenverbandes
Zum vollständigen Arikel
Was haben Sie bei dieser wissenschaftlichen Arbeit beispielsweise über die Erfolgsaussichten von neuen Geschäftsmodellen gelernt
Eine Menge! Aber um es kurz zu machen: Wichtig ist vor allem zu verstehen, dass wir sehr viel Arbeit leisten müssen, damit Menschen die Risiko-Chancen-Abwägung zugunsten digitaler Lösung wirklich fällen. Deshalb ist es erforderlich, dass wir Technologie dem Menschen, also seinen Sinnen und Fähigkeiten, ähnlicher machen. Ich beschäftige mich im EU-Ausland und den USA beispielsweise sehr intensiv damit, wie wir Menschen motivieren können, E-Health-Lösungen intensiver zu nutzen. Die Nutzerdaten sind im Vergleich zu anderen Branchen sehr schlecht, allerdings brauchen wir neue Lösungen, da die Kosten für Erkrankungen, die durch den eigenen Lebensstil verursacht werden, regelrecht explodieren.
Wer gerne mit einem IT Programm arbeitet, macht viel weniger Fehler
(Interview in der Frankfurter Allgemeinen Zeitung)
Was die digitalen Kompetenzen von Beschäftigten angeht, hinkt Deutschland noch immer ziemlich hinterher. Digitalberaterin Katharina von Knop erklärt im Interview, wie sich das verbessern ließe.
Frau von Knop, Sie haben in einem breit angelegten Projekt erforscht, wie es um die digitalen Kompetenzen von Beschäftigten steht. Was ist das Ergebnis?
Wir haben unsere Versuche in 35 zumeist großen Unternehmen durchgeführt, im Durchschnitt nahmen jeweils rund 1000 Personen teil. Zwei Erkenntnisse haben mich überrascht: Zum einen die große Unsicherheit im Umgang mit Informationstechnologie in weiten Teilen der Belegschaft und zum anderen das hohe Maß an Unbedachtheit beziehungsweise die Naivität, so nach dem Motto: Wenn die Maschine das so sagt, dann wird das auch so sein.
Zum vollständigen Interview
Technologie dem Menschen ähnlicher gestalten -
Die zwölf Kernelemente des digitalen Vertrauens
(Artikel: Fachmagazin für IT-Sicherheit und Datenschutz)
Man hört es auf den führenden Konferenzen rund um die Themen Digitalisierung, künstliche Intelligenz, Mashine Learning etc. immer wieder:„DieTechnologie muss menschlicher werden.“Damit ist nicht der philosophische Humanismus gemeint.Vielmehr geht es darum,dassTechnologie für den Menschen
leichter verständlich, umgänglich undakzeptabel werden muss. Doch was genau bedeutetdas?In meine rwissenschaftlichen
Forschung,gefördert vom Wissenschaftsfond
der Europäischen Kommission, habe ich zwölf Kernelemente identifiziert, die für eine menschlichere Technologie und die Bildung von digitalem Vertrauen nötig sind.
Zum vollständigen Artikel
leichter verständlich, umgänglich undakzeptabel werden muss. Doch was genau bedeutetdas?In meine rwissenschaftlichen
Forschung,gefördert vom Wissenschaftsfond
der Europäischen Kommission, habe ich zwölf Kernelemente identifiziert, die für eine menschlichere Technologie und die Bildung von digitalem Vertrauen nötig sind.
Es gibt noch große Unsicherheiten (Artikel: Wirtschaftsmagazin der IHK)
Was untersuchen Sie genau?
Das Verhalten von Mitarbeitern und Kunden, wenn sie Prozesse digital umsetzen müssen und wenn digitale Produkte, Plattformen Tools etc. vermarktet oder genutzt werden. Ziel ist es herauszufinden, wie man die Nutzerquoten optimieren kann. Zum Beispiel ist die Kreativität, offline Prozessschritte neben den digitalen Prozessen zu implementieren, noch sehr groß. Das führt zu enormen Effizienzverlusten, Fehlerquoten, Doppelbelastungen, oder ein Prozess läuft gar nicht mehr, weil jemand krank oder im Urlaub ist.
Der islamistische Terrorismus und ungenutzte Potentiale des freiheitlichen demokratischen Handelns
Dieser Artikel von mir, ist in der Festschrift von Prof. Dr. Heinrich Neisser anlässlich seines 85 jährigen Geburtstages in der zugehörigen Festschrift veröffentlicht worden. In dem Artikel befasse ich mich, unter starken Rückgriff auf meine Doktorarbeit, wie welchen Maßnahmen freiheitliche Demokratien die Wirksamkeit ihres eigenen Handelns gegen den islamistischen Terrorismus steigern können. Der vollständige Artikel ist unter folgenden Link abrufbar.
Zum vollständigen Artikel
