Übung 4

Datenschutz

Anonymisieren Sie die folgenden Patientendaten für die sichere Verwendung mit LLMs: Max Mustermann, geb. 15.05.1952, wurde am 10.05.2025 mit Dyspnoe und Fieber (38,9°C) in die Notaufnahme des Universitätsklinikums Köln eingeliefert. Die CT zeigte eine beidseitige Pneumonie. Der Patient hat eine COPD (GOLD III) und Typ-2-Diabetes in der Vorgeschichte. Ferner ist bei ihm eine primäre Coenzym Q10 Defizienz bekannt (COQ2 S96N). Er wohnt in der Hauptstraße 123 in 12345 Musterstadt (Versicherungsnummer: A123456789).

 

Ein Arzt möchte einen komplexen Fall mit unklarer Diagnose mit Hilfe eines LLMs analysieren. Er überlegt, die vollständige Krankengeschi-chte inklusive Laborwerte und Bildgebung in ChatGPT einzugeben, um Differentialdiagnosen zu generieren. Was ist zu Beachten ?

​

Eine Hygienefachkraft kopiert den kompletten wöchentlichen Umgebungs­keimbefund (inkl. Patient:innen‑Initialen, Zimmernummern) in ein Cloud‑LLM, um einen Abschlussbericht erstellen zu lassen.

1️⃣ Keine Rohdaten kopieren; erst Anonymisierung (Raum/Zeit‑General­isierung, Hash).
2️⃣ Vertragliche Auftrags­verarbeitung + EU‑Standard­klauseln nötig.
3️⃣ Rechenschafts‑Log im Q‑System hinterlegen.

 

Ein internes LLM wird mit zehn Jahren pseudonymisierten Keim­kluster‑Daten fine‑getuned, um Ausbrüche schneller zu detektieren. In den Datensätzen finden sich extrem seltene Multi‑Resistenzen, die auf Fälle rück­schließbar sind.

1️⃣ Re‑Identifikations­risiko: k‑Anonymität ≥ 5 oder DP‑rausch (< 1 % Δ Precision). 
2️⃣ DSFA‑Bericht öffentlich im Intranet.
3️⃣ „KI‑Vorfall“‑Melde­prozess an Behörde anlegen (EU AI Act).

 
Pflegekräfte diktieren Wund‑Beobachtungen in eine kosten­lose App eines US‑Anbieters; die App nutzt LLM‑API, speichert Audio & Text für „Verbesserung der Services“.

1️⃣ Lokale Speech‑to‑Text‑Engine mit on-premise‑LLM bevorzugen.
2️⃣ Dienstleistervertrag + TOMs + Speicherdauer ≤ 24 h.
3️⃣ Schulung & Checklist „rote Linien“ für BYOD‑Apps.

 

 Ein Bauhygiene‑LLM erstellt tägliche Ranglisten, welche Wartungs­teams Vorgaben am besten einhalten; die Liste fließt in Leistungs­prämien.

1️⃣ Statt Ranking: Ampel­dashboard ohne Personen‑bezug (ansonsten Verbot durch unannehmbares Risiko).
2️⃣ Algorithmic Impact Assessment + Mitbestimmungs­gremium.
3️⃣ Opt‑Out & Review‑Workflow für Betroffene.

​

​

Haftung und Risikomanagement

Das LLM plant Desinfektionszyklen. Ein Bug in der Zeitzonen verschiebt die OP‑Reinigung um 12 h. Zwei post‑op SSI‑Fälle.

Fehlerart: falscher Output (Plan zu spät).
Eintritts­wahr­schein­lichkeit: mittel (Softwarefehler).
Schadenspotential: hoch (Morbidität, ggf. Revision).
Haftungskette: Klinik (Organisations­verschulden) ⇆ Software­anbieter (ProdHaftG) ⇆ Pflegeleitung (fahrlässige Übernahme).
Erkennung: hätte menschl. Plausi‑Check ≤ 2 min erfordert.

Risikostratifizierung wurde ignoriert; Scheduler hätte orange‑Level = ‘4‑Augen‑Prinzip’.“
Vendor: „Unsere AGB schließen Reinigungs‑Echtbetrieb ausdrücklich aus – Proof‑of‑Concept!“

1️⃣ LLM‑Outputs ≤ Stufe orange nie direkt produktiv.
2️⃣Safety Gate = sign‑off Feld in GUI („geprüft ✓“).
3️⃣ Audit‑Log zeigt wer wann Plan übernahm.

 

LLM beurteilt Stuhl­befunde (Text + Bilder). Es halluziniert ein Negativ‑Ergebnis → kein Isolations­zimmer → Ausbruch (8 Fälle).          

Fehlerart: falscher Output (falsch-negativ)

Wahrschein­lichkeit: niedrig (Erkennung bei Zeitdruck schwer)

Schadenspotenzial: hoch (Verlängerter Aufenthalt)

Schadensersatz: attraktiv (Gruppen­schaden, Medien).       

Haftung: Hygieniker (Garanten­stellung) + Klinik + Hersteller; Strafbarkeit § 222 StGB (fahrl. Tötung) denkbar.

Erkennung: Vorhersehbare Halluzination → Pflicht zur Confidence‑Threshold! < 0,85 = rote Flagge.“

1️⃣ Implement niedrigste Schwelle für Isolation („WHEN IN DOUBT → Isolate“).

2️⃣ UI zeigt Ampel + Konfidenz.

3️⃣ DSFA identifiziert False‑negatives als „very high“ → Notfallplan.

 

Pflege ordert FFP3‑Masken via LLM. Es „halluziniert“ eine Phantom‑DIN‑Norm; Masken ohne Zertifikat werden geliefert. Zwei Dienst­unfälle (COVID‑Infektion).

Fehlerart: falscher Output
Entdeckbar­keit: hoch (DIN 149 in Prüfliste)
Haftung: Berufs­genossenschaft vs. Klinik vs. Bot‑Anbieter.
Reputations­risiko: öffentlich wirksam („Klinik spart an Masken!“).

Haftung: Klinik haftet für fehlerhafte Beschaffung.
1️⃣ LLM darf nur vor‑validierte Katalogartikel vorschlagen.
2️⃣ Lieferlog + Prüfvorgang in Audit‑Log.
3️⃣ Schulung „Prompt Hygiene“ – klare Specs.

 

Juristische Abt. nutzt LLM, um Datenschutz‑Einwilligungen zu generieren. Das Modell vergisst den Absatz „Widerruf jederzeit möglich“. Behörde verhängt 400 k€ Bußgeld (Art. 7 DSGVO).              

Fehlerart: falscher Output

Erkennbarkeit: hoch(Checkliste)

Schadens­ersatz: Bußgeld, kein Personen‑schaden.

Haftung: Klinik (Verantwortlicher), evtl. Rechtsabteilung / Kanzlei.

Varianz: jede neue Generation variiert Formulierung → Nachweis schwer.  

1️⃣ Nach Freigabe statische PDF‑Templates, kein dynamisches Prompting.

2️⃣ Version‑Lock + Prüfsumme (Hash).

3️⃣ Audit‑Log dokumentiert Freigabe‑Workflow.

​

​​​​

Ethik

Entwickeln Sie ein ethisches Framework für den Einsatz von LLMs in Ihrer Einrichtung

Definieren Sie Kernprinzipien, konkrete Maßnahmen zur Umsetzung und Evaluationsmechanismen

​

Kernprinzipien

Patientenwohl & Schadensvermeidung: jede LLM-Intervention muss nachweislich Nutzen stiften und darf keine vermeidbaren Risiken erzeugen.

​

Fairness & Nicht-Diskriminierung: systematische Prüfung auf Verzerrungen in Daten, Modell und Output.

 

Autonomie & informierte Einwilligung: Patient:innen müssen wissen, dass KI genutzt wird, welche Rolle sie hat und welche Alternativen es gibt.

​

Transparenz & Erklärbarkeit: sämtliche Entscheidungspfade (Prompts, System-Prompts, Versionen) sind dokumentations- und auskunftspflichtig.

 

Datenschutz & Datensicherheit: konsequente Anwendung von Privacy-by-Design, Pseudonymisierung und Zugriffskontrolle.

​

Human in the loop: klinische Endverantwortung bleibt immer beim Fachpersonal.

 

Accountability: klare Zuweisung von Haftung und Eskalationswegen bei Fehlfunktionen.

 

Gerechte Teilhabe: Technologie-, Sprach- und Kostenschranken dürfen keine Versorgungslücken erzeugen.

 

​

Konkrete Umsetzungsmaßnahmen

A.) Governance-Struktur:

1. Einrichtungsweite „AI Steering Group“ (Chefärzt:innen, IT-Sicherheit, Ethik, Patientenvertretung).

2. Pflicht für jedes Projekt: Impact-Assessment nach EU-AI-Act-Schema (Risiko, Bias, Datenquellen).

3. Register für alle produktiven LLM-Prompts incl. Change-Log und Model-Version.

​

B.) Technische & organisatorische Schutzmaßnahmen

1. Bias-Testing-Pipeline: synthetische Testfälle (Alter, Geschlecht, Ethnie, sozioökonomischer Status) und automatische Fairness-Metriken (z. B. Equalized Odds).

2. Re-Training-Gate: kein Update ohne erneuten klinischen & regulatorischen Review (BfArM-Leitfaden).

3. Usage-Guardrails: Token-Limits, Pflichtfelder für klinischen Kontext, automatische Red-Flag-Erkennung (Unsicherheits-Scores, Halluzinations-Filter).

 

C.) Schulung & Kultur

1. Pflichtmodule „Prompt Engineering & Bias Awareness“ für alle Ärzt:innen und Pflegekräfte.

2. Simulations-Cases, bei denen Teams KI- und Non-KI-Pfad vergleichen und diskutieren.

3. „Escalation OK“-Kultur: jeder Hinweis auf Fehlverhalten wird belohnt, nicht sanktioniert.

 

​

Evaluationsmechanismen

Kontinuierliche Qualitäts-Dashboards:

 

klinische Outcome-Indikatoren (z. B. Diagnoserate, Komplikationsquote),

 

Fairness-Indikatoren (Differenz in Fehlerraten zwischen Subgruppen),

 

Patient-Reported-Experience-Measures (Fragebogen zur wahrgenommenen Empathie & Erklärbarkeit).

 

Quarterly Audit durch eine externe Stelle (Medizinische Fakultät/HTA-Institut).

 

Incident-Reporting-System analog zu CIRS, erweitert um „AI-Near-Miss“.

 

Re-Zertifizierung aller produktiven LLMs spätestens alle 24 Monate (EU-AI-Act).

​​​

​

Einzelfragen

Wie kann verhindert werden, dass Vorurteile in LLMs die medizinische Versorgung beeinflussen?

Maßnahme: Diversifizierte Trainingsdaten, Bias-Tests vor jeder Freigabe, Monitoring von Fehlerraten nach Demografie    Ziel: ≤ 5 % Differenz in kritischen Fehlerraten zwischen Subgruppen

​

​Wie kann verhindert werden, dass der Einsatz von LLMs zu einer Reduzierung menschlicher Interaktion in der Versorgung führt?

Maßnahme: „Augment-don’t-replace“-Policy: LLMs übernehmen Dokumentation, nicht Aufklärungsgespräche; Mindestzeiten für direkte Kommunikation    

Ziel: Patient-Zufriedenheit ≥ Baseline

​

Wie kann der Verlust von Fachkompetenzen durch Abhängigkeit von KI verhindert werden?

Maßnahme: Rotations-Curriculum: Phasen ohne KI-Assistenz; Skills-Assessment im Sim-Lab vor Rezertifizierung    

Ziel: 80 % bestehen jährlichen „No-AI“-Test

​

Wie kann die unkritische Übernahme von KI-Empfehlungen verhindert werden?

Maßnahme: Pflicht-Double-Check bei Hochrisiko-Entscheidungen; LLM zeigt Vertrauensscore & Quellen; Entscheidungsbaum fordert aktive Bestätigung    

Ziel: < 1 ‰ ungeprüfte KI-Entscheidungen

​

Wie kann ein gleichberechtigter Zugang zu KI-Technologien sichergestellt werden?

Maßnahme: Thin-Client-Zugänge auf allen Stationen, mehrsprachige Interfaces, mobile Web-Apps, Finanzierung über Solidarmodell    

Ziel: Nutzungsrate zwischen Klinikstandorten ± 10 %
 

​

​

​

​

​

​

​