Hochrisiko-KI

Hochrisiko-KI-Systemen im EU AI Act

Zusammenfassung

• Definition und Einstufung von Hochrisiko-KI-Systemen: Der EU AI Act definiert Hochrisiko-KI-Systeme als solche, die erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte bergen, und listet spezifische Anwendungsbereiche in Anhang III auf.
  
  
• Pflichten der Betreiber: Betreiber müssen technische und organisatorische Maßnahmen ergreifen, um eine bestimmungsgemäße Verwendung zu gewährleisten, menschliche Aufsicht sicherstellen und bei Risiken Meldungen erstatten.
  
  
• Anforderungen an die Anbieter: Anbieter müssen Hochrisiko-KI-Systeme mit hochwertigen Daten entwickeln, Risikomanagementsysteme einrichten, umfangreiche Dokumentationen erstellen und Konformitätsbewertungen durchlaufen.
  
  
• Praktische Umsetzung und Compliance: Die erfolgreiche Implementierung erfordert eine enge Zusammenarbeit zwischen Anbietern und Betreibern sowie die Einhaltung strenger regulatorischer Anforderungen zur Gewährleistung von Sicherheit und Vertrauenswürdigkeit.

Hochriskante KI-Systeme

Der EU AI Act etabliert als weltweit erste umfassende Regulierung einen rechtlichen Rahmen für Künstliche Intelligenz in Europa. Er verfolgt einen risikobasierten Ansatz, bei dem KI-Systeme je nach Gefährdungspotenzial unterschiedlichen Anforderungen unterliegen.

Besonders detailliert werden dabei Hochrisiko-KI-Systeme reguliert, die erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen bergen können. Nachfolgend beleuchten wir die spezifischen Anforderungen an Betreiber solcher Systeme sowie die Pflichten der Anbieter und geben praktische Einblicke in die Umsetzung dieser Vorschriften.

Definition und Einstufung von Hochrisiko-KI-Systemen

Der AI Act definiert in Art. 6 präzise, unter welchen Bedingungen ein KI-System als "hochriskant" einzustufen ist. Diese Einstufung erfolgt nach zwei Hauptkriterien:

• Erstens gilt ein KI-System als hochriskant, wenn es als Sicherheitsbauteil eines Produkts verwendet wird, das unter die im Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt, oder wenn es selbst ein solches Produkt ist, und dieses Produkt zudem einer Konformitätsbewertung durch Dritte unterzogen werden muss. Dies betrifft beispielsweise KI-Komponenten in Medizinprodukten oder in sicherheitskritischen Fahrzeugsystemen.
  
  
• Zweitens werden alle in Anhang III explizit aufgeführten KI-Systeme als hochriskant klassifiziert. Hierzu zählen unter anderem Systeme in Bereichen wie biometrische Identifizierung, kritische Infrastruktur, Bildung, Beschäftigung, Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen sowie Strafverfolgung.
  
  
• Die Verordnung sieht jedoch auch Ausnahmen Ein in Anhang III genanntes KI-System gilt nicht als hochriskant, wenn es kein erhebliches Beeinträchtigungsrisiko darstellt. Dies ist beispielsweise der Fall, wenn das System lediglich eng gefasste Verfahrensaufgaben durchführt, Ergebnisse früherer menschlicher Tätigkeiten verbessert oder ausschließlich Entscheidungsmuster erkennt, ohne menschliche Bewertungen zu ersetzen.

Grundlegende Pflichten der Betreiber von Hochrisiko-KI-Systemen

Die Betreiber von Hochrisiko-KI-Systemen – so nennt das Gesetz irritierenderweise die Benutzer von KI-Angeboten -- unterliegen gemäß Art. 26 KI-VO umfassenden Verpflichtungen. Diese Pflichten sollen sicherstellen, dass solche Systeme in einer Weise eingesetzt werden, die Risiken für die Bürger minimiert und die Grundrechte wahrt.

Zunächst müssen Betreiber geeignete technische und organisatorische Maßnahmen implementieren, um eine bestimmungsgemäße Verwendung entsprechend der beigefügten Betriebsanleitungen zu gewährleisten. Dies kann beispielsweise die Einrichtung interner Compliance-Strukturen, die Erstellung von Richtlinien oder die Implementierung von Überwachungsmechanismen umfassen.

Von zentraler Bedeutung ist die Verpflichtung zur Gewährleistung einer angemessenen menschlichen Aufsicht. Betreiber müssen natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die Aufsicht über das KI-System übertragen und ihnen die notwendige Unterstützung zukommen lassen. Dies bedeutet in der Praxis, dass qualifizierte Mitarbeiter geschult und befähigt werden müssen, die Funktionsweise des KI-Systems zu verstehen, dessen Ausgaben kritisch zu bewerten und bei Bedarf korrigierend einzugreifen.

Anforderungen an die Datenverwaltung und Betriebsüberwachung

Eine wesentliche Pflicht der Betreiber betrifft die Qualitätssicherung der Eingabedaten. Soweit die Eingabedaten ihrer Kontrolle unterliegen, müssen Betreiber sicherstellen, dass diese der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen und ausreichend repräsentativ sind. Diese Anforderung zielt darauf ab, verzerrte oder fehlerhafte Ergebnisse zu vermeiden, die bei ungeeigneten Eingabedaten entstehen könnten.

Bei einem KI-System zur Personalauswahl bedeutet dies beispielsweise, dass die eingespeisten Bewerberdaten vollständig, korrekt und frei von diskriminierenden Merkmalen sein müssen. Bei einem medizinischen Diagnosesystem müssen die Patientendaten repräsentativ für die Zielpopulation sein und alle relevanten gesundheitlichen Faktoren berücksichtigen.

Darüber hinaus sind Betreiber verpflichtet, den Betrieb des Hochrisiko-KI-Systems kontinuierlich zu überwachen. Sie müssen den Anbieter informieren, wenn sie Grund zu der Annahme haben, dass die Verwendung des Systems Risiken bergen könnte.

Melde- und Dokumentationspflichten für Betreiber

Die Meldepflichten der Betreiber sind mehrstufig ausgestaltet. Besteht der Verdacht, dass ein Hochrisiko-KI-System ein Risiko im Sinne des Art. 79 darstellt, müssen Betreiber unverzüglich den Anbieter oder Händler sowie die zuständige Marktüberwachungsbehörde informieren und die Verwendung des Systems aussetzen. Diese Verpflichtung zielt darauf ab, potenzielle Schäden frühzeitig zu erkennen und abzuwenden.

Bei einem schwerwiegenden Vorfall müssen Betreiber zunächst den Anbieter und anschließend den Einführer oder Händler sowie die zuständigen Marktüberwachungsbehörden informieren. Die Verordnung sieht hier eine klare Prioritätenreihenfolge vor, um eine effiziente Reaktion auf Vorfälle zu gewährleisten.

Anforderungen an die Anbieter von Hochrisiko-KI-Systemen

Die Anbieter von Hochrisiko-KI-Systemen tragen als Inverkehrbringer dieser Technologien eine besondere Verantwortung im Rahmen des AI Acts. Ihre Pflichten sind noch umfassender als jene der Betreiber und beginnen bereits bei der Konzeption und Entwicklung der Systeme. Gemäß Art. 10 KI-VO müssen Hochrisiko-KI-Systeme, die mit Daten trainiert werden, mit hochwertigen Trainings-, Validierungs- und Testdatensätzen entwickelt werden.

Die Daten-Governance und Datenverwaltungsverfahren müssen dabei verschiedene Aspekte abdecken: von den konzeptionellen Entscheidungen über die Datenerhebungsverfahren und -quellen bis hin zu relevanten Datenaufbereitungsvorgängen wie Annotation, Kennzeichnung und Bereinigung.

Besonders wichtig ist die Untersuchung auf mögliche Verzerrungen (Bias), die die Gesundheit und Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte auswirken oder zu einer verbotenen Diskriminierung führen könnten. Die Anbieter müssen geeignete Maßnahmen zur Erkennung, Verhinderung und Abschwächung solcher potenziellen Verzerrungen implementieren. Zudem müssen die verwendeten Datensätze im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ sowie so weit wie möglich fehlerfrei und vollständig sein.

Neben den Datenanforderungen müssen Anbieter ein Risikomanagementsystem einrichten, umfangreiche technische Dokumentationen erstellen, Aufzeichnungen führen, Transparenzanforderungen erfüllen und Konformitätsbewertungsverfahren durchlaufen. Sie sind außerdem verpflichtet, nach dem Inverkehrbringen die Leistung ihrer Systeme zu überwachen und bei auftretenden Risiken oder Mängeln Korrekturmaßnahmen zu ergreifen.

Die Einhaltung dieser Anforderungen stellt für Anbieter eine erhebliche Herausforderung dar, ist aber essenziell, um die Sicherheit und Grundrechtskonformität von Hochrisiko-KI-Systemen zu gewährleisten.

Praktische Beispiele für Hochrisiko-KI-Systeme und ihre regulatorischen Implikationen

Um die praktischen Auswirkungen der Regulierung von Hochrisiko-KI-Systemen zu verdeutlichen, betrachten wir drei konkrete Anwendungsbeispiele:

• KI-System zur medizinischen Diagnostik

Ein KI-System zur Unterstützung bei der Diagnose von Krankheiten gilt als Hochrisiko-KI-System, da es sowohl unter die Kategorie der medizinischen Produkte fällt als auch potenziell erhebliche Auswirkungen auf die Gesundheit von Patienten haben kann.

Als Betreiber muss ein Krankenhaus sicherstellen, dass qualifizierte Ärzte mit dem System arbeiten und dessen Diagnosevorschläge kritisch überprüfen (menschliche Aufsicht). Die Eingabe von Patientendaten muss sorgfältig erfolgen, um Fehler zu vermeiden, und das Personal muss geschult werden, unplausible Ergebnisse zu erkennen. Bei Auffälligkeiten besteht eine Meldepflicht an den Anbieter und unter Umständen an die zuständige Behörde.

Der Anbieter wiederum muss nachweisen können, dass das System mit repräsentativen Daten verschiedener Patientengruppen trainiert wurde, um Verzerrungen zu vermeiden, die zu fehlerhaften Diagnosen führen könnten. Zudem muss er eine umfangreiche Dokumentation bereitstellen und das System regelmäßig aktualisieren, wenn neue medizinische Erkenntnisse dies erfordern.

• KI-System im Personalwesen

Ein KI-System zur Personalauswahl und Bewertung von Bewerbern fällt gemäß Anhang III als Hochrisiko-System in den Anwendungsbereich der Verordnung, da es den Zugang zu Beschäftigung und beruflichen Chancen erheblich beeinflussen kann. Der Einsatz im HR-Bereich dürfte daher einer der relevantesten Bereiche sein, die unter die Regelungen für Hochrisiko-KI fallen.

Der Betreiber, beispielsweise ein Unternehmen, muss sicherstellen, dass die Personalabteilung ausreichend geschult ist, um die Ergebnisse des Systems zu interpretieren und nicht blind zu übernehmen. Die Eingabedaten müssen relevant und repräsentativ sein, und es muss ein regelmäßiges Monitoring stattfinden, um sicherzustellen, dass das System keine diskriminierenden Entscheidungsmuster entwickelt.

Der Anbieter muss nachweisen, dass das System so entwickelt wurde, dass es keine bestimmten Bewerbergruppen benachteiligt. Er muss transparente Informationen darüber bereitstellen, welche Faktoren das System bei der Bewertung berücksichtigt, und sicherstellen, dass keine verbotenen Diskriminierungsmerkmale in die Entscheidungsfindung einfließen.

• KI-System zur Kreditwürdigkeitsprüfung

Ein KI-System zur Bewertung der Kreditwürdigkeit von Verbrauchern gilt als Hochrisiko-System, da es den Zugang zu wesentlichen privaten Dienstleistungen erheblich beeinflusst.

Als Betreiber muss ein Finanzinstitut sicherstellen, dass qualifizierte Mitarbeiter die Systementscheidungen überwachen und bewerten können. Die eingespeisten Kundendaten müssen korrekt und vollständig sein, und es muss ein Verfahren etabliert werden, um fehlerhafte Entscheidungen zu korrigieren. Bei systematischen Problemen besteht eine Meldepflicht gegenüber dem Anbieter und den Aufsichtsbehörden.

Der Anbieter muss nachweisen, dass das System keine bestimmten Bevölkerungsgruppen systematisch benachteiligt und dass die Kreditwürdigkeitsbewertung auf relevanten und objektiven Kriterien basiert. Er muss zudem transparente Informationen über die Funktionsweise des Systems bereitstellen und regelmäßige Updates durchführen, um sicherzustellen, dass das System den aktuellen rechtlichen Anforderungen entspricht.

Fazit und Handlungsempfehlungen für die Praxis

Die Regulierung von Hochrisiko-KI-Systemen durch den EU AI Act stellt sowohl Betreiber als auch Anbieter vor erhebliche Herausforderungen, bietet aber auch Chancen für die Entwicklung vertrauenswürdiger und rechtskonformer KI-Anwendungen.

Für Betreiber von Hochrisiko-KI-Systemen empfiehlt sich eine frühzeitige und gründliche Auseinandersetzung mit den regulatorischen Anforderungen. Dies umfasst insbesondere die Implementierung robuster Prozesse zur menschlichen Aufsicht, zur Qualitätssicherung der Eingabedaten sowie zur Überwachung und Dokumentation des Systembetriebs. Die Schulung der Mitarbeiter, die mit solchen Systemen arbeiten, ist dabei von zentraler Bedeutung.

Anbieter sollten bereits in der Entwicklungsphase die regulatorischen Anforderungen berücksichtigen und Hochrisiko-KI-Systeme von Grund auf compliant gestalten. Dies bedeutet insbesondere, auf hochwertige und repräsentative Trainingsdaten zu achten, transparente und nachvollziehbare Algorithmen zu entwickeln sowie umfassende Dokumentationen zu erstellen.

Die enge Zusammenarbeit zwischen Anbietern und Betreibern ist ein Schlüsselfaktor für die erfolgreiche Implementierung von Hochrisiko-KI-Systemen. Der Informationsaustausch über potenzielle Risiken, die Bereitstellung verständlicher Betriebsanleitungen durch die Anbieter sowie das Feedback der Betreiber aus dem praktischen Einsatz sind wesentliche Elemente eines funktionierenden Compliance-Systems.

Der AI Act stellt mit seinem risikobasierten Ansatz einen innovativen Regulierungsrahmen dar, zwar Leitplanken für Hochrisiko-Anwendungen setzt, aber auch für erheblichen Aufwand und Rechtsunsicherheit sorgt. Für Unternehmen, die diese Anforderungen erfüllen, kann dies durchaus einen Wettbewerbsvorteil darstellen, da sie vertrauenswürdige und rechtskonforme KI-Lösungen anbieten können.

Unsere Unterstützung bei der Umsetzung des AI Act für Hochrisiko-KI-Systeme

Als spezialisierte Kanzlei für IT- und KI-Recht bieten wir Betreibern und Anbietern von Hochrisiko-KI-Systemen umfassende Unterstützung bei der Umsetzung des EU AI Act.

Wir unterstützen Sie bei der Einordnung Ihres KI-Systems und entwickeln mit Ihnen ein maßgeschneidertes Risikomanagementsystem. Dabei berücksichtigen wir branchenspezifische Sicherheitsstandards und harmonisieren diese mit den Anforderungen des AI Acts.

Wir gestalten rechtssichere Verträge mit Drittanbietern und unterstützen Sie bei Konformitätsbewertungen. Im Krisenfall begleiten wir Sie bei der Erfüllung von Meldepflichten nach Art. 26.

Durch unsere proaktive Beratung und kontinuierliche Begleitung stellen wir sicher, dass Ihre KI-Systeme nicht nur den aktuellen rechtlichen Anforderungen entsprechen, sondern auch für zukünftige regulatorische Entwicklungen gerüstet sind. Vertrauen Sie auf unsere Expertise, um Compliance-Risiken zu minimieren und das volle Potenzial Ihrer KI-Technologien rechtssicher zu nutzen.

Kontaktieren Sie uns gerne dazu!