Grundrechtefolgenabschätzung

Die Grundrechte-Folgenabschätzung nach Art. 27 AI Act: Anforderungen und Umsetzung

Zusammenfassung

• Die Grundrechte-Folgenabschätzung nach Art. 27 AI Act ist ein präventives Compliance-Instrument zur Identifikation und Minimierung grundrechtlicher Risiken bei Hochrisiko-KI-Systemen.
• Verpflichtet sind öffentliche Einrichtungen, private Anbieter öffentlicher Dienste sowie bestimmte Betreiber im Finanz- und Versicherungsbereich, die entsprechende KI-Systeme vor deren Inbetriebnahme prüfen müssen.
• Die Folgenabschätzung muss sechs Kernelemente umfassen: Verfahrensbeschreibung, Nutzungszeitraum, betroffene Personenkreise, spezifische Schadensrisiken, Maßnahmen zur menschlichen Aufsicht und Risikominimierungskonzepte.
• Die praktische Umsetzung erfordert einen systematischen Ansatz von der Feststellung der Anwendbarkeit bis zur kontinuierlichen Überwachung und kann durch spezialisierte Rechtsberatung unterstützt werden.

Die Grundrechte-Folgenabschätzung

Mit dem Inkrafttreten des AI Acts etabliert die Europäische Union ein umfassendes Regelungsregime für Künstliche Intelligenz, das besonderes Augenmerk auf Hochrisiko-KI-Systeme richtet. Ein zentrales Element dieses Schutzkonzepts bildet die in Art. 27 normierte Grundrechte-Folgenabschätzung, die als präventives Instrument eine sorgfältige Prüfung potenzieller grundrechtlicher Auswirkungen vor dem Einsatz entsprechender Systeme vorschreibt.

In dem nachfolgenden Beitrag analysieren wir die rechtlichen Anforderungen an diese Folgenabschätzung, erläutert den persönlichen und sachlichen Anwendungsbereich sowie die konkreten Umsetzungsschritte für betroffene Organisationen und zeigen praxisrelevante Handlungsoptionen auf.

Definition und rechtliche Verankerung der Grundrechte-Folgenabschätzung

Die Grundrechte-Folgenabschätzung stellt eine zentrale Compliance-Verpflichtung im Rahmen des AI Acts dar. Sie ist in Art. 27 der KI-Verordnung rechtlich verankert und dient dem präventiven Schutz von Grundrechten beim Einsatz von Hochrisiko-KI-Systemen. Der europäische Gesetzgeber verfolgt mit diesem Instrument einen risikobasierten Ansatz, der potenzielle negative Auswirkungen auf die Grundrechte betroffener Personen frühzeitig identifizieren und durch geeignete Schutzmaßnahmen minimieren soll.

Erwägungsgrund 96 des AI Acts betont explizit, dass die Grundrechte-Folgenabschätzung darauf abzielt, "dass der Betreiber die spezifischen Risiken für die Rechte von Einzelpersonen oder Gruppen von Einzelpersonen, die wahrscheinlich betroffen sein werden, ermittelt und Maßnahmen ermittelt, die im Falle eines Eintretens dieser Risiken zu ergreifen sind". Es handelt sich somit um ein vorausschauendes Instrument zur Identifikation, Bewertung und Mitigierung grundrechtsrelevanter Risiken vor der Inbetriebnahme entsprechender KI-Systeme.

Anders als andere Compliance-Anforderungen des AI Acts, die primär an Anbieter von KI-Systemen adressiert sind, richtet sich die Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung ausdrücklich an die Betreiber, also die Nutzer solcher Systeme. Diese Verlagerung der Verantwortung trägt dem Umstand Rechnung, dass erst im konkreten Anwendungskontext die spezifischen Grundrechtsrisiken vollumfänglich beurteilt werden können.

Anwendungsbereich: Verpflichtete Organisationen und erfasste KI-Systeme

Sachlicher Anwendungsbereich

Die Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung gemäß Art. 27 erfasst grundsätzlich alle Hochrisiko-KI-Systeme im Sinne des Art. 6 Abs. 2 AI Act. Ausdrücklich ausgenommen sind jedoch Hochrisiko-KI-Systeme, die im Bereich des Anhangs III Nummer 2 des AI Acts verwendet werden sollen. Diese Ausnahme bezieht sich auf KI-Systeme im Bildungs- und Berufsbildungsbereich, für die separate Anforderungen gelten.

Persönlicher Anwendungsbereich

Nicht alle Betreiber von Hochrisiko-KI-Systemen sind zur Durchführung einer Grundrechte-Folgenabschätzung verpflichtet. Der persönliche Anwendungsbereich des Art. 27 umfasst folgende Betreibergruppen:

1. Einrichtungen des öffentlichen Rechts (z.B. Behörden, öffentliche Institutionen)
2. Private Einrichtungen, die öffentliche Dienste erbringen (z.B. private Bildungsträger, private Gesundheitsdienstleister)
3. Betreiber von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 5 Buchstaben b und c (insbesondere aus dem Finanz- und Versicherungssektor)

Der Gesetzgeber stellt in Erwägungsgrund 96 klar, dass zu den privaten Einrichtungen, die öffentliche Dienstleistungen erbringen, solche zählen, die "mit Aufgaben im öffentlichen Interesse verknüpft sind, etwa in den Bereichen Bildung, Gesundheitsversorgung, Sozialdienste, Wohnungswesen und Justizverwaltung". Diese vergleichsweise weite Definition dürfte in der Praxis zu Abgrenzungsschwierigkeiten führen.

Zeitpunkt und Häufigkeit der Grundrechte-Folgenabschätzung

Die zeitliche Dimension der Grundrechte-Folgenabschätzung ist in Art. 27 klar definiert: Die Folgenabschätzung muss "vor der Inbetriebnahme" des betreffenden Hochrisiko-KI-Systems durchgeführt werden. Diese zeitliche Vorgabe unterstreicht den präventiven Charakter des Instruments.

Aus Art. 27 Abs. 2 geht zudem hervor, dass die Pflicht zur Durchführung der Grundrechte-Folgenabschätzung "für die erste Verwendung eines Hochrisiko-KI-Systems" gilt. Dies bedeutet, dass nicht jede Nutzung eines identischen Systems eine erneute vollständige Folgenabschätzung erfordert. Vielmehr erlaubt die Vorschrift ausdrücklich, dass sich der Betreiber "in ähnlichen Fällen auf zuvor durchgeführte Grundrechte-Folgenabschätzungen oder bereits vorhandene Folgenabschätzungen, die vom Anbieter durchgeführt wurden, stützen" kann.

Allerdings ist die Grundrechte-Folgenabschätzung kein statisches Dokument. Der Verordnungstext verpflichtet Betreiber zur Aktualisierung, wenn sich eines der in Art. 27 Abs. 1 aufgeführten Elemente geändert hat oder nicht mehr aktuell ist. Diese Aktualisierungspflicht korrespondiert mit der in Erwägungsgrund 96 formulierten Anforderung, dass die Folgenabschätzung "aktualisiert werden [sollte], wenn der Betreiber der Auffassung ist, dass sich einer der relevanten Faktoren geändert hat".

Inhaltliche Anforderungen an die Grundrechte-Folgenabschätzung

Art. 27 Abs. 1 definiert sechs obligatorische Elemente, die in jeder Grundrechte-Folgenabschätzung enthalten sein müssen:

1. Verfahrensbeschreibung

Die Folgenabschätzung muss eine "Beschreibung der Verfahren des Betreibers, bei denen das Hochrisiko-KI-System im Einklang mit seiner Zweckbestimmung verwendet wird" enthalten. Dies umfasst eine detaillierte Darstellung, wie das KI-System in die betrieblichen Prozesse eingebunden wird und für welchen konkreten Zweck es eingesetzt wird.

2. Zeitraum und Häufigkeit der Verwendung

Erforderlich ist ferner eine "Beschreibung des Zeitraums und der Häufigkeit, innerhalb dessen bzw. mit der jedes Hochrisiko-KI-System verwendet werden soll". Diese temporale Komponente ist relevant für die Bewertung der Intensität möglicher grundrechtlicher Auswirkungen.

3. Betroffene Personenkreise

Die Folgenabschätzung muss die "Kategorien der natürlichen Personen und Personengruppen, die von seiner Verwendung im spezifischen Kontext betroffen sein könnten" identifizieren. Diese Anforderung zielt darauf ab, vulnerable Gruppen zu erkennen, die besonders durch den KI-Einsatz betroffen sein könnten.

4. Spezifische Schadensrisiken

Ein Kernbestandteil der Folgenabschätzung ist die Analyse der "spezifischen Schadensrisiken, die sich auf die [...] ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken könnten". Dabei sind die vom Anbieter gemäß Art. 13 AI Act bereitgestellten Informationen zu berücksichtigen.

5. Maßnahmen zur menschlichen Aufsicht

Die Folgenabschätzung muss eine "Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht entsprechend den Betriebsanleitungen" enthalten. Dieses Element reflektiert den grundlegenden Ansatz des AI Acts, stets eine angemessene menschliche Kontrolle über KI-Systeme sicherzustellen.

6. Risikominimierungsmaßnahmen

Schließlich müssen "die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind, einschließlich der Regelungen für die interne Unternehmensführung und Beschwerdemechanismen" dargelegt werden. Dieser Punkt verdeutlicht den präventiven Ansatz und fordert Betreiber auf, konkrete Handlungsstrategien für Risikofälle zu entwickeln.

Verhältnis zur Datenschutz-Folgenabschätzung

In vielen Fällen werden Hochrisiko-KI-Systeme personenbezogene Daten verarbeiten und damit auch den Anforderungen der DSGVO unterliegen. Art. 27 Abs. 4 AI Act adressiert dieses Spannungsfeld und regelt das Verhältnis zur Datenschutz-Folgenabschätzung (DSFA) gemäß Art. 35 DSGVO:

"Wird eine der in diesem Artikel festgelegten Pflichten bereits infolge einer [...] durchgeführten Datenschutz-Folgenabschätzung erfüllt, so ergänzt die Grundrechte-Folgenabschätzung gemäß Absatz 1 des vorliegenden Artikels diese Datenschutz-Folgenabschätzung".

Diese Regelung verdeutlicht, dass die Grundrechte-Folgenabschätzung nicht vollständig durch eine DSFA ersetzt werden kann, sondern als ergänzendes Instrument konzipiert ist. Während die DSFA primär datenschutzrechtliche Risiken adressiert, zielt die Grundrechte-Folgenabschätzung auf ein breiteres Spektrum grundrechtlicher Implikationen ab. Gleichwohl können Synergien genutzt werden, indem bereits vorhandene Informationen aus einer DSFA in die Grundrechte-Folgenabschätzung integriert werden.

Meldepflichten und behördliche Vorgaben

Nach Durchführung der Grundrechte-Folgenabschätzung trifft den Betreiber eine zusätzliche bürokratische Meldepflicht: Er muss der zuständigen Marktüberwachungsbehörde die Ergebnisse der Folgenabschätzung mitteilen und dabei ein standardisiertes Formular verwenden. In dem in Art. 46 Abs. 1 AI Act genannten Fall können Betreiber allerdings von dieser Meldepflicht befreit werden.

Um die praktische Umsetzung zu erleichtern, sieht Art. 27 Abs. 5 vor, dass das Büro für Künstliche Intelligenz "ein Muster für einen Fragebogen — auch mithilfe eines automatisierten Instruments — ausarbeitet, um die Betreiber in die Lage zu versetzen, ihren Pflichten gemäß diesem Artikel in vereinfachter Weise nachzukommen". Diese standardisierte Vorlage soll die Durchführung der Grundrechte-Folgenabschätzung effizienter gestalten und zugleich eine gewisse Einheitlichkeit in der Dokumentation sicherstellen.

Praktische Umsetzungsschritte und Beispiele

Die praktische Umsetzung der Grundrechte-Folgenabschätzung erfordert einen systematischen Ansatz, der sich in folgende Schritte untergliedern lässt:

1. Feststellung der Anwendbarkeit

Im ersten Schritt müssen Organisationen klären, ob sie überhaupt zur Durchführung einer Grundrechte-Folgenabschätzung verpflichtet sind. Dies erfordert eine doppelte Prüfung:

• Handelt es sich um ein Hochrisiko-KI-System im Sinne des Art. 6 Abs. 2 AI Act?
• Fällt der Betreiber in eine der drei verpflichteten Kategorien (öffentliche Einrichtung, private Einrichtung mit öffentlichen Diensten, Betreiber in spezifischen Hochrisikobereichen)?

Beispiel: Eine private Versicherungsgesellschaft plant den Einsatz eines KI-Systems zur automatisierten Bewertung von Versicherungsrisiken und Prämienkalkulation. Da es sich um ein Hochrisiko-KI-System nach Anhang III Nummer 5 Buchstabe c handelt und die Versicherung als Betreiber in den persönlichen Anwendungsbereich fällt, ist eine Grundrechte-Folgenabschätzung durchzuführen.

2. Informationssammlung und -analyse

In einem zweiten Schritt müssen alle relevanten Informationen zum Einsatz des KI-Systems gesammelt werden. Dies umfasst insbesondere die vom Anbieter bereitgestellten Informationen gemäß Art. 13 AI Act, aber auch interne Dokumente zur geplanten Verwendung des Systems.

Beispiel: Ein kommunales Krankenhaus möchte ein KI-System zur Unterstützung bei der Diagnose einsetzen. Es sammelt sämtliche technische Dokumentationen des Anbieters, analysiert die geplanten Einsatzszenarien auf den verschiedenen Stationen und identifiziert die betroffenen Patientengruppen.

3. Strukturierte Risikoanalyse

Der Kern der Grundrechte-Folgenabschätzung ist eine systematische Analyse potenzieller grundrechtlicher Risiken. Hierbei sollten alle in Art. 27 Abs. 1 genannten Elemente methodisch durchgearbeitet werden.

Beispiel: Eine öffentliche Arbeitsverwaltung, die ein KI-System zur Vorhersage von Vermittlungschancen Arbeitssuchender implementieren möchte, führt eine strukturierte Analyse durch. Sie identifiziert spezifische Risiken wie mögliche Diskriminierung bestimmter demografischer Gruppen oder die Verfestigung bestehender sozialer Ungleichheiten.

4. Entwicklung von Schutzmaßnahmen

Basierend auf der Risikoanalyse müssen konkrete Maßnahmen zur Risikominimierung entwickelt werden. Diese sollten sowohl präventive als auch reaktive Elemente umfassen.

Beispiel: Ein privates Unternehmen, das im Auftrag der öffentlichen Hand Sozialleistungen verwaltet und dafür ein KI-System zur Betrugserkennung einsetzt, entwickelt ein mehrstufiges Kontrollverfahren: automatisierte Entscheidungen werden grundsätzlich von Sachbearbeitern überprüft, ein Beschwerdemanagement-System wird implementiert, und regelmäßige Audits sollen systematische Verzerrungen identifizieren.

5. Dokumentation und Meldung

Die Ergebnisse der Grundrechte-Folgenabschätzung müssen umfassend dokumentiert und der zuständigen Marktüberwachungsbehörde gemeldet werden.

Beispiel: Eine Stadtverwaltung, die ein KI-System zur Optimierung der Verkehrssteuerung einsetzt, dokumentiert alle Aspekte der durchgeführten Folgenabschätzung in einem strukturierten Bericht und übermittelt diesen zusammen mit dem ausgefüllten Standardformular an die zuständige Behörde.

6. Kontinuierliche Überwachung und Aktualisierung

Die Grundrechte-Folgenabschätzung ist kein einmaliger Vorgang, sondern erfordert eine kontinuierliche Überwachung und gegebenenfalls Aktualisierung bei relevanten Änderungen.

Beispiel: Eine Bank, die ein KI-System zur Kreditwürdigkeitsprüfung einsetzt, implementiert ein regelmäßiges Monitoring-Verfahren. Als das System durch ein Update mit neuen Datenquellen angereichert wird, führt sie eine Aktualisierung der Grundrechte-Folgenabschätzung durch.

Unterstützungsmöglichkeiten durch unsere Kanzlei

Die Durchführung einer Grundrechte-Folgenabschätzung nach Art. 27 AI Act stellt Organisationen vor erhebliche rechtliche und praktische Herausforderungen. Unsere Kanzlei bietet umfassende Unterstützung bei allen Aspekten dieser komplexen Compliance-Anforderung:

Wir unterstützen Sie bei der Feststellung, ob für Ihre spezifischen KI-Anwendungen überhaupt eine Grundrechte-Folgenabschätzung erforderlich ist. Unsere Experten verfügen über tiefgreifende Kenntnisse der Klassifizierungskriterien für Hochrisiko-KI-Systeme und können die oft schwierige Abgrenzungsfrage klären, ob Ihre Organisation in den persönlichen Anwendungsbereich des Art. 27 fällt und wie diese durchzuführen ist.

Wir helfen Ihnen zudem, Synergien mit bereits durchgeführten Datenschutz-Folgenabschätzungen zu nutzen und redundante Prozesse zu vermeiden, ohne dabei die spezifischen Anforderungen des Art. 27 AI Act zu vernachlässigen. Nach Abschluss der Folgenabschätzung unterstützen wir Sie bei der rechtssicheren Dokumentation und Kommunikation mit den zuständigen Behörden. Wir bereiten die Meldung an die Marktüberwachungsbehörde vor und vertreten Ihre Interessen im Falle behördlicher Rückfragen oder Beanstandungen.

Kontaktieren Sie uns für ein unverbindliches Erstgespräch, in dem wir Ihre spezifische Situation analysieren und einen maßgeschneiderten Unterstützungsplan entwickeln.