Teil 2: Regulatorische Anforderungen und Durchsetzungsmechanismen

Hochrisiko-KI-Systeme: Definition, Einstufung und Anforderungen

Nach welchen Kriterien werden KI-Systeme als Hochrisiko eingestuft?

Der EU AI Act etabliert ein detailliertes Regelwerk, das eine risikobasierte Klassifizierung von KI-Systemen vornimmt und je nach Risikokategorie unterschiedliche Anforderungen sowie Verbote festlegt. Die Verordnung sieht zudem umfassende Governance-Strukturen und Durchsetzungsmechanismen vor, um die Einhaltung der neuen Vorschriften zu gewährleisten.

Der folgende Teil unserer FAQ-Reihe beleuchtet eingehend die zentralen regulatorischen Anforderungen an Hochrisiko-KI-Systeme, die verbotenen KI-Praktiken, die geltenden Transparenzpflichten sowie die institutionellen Strukturen zur Durchsetzung der Verordnung.

Die Einstufung eines KI-Systems als Hochrisiko-System erfolgt nach Art. 6 KI-VO anhand zweier alternativer Kriterien:

Produktsicherheitsansatz: Ein KI-System gilt als Hochrisiko-System, wenn die folgenden zwei Bedingungen kumulativ erfüllt sind:
- Das KI-System soll als Sicherheitsbauteil eines unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder ist selbst ein solches Produkt, und
- Das Produkt bzw. das KI-System muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften unterzogen werden.
Eigenständige Hochrisiko-KI-Systeme: Zusätzlich gelten die in Anhang III aufgeführten KI-Systeme als hochriskant, unabhängig davon, ob sie in Verbindung mit den unter Punkt 1 genannten Produkten stehen.

Die Einstufung als Hochrisiko basiert auf einer Risikobewertung, die die Wahrscheinlichkeit eines Schadenseintritts und das potenzielle Schadensausmaß an individuellen oder öffentlichen Interessen berücksichtigt. Als Schäden können materielle oder immaterielle, physische, psychische, gesellschaftliche oder wirtschaftliche Beeinträchtigungen in Betracht kommen.

Gibt es Ausnahmen von der Hochrisiko-Einstufung?

Der AI Act sieht vor, dass ein in Anhang III genanntes KI-System unter bestimmten Umständen nicht als hochriskant gilt. Dies ist der Fall, wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst.

Eine Ausnahme liegt insbesondere vor, wenn eine der folgenden Bedingungen erfüllt ist:

Das KI-System ist dazu bestimmt, eine eng gefasste Verfahrensaufgabe durchzuführen;
Das KI-System ist dazu bestimmt, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern;
Das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, ohne die zuvor abgeschlossene menschliche Bewertung ohne angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder
Das KI-System ist dazu bestimmt, eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die in Anhang III aufgeführten Anwendungsfälle relevant ist.

Welche Anforderungen gelten für Anbieter von Hochrisiko-KI-Systemen?

Anbieter von Hochrisiko-KI-Systemen müssen vor der Markteinführung und über den gesamten Lebenszyklus eines KI-Systems hinweg die Einhaltung der Verordnung nachweisen. Dies umfasst die Ausstellung einer Konformitätserklärung.

Der Gesetzgeber setzt grundsätzlich voraus, dass sich Anbieter selbst kontrollieren, indem sie – je nach Art des Hochrisiko-KI-Systems – selbst eine Konformitätsbewertung vornehmen oder autorisierte Dritte damit beauftragen.

Zu den spezifischen Anforderungen an Hochrisiko-KI-Systeme, die erfüllt werden müssen, gehören unter anderem:

Ein angemessenes Risikomanagement-System
Strenge Anforderungen an Datenqualität und -governance
Umfangreiche technische Dokumentation
Geeignete Aufzeichnungspflichten zur Nachvollziehbarkeit der Systemfunktion
Transparenzvorschriften und Bereitstellung von Informationen für Nutzer
Wirksame menschliche Aufsicht über das KI-System
Ausreichende Robustheit, Genauigkeit und Cybersicherheit

Diese Anforderungen werden im Detail durch die entsprechenden Artikel der Verordnung spezifiziert und müssen von den Anbietern vollumfänglich erfüllt werden, um die Konformität des Systems nachzuweisen.

Verbotene KI-Praktiken

Welche KI-Praktiken sind gemäß AI Act verboten?

Der AI Act verbietet in Artikel 5 bestimmte KI-Praktiken, die als inakzeptables Risiko eingestuft werden. Folgende Praktiken im KI-Bereich sind untersagt:

Manipulative und täuschende Praktiken

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzt, um das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern. Dies gilt insbesondere, wenn dadurch die Fähigkeit einer Person, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird und in der Folge erheblicher Schaden entsteht oder mit hinreichender Wahrscheinlichkeit entstehen wird.

Ausnutzung von Vulnerabilitäten bestimmter Personengruppen

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzt. Dies gilt, wenn das System darauf abzielt oder bewirkt, das Verhalten dieser Person oder einer dieser Gruppe angehörenden Person in einer Weise wesentlich zu verändern, die erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.

Social Scoring

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Das Verbot gilt, wenn die soziale Bewertung zu einer Schlechterstellung oder Benachteiligung bestimmter Personen in sozialen Zusammenhängen führt, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden.

Biometrische Echtzeit-Identifizierung

Die Verwendung von Systemen zur automatisierten biometrischen Identifizierung von Menschen im öffentlichen Raum ist grundsätzlich verboten.

Diese Verbote stellen einen wichtigen Schutzschild für die Grundrechte der Bürgerinnen und Bürger dar und markieren eine klare Grenze dessen, was im Bereich der künstlichen Intelligenz in der Europäischen Union als ethisch und rechtlich vertretbar angesehen wird.

Ab wann gelten die Verbote für KI-Anwendungen?

Im Gegensatz zu vielen anderen Bestimmungen des AI Acts traten die Verbote für bestimmte KI-Anwendungen bereits frühzeitig in Kraft. Die in Artikel 5 definierten verbotenen Praktiken gelten seit dem 2. Februar 2025, also sechs Monate nach dem Inkrafttreten der Verordnung am 1. August 2024.

Diese frühzeitige Anwendbarkeit unterstreicht die besondere Bedeutung, die der europäische Gesetzgeber dem Schutz vor potenziell besonders schädlichen KI-Anwendungen beimisst. Unternehmen, die KI-Systeme entwickeln oder einsetzen, müssen daher bereits jetzt sicherstellen, dass ihre Anwendungen nicht unter die verbotenen Praktiken fallen oder entsprechend angepasst werden.

Gibt es Ausnahmen von den Verboten?

Der AI Act sieht für einige der Verbotstatbestände Ausnahmen vor, insbesondere für Zwecke der Strafverfolgung. Bei der biometrischen Echtzeit-Identifizierung und bestimmten anderen Anwendungen können unter strengen Voraussetzungen Ausnahmen gelten, wenn diese zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten eingesetzt werden.

Diese Ausnahmen sind jedoch an strenge Bedingungen geknüpft und erfordern eine penible Einzelfallprüfung. Sie sind so konzipiert, dass sie ein angemessenes Gleichgewicht zwischen dem Schutz der Grundrechte einerseits und legitimen Interessen der öffentlichen Sicherheit andererseits gewährleisten sollen.

Welche KI-Praktiken gelten gemäß AI Act als besonders riskant?

Zu allen Fragen rund um Hochrisiko-KI haben wir hier ausführliche Informationen zusammengetragen.

Transparenzpflichten für KI-Systeme

Welche Transparenzpflichten gelten für KI-Systeme mit direkter Interaktion?

Der AI Act legt besondere Transparenzpflichten für KI-Systeme fest, die direkt mit Menschen interagieren. Gemäß Artikel 50 KI-VO müssen Anbieter sicherstellen, dass KI-Systeme, die für die direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden Personen darüber informiert werden, dass sie mit einem KI-System interagieren.

Diese Informationspflicht entfällt nur dann, wenn dies aus Sicht einer angemessen informierten, aufmerksamen und verständigen natürlichen Person aufgrund der Umstände und des Kontexts der Nutzung offensichtlich ist.

Bei der Umsetzung dieser Transparenzpflichten müssen die besonderen Bedürfnisse schutzbedürftiger Gruppen berücksichtigt werden, insbesondere natürlicher Personen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, soweit das KI-System auch mit diesen Gruppen interagieren soll.

Welche Kennzeichnungspflichten gelten für generative KI-Systeme?

Für KI-Systeme, die synthetische Inhalte erzeugen, sieht der AI Act spezifische Kennzeichnungspflichten vor. Anbieter von KI-Systemen, einschließlich solcher mit allgemeinem Verwendungszweck, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen sicherstellen, dass die Ausgaben des Systems in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt oder manipuliert erkennbar sind.

Die Anbieter sind verpflichtet, dafür zu sorgen, dass ihre technischen Lösungen zur Kennzeichnung wirksam, interoperabel, belastbar und zuverlässig sind. Dabei müssen sie die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Umsetzungskosten und den allgemein anerkannten Stand der Technik berücksichtigen.

Von dieser Kennzeichnungspflicht ausgenommen sind KI-Systeme, die lediglich eine unterstützende Funktion für die Standardbearbeitung ausführen oder die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern. Ebenso gilt die Ausnahme für Systeme, die zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind.

Zu den praktischen Fragen rund um die Kennzeichnungspflichten im AI Act haben wir hier weitere ausführliche Informationen zusammengetragen.

Governance-Strukturen und Durchsetzungsmechanismen

Welche institutionellen Strukturen sieht der AI Act auf europäischer Ebene vor?

Der AI Act etabliert eine mehrschichtige Governance-Struktur auf europäischer Ebene, um die wirksame Umsetzung und Durchsetzung der Verordnung zu gewährleisten:

EU AI Office: Dies ist eine neu geschaffene Behörde innerhalb der Europäischen Kommission, die die Umsetzung des Gesetzes in allen EU-Mitgliedsstaaten koordiniert. Zudem obliegt dem AI Office die Aufsicht über GPAI (General Purpose AI) mit erheblichen Auswirkungen.
KI-Gremium (AI Board): An das AI Office angebunden ist ein Ausschuss, bestehend aus Interessenvertretern aus Wirtschaft und Zivilgesellschaft. Dieses Gremium gibt Feedback und stellt sicher, dass während des Umsetzungsprozesses ein breites Meinungsspektrum vertreten ist.
Wissenschaftliches Gremium: Als Beratungsforum aus unabhängigen Experten hat dieses Gremium die Aufgabe, systemische Risiken von KI zu erkennen, Leitlinien für die Modellklassifizierung bereitzustellen und zu gewährleisten, dass die Regeln und Umsetzung des Gesetzes den neuesten wissenschaftlichen Erkenntnissen entsprechen.

Diese institutionellen Strukturen sollen ein kohärentes und harmonisiertes Vorgehen in der gesamten Europäischen Union sicherstellen und gleichzeitig gewährleisten, dass die Regulierung von KI wissenschaftlich fundiert und praxistauglich erfolgt.

Welche Rolle spielen die nationalen Behörden bei der Durchsetzung des AI Acts?

Die EU-Mitgliedsstaaten sind verpflichtet, zuständige nationale Behörden einzurichten oder zu bestimmen, die für die Durchsetzung der Verordnung verantwortlich sind. Diese sogenannten Marktüberwachungsbehörden sollen sicherstellen, dass sämtliche KI-Systeme den geltenden Normen und Vorschriften entsprechen.

In Deutschland sollen sich nach dem aktuellen Diskussionsstand zur Durchführung des AI Acts die Bundesnetzagentur (für alle weiteren Branchen) und die BaFin (für den Finanzsektor) die Aufgabe der KI-Aufsicht teilen.

Zu den Aufgaben der nationalen Behörden gehören unter anderem:

Die Überwachung des Marktes für KI-Systeme
Die Prüfung der Konformität von KI-Systemen mit den Anforderungen der Verordnung
Die Durchsetzung der Verordnung durch geeignete Maßnahmen
Die Verhängung von Sanktionen bei Verstößen gegen die Verordnung

Diese dezentrale Durchsetzungsstruktur soll eine effektive und kontextspezifische Anwendung der Verordnung in den verschiedenen Mitgliedsstaaten ermöglichen und gleichzeitig durch die Koordination auf europäischer Ebene ein einheitliches Schutzniveau gewährleisten.

Welche Sanktionen drohen bei Verstößen gegen den AI Act?

Die im AI Act vorgesehenen Sanktionen richten sich nach der Schwere des Verstoßes und der Risikoeinstufung des betreffenden KI-Systems:

Verstöße gegen die Verbote (inakzeptables Risiko): Bei Verstößen gegen die in Artikel 5 festgelegten Verbote drohen Geldbußen von bis zu 35 Millionen EUR oder 7% des weltweit erzielten Jahresumsatzes (je nachdem, welcher Betrag höher ist),
Verstöße bei Hochrisiko-KI-Systemen: Für Verstöße gegen die spezifischen Anforderungen an Hochrisiko-KI-Systeme sind ebenfalls empfindliche Sanktionen vorgesehen.
Verstöße gegen sonstige Bestimmungen: Auch für Verstöße gegen andere Bestimmungen der Verordnung, wie etwa die Transparenzpflichten, können Sanktionen verhängt werden.

Der AI Act sieht moderatere Geldbußen für kleine und mittlere Unternehmen (KMU) sowie Start-ups vor, um die Verhältnismäßigkeit der Sanktionen zu wahren.

Der zeitliche Anwendungsrahmen im Detail

Welche Vorschriften des AI Acts gelten zu welchem Zeitpunkt?

Der AI Act ist am 1. August 2024 in Kraft getreten, sieht jedoch eine gestaffelte Anwendung seiner Bestimmungen vor:

Ab 2. Februar 2025 (6 Monate nach Inkrafttreten): Die Regeln für verbotene KI-Praktiken gemäß Artikel 5 sind bereits anwendbar. Dies betrifft insbesondere Systeme, die als inakzeptables Risiko eingestuft werden.
Ab 2. August 2025 (12 Monate nach Inkrafttreten): Es sollen verbindliche Regeln und Vorschriften für General Purpose AI (GPAI) gelten. Allerdings gibt es derzeit nur Entwürfe zum "General-Purpose AI Code of Practice", wobei der endgültige Code im Mai 2025 erwartet wird. Zudem werden zu diesem Zeitpunkt die Sanktionsvorschriften anwendbar.
Ab 2. August 2026 (24 Monate nach Inkrafttreten): Der AI Act wird fast vollständig anwendbar.
Ab 2. August 2027 (36 Monate nach Inkrafttreten): Die Vorgaben und Pflichten für Hochrisiko-KI-Systeme gemäß Anhang II werden vollumfänglich anwendbar. Dies betrifft die detaillierten Anforderungen an Risikomanagementsysteme, Datenverwaltung, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht und Robustheit.

Diese gestaffelte Anwendung gibt allen betroffenen Akteuren ausreichend Zeit, ihre Prozesse, Produkte und Dienstleistungen an die neuen regulatorischen Anforderungen anzupassen und die erforderlichen Compliance-Strukturen aufzubauen.