Kennzeichnungspflichten für KI-Inhalte

Kennzeichnungspflicht für KI-generierte Inhalte im AI Act

Zusammenfassung

• Regulatorischer Rahmen: Der EU AI Act etabliert ab 2026 Transparenzpflichten für KI-generierte Inhalte. Art. 50 unterscheidet zwischen audiovisuellen Inhalten (Deepfakes) und Texten, mit spezifischen Anforderungen für Anbieter und Betreiber von KI-Systemen.

• Kennzeichnungspflichten: Anbieter müssen KI-generierte Medien maschinenlesbar und menschlich erkennbar kennzeichnen. Für Texte gilt die Offenlegungspflicht bei öffentlich relevanten Themen ohne redaktionelle Kontrolle. Deepfakes unterliegen strengeren Transparenzregeln.

• Umsetzung und Sanktionen: Volle Wirksamkeit tritt im Mai 2026 ein. Verstöße können mit Geldbußen bis zu 15 Mio. EUR oder 3% des globalen Umsatzes geahndet werden. Herausforderungen bestehen bei der Entwicklung robuster Kennzeichnungstechnologien und der Identifikation von Deepfakes.

Kennzeichnungspflichten im AI Act

Der EU AI Act führt als weltweit erste umfassende Regulierung von künstlicher Intelligenz weitreichende Transparenzpflichten für KI-generierte Inhalte ein. Diese neuen Vorschriften stellen sowohl Anbieter als auch Betreiber von KI-Systemen vor erhebliche Herausforderungen bei der praktischen Umsetzung. Das vorliegende Gutachten analysiert die Anforderungen nach Art. 50 AI Act mit besonderem Fokus auf die Kennzeichnungspflicht für KI-generierte Bilder und Filme.

Rechtlicher Rahmen des EU AI Act

Der AI Act folgt einem risikobasierten Ansatz und kategorisiert KI-Systeme in vier Risikoklassen: unannehmbares Risiko (verbotene Anwendungen), hohes Risiko (strenge Anforderungen), begrenztes Risiko (Transparenzpflichten) und minimales Risiko (keine spezifischen Anforderungen). Die Einstufung orientiert sich dabei nicht an der Technologie selbst, sondern am potentiellen Manipulationsrisiko für Menschen durch spezifische Anwendungen.

KI-Systeme, die synthetische Inhalte wie Texte, Bilder, Audio oder Video erzeugen, fallen in die Kategorie des "begrenzten Risikos" und unterliegen den Transparenzpflichten nach Art. 50 AI Act. Diese Einordnung reflektiert die Bedenken des Gesetzgebers hinsichtlich des Manipulationspotentials dieser Technologien, insbesondere bei massenhafter Verbreitung gefälschter Inhalte über soziale Medien. Dies führt jedoch vor allem für Bilder und Videos zu erheblichen rechtlichen Anforderungen, die bei der Nutzung zu beachten sind.

Die Adressaten der Transparenzpflichten nach Art. 50 AI Act

Für die korrekte Bestimmung der jeweiligen Pflichten ist zunächst die begriffliche Differenzierung zwischen Anbietern und Betreibern von KI-Systemen entscheidend:

Anbieter von KI-Systemen

Als Anbieter gilt gemäß Art. 3 Nr. 3 KI-VO derjenige, der aktiv an der Entwicklung des KI-Systems beteiligt ist oder ein bereits bestehendes KI-System in ein eigenes Produkt integriert und dieses unter eigenem Namen oder eigener Marke vertreibt. Anbieter tragen die primäre Verantwortung für die Einhaltung der technischen Transparenzanforderungen, da sie die Systeme konzipieren und entwickeln.

Betreiber von KI-Systemen

Als Betreiber wird nach Art. 3 Nr. 4 KI-VO derjenige klassifiziert, der ein KI-System in eigener Verantwortung im Rahmen seiner beruflichen Tätigkeit verwendet – sinnvoller wäre hier die Bezeichnung als Nutzer gewesen. Die Betreiberpflichten sind im Vergleich zu den Anbieterpflichten weniger umfangreich, erfordern jedoch eigene Maßnahmen zur Transparenzsicherung bei der Nutzung bestimmter KI-Systeme.

Ausdrücklich ausgenommen von den Pflichten des AI Act sind private Nutzer von KI-Systemen, die diese zu nicht-beruflichen Zwecken einsetzen.

Transparenzpflichten für audiovisuelle Inhalte nach Art. 50 AI Act

Die Transparenzpflichten für KI-generierte audiovisuelle Inhalte werden in Art. 50 AI Act differenziert nach Anbieter- und Betreiberpflichten geregelt:

Pflichten der Anbieter von KI-Systemen zur Erzeugung synthetischer Inhalte

Anbieter von KI-Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen oder manipulieren, müssen sicherstellen, dass:

1. Die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet sind, und
2. Diese Ausgaben als künstlich erzeugt oder manipuliert erkennbar sind.

Diese doppelte Anforderung dient sowohl der Information menschlicher Betrachter als auch der maschinellen Verarbeitung und zielt darauf ab, die Transparenz in der gesamten digitalen Informationskette zu gewährleisten. Die maschinenlesbare Kennzeichnung soll insbesondere Intermediären und anderen Systemen die Identifikation KI-generierter Inhalte ermöglichen.

Die Verordnung erfordert, dass die technischen Lösungen zur Kennzeichnung "wirksam, interoperabel, belastbar und zuverlässig" sein müssen. Erwägungsgrund 133 nennt als mögliche Techniken zur Umsetzung dieser Anforderungen:

• Wasserzeichen
• Metadatenidentifizierungen
• Kryptografische Methoden zum Nachweis der Herkunft und Authentizität
• Protokollierungsmethoden
• Fingerabdrucktechnologien
• Oder eine Kombination solcher Techniken je nach Sachlage

Von besonderer praktischer Relevanz ist, dass die technischen Kennzeichnungslösungen dem "allgemein anerkannten Stand der Technik" entsprechen müssen, wie er sich in den einschlägigen technischen Normen widerspiegelt. Dies erfordert von Anbietern eine kontinuierliche Anpassung ihrer Kennzeichnungsmethoden an sich entwickelnde Standards.

Ausnahmen von der Kennzeichnungspflicht für Anbieter

Die Kennzeichnungspflicht gilt nicht für KI-Systeme, die:

1. Eine unterstützende Funktion für die Standardbearbeitung ausführen, oder
2. Die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern, oder
3. Zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen sind.

Diese Ausnahmen verdeutlichen den risikoorientierten Ansatz des AI Act: Werden Inhalte lediglich geringfügig bearbeitet oder verändert, besteht ein geringeres Täuschungspotential, weshalb eine Kennzeichnungspflicht hier als unverhältnismäßig angesehen wird.

Pflichten der Betreiber bei der Nutzung von KI-Systemen

Betreiber von KI-Systemen, die Bild-, Ton- oder Videoinhalte erzeugen oder manipulieren, unterliegen eigenen Transparenzpflichten, die in Art. 50 Abs. 4 KI-VO geregelt sind. Demnach müssen Betreiber offenlegen, dass Inhalte künstlich erzeugt oder manipuliert wurden, wenn diese als "Deepfakes" einzustufen sind oder Nachrichten von öffentlichem Interesse betreffen.

Die konkrete Form der Kennzeichnung durch den Betreiber wird vom Gesetzgeber nicht spezifiziert, was dem Betreiber einen gewissen Gestaltungsspielraum einräumt, aber auch zu Rechtsunsicherheit führt. Grundsätzlich könnte ein Betreiber seiner Kennzeichnungspflicht nachkommen, indem er die vom Anbieter bereitgestellte Kennzeichnung beibehält, allerdings wird dies nicht in jedem Fall eine attraktive Lösung darstellen.

Die Regulierung von Deepfakes

Eine zentrale Innovation des AI Act ist die erstmalige Legaldefinition des Begriffs "Deepfake". Nach Art. 3 Nr. 60 KI-VO handelt es sich dabei um "einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde".

Diese Definition ist bewusst weit gefasst und umfasst nicht nur die Darstellung realer Personen. Auch täuschend echt wirkende Bilder, Videos und Audio-Aufnahmen von fiktiven Menschen, Geschehnissen und Orten können als Deepfakes qualifiziert werden, sofern sie einer Person fälschlicherweise als echt erscheinen würden. Die Definition des Gesetzgebers geht damit weit über die allgemeine Nutzung des Begriffs heraus, der eher im Bereich vorsätzlicher Verfälschung von Bildern oder Videos gebraucht wird, etwa im Rahmen von sog. Face-Swaps, bei denen etwa Bilder Unbeteiligter in pornografische Werke eingebaut werden.

Vor allem die Ausweitung des Begriffes in der finalen Fassung des AI Act auf Objekte, Orte und Ereignisse stellt eine erhebliche Ausweitung der Regulatorik auf Bereiche dar, bei denen das Manipulationspotential von KI-generierten Inhalten über die bloße Darstellung von Personen hinausgeht. Ein illustratives Beispiel hierfür ist der Fall eines KI-generierten Bildes, das eine Explosion in der Nähe des Pentagon zeigte und zu kurzfristigen Bewegungen an der New Yorker Börse führte. Auf der anderen Seite ist diese Definition uferlos, da jede KI-Darstellung eines real Berges oder auch jedes Stadtbild bereits unter die Regulierung des Art. 50 KI-VO fällt – obwohl hierfür keinerlei regulatorische Notwendigkeit besteht.

Besondere Transparenzpflichten für Deepfakes

Für Deepfakes gelten nach Art. 50 Abs. 4 KI-VO besondere Transparenzpflichten. Betreiber eines KI-Systems, das Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die als Deepfake einzustufen sind, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.

Diese Offenlegungspflicht gilt unabhängig von der durch den Anbieter vorgenommenen technischen Kennzeichnung und richtet sich gezielt an die Betreiber, die diese Inhalte nutzen und verbreiten. Sie tritt ab August 2026 verbindlich in Kraft.

Ausnahmen von der Transparenzpflicht für Deepfakes

Die Transparenzpflicht für Deepfakes nach Art. 50 Abs. 4 Satz 1 KI-VO unterliegt zwei wesentlichen Ausnahmeregelungen:

1. Die Verpflichtung entfällt, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist.
2. Ist der Inhalt Teil eines "offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms", so beschränkt sich die Transparenzpflicht auf die Offenlegung des Vorhandenseins eines solchen künstlich erzeugten oder manipulierten Inhalts "in einer angemessenen Weise, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt".

Die zweite Ausnahme ist in der Praxis besonders relevant für kreative und künstlerische Verwendungen von KI-generierten Inhalten. Sie erkennt an, dass eine übermäßig aufdringliche Kennzeichnung den künstlerischen Wert oder die Rezeption des Werkes beeinträchtigen könnte und erlaubt daher eine flexiblere Form der Offenlegung. Für die rein gewerbliche Nutzung KI-generierter Inhalte, etwa in Werbekampagnen, sind diese Ausnahmen hingegen mutmaßlich nicht anwendbar.

Praktische Herausforderungen bei der Umsetzung der Kennzeichnungspflichten

Die Implementierung der Kennzeichnungspflichten nach Art. 50 AI Act stellt sowohl Anbieter als auch Betreiber vor verschiedene praktische Herausforderungen:

Technische Herausforderungen für Anbieter

Die Anforderung an Anbieter, dass die Kennzeichnungstechniken "wirksam, interoperabel, belastbar und zuverlässig" sein müssen, erfordert eine sorgfältige technische Implementierung. Die Entwicklung robuster Wasserzeichen oder Metadaten, die auch nach Bearbeitung oder Kompression der Medien noch nachweisbar sind, stellt eine erhebliche technische Herausforderung für die Anbieter, also die Hersteller der KI, dar.

Zudem müssen die implementierten Lösungen kontinuierlich an den "allgemein anerkannten Stand der Technik" angepasst werden, was eine fortlaufende Entwicklungsarbeit erfordert.

Massive Rechtsunsicherheiten bei der Identifikation und Kennzeichnung von Deepfakes

Eine zentrale Herausforderung für Betreiber besteht in der korrekten Identifikation von Deepfakes. Wie ein Betreiber das Risiko vermeiden kann, einen Deepfake oder eine Nachricht von öffentlichem Interesse nicht zu erkennen und folglich nicht zu kennzeichnen ist eine umfassende Herausforderung.

Die völlig übertrieben weite Definition des Deepfake-Begriffs im AI Act wird in der Praxis zu Abgrenzungsschwierigkeiten führen. Betreiber müssen im Einzelfall prüfen, ob ein KI-generierter Inhalt tatsächlich "einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde". Diese subjektive Komponente der Definition erschwert eine rechtssichere Anwendung und verursacht einen erheblichen Aufwand.

Praktische Umsetzung für verschiedene Arten von KI-generierten audiovisuellen Inhalten

Die praktische Umsetzung der Kennzeichnungspflichten unterscheidet sich je nach Art des KI-generierten Inhalts:

• Für Bilder könnten digitale Wasserzeichen oder spezielle Metadaten verwendet werden, die auch nach Bearbeitung bestehen bleiben.
• Bei Videoinhalten müssen die Kennzeichnungen so gestaltet sein, dass sie über die gesamte Dauer des Videos erhalten bleiben und nicht durch Schnitte oder Kompression verloren gehen.
• Für Audioinhalte sind akustische Wasserzeichen denkbar, die für das menschliche Ohr nicht wahrnehmbar sind, aber maschinell detektiert werden können.

Die Anforderung der Interoperabilität deutet darauf hin, dass langfristig branchenweite Standards für die Kennzeichnung entwickelt werden müssen, um eine einheitliche Erkennung zu ermöglichen.

Spezifische Transparenzanforderungen für textbasierte KI-Inhalte

Für KI-generierte Texte sieht der AI Act spezifische Transparenzpflichten vor, die sich von denen für audiovisuelle Inhalte teilweise unterscheiden. Gemäß Art. 50 Abs. 4 AI Act müssen Betreiber eines KI-Systems, das Text erzeugt oder manipuliert, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, offenlegen, dass der Text künstlich erzeugt oder manipuliert wurde.

Diese Offenlegungspflicht ist dabei zielgerichtet auf die informierende Funktion bestimmter Texte ausgerichtet - nicht jeder KI-generierte Text unterliegt automatisch der Kennzeichnungspflicht. Bemerkenswert ist, dass Texte von ChatGPT & Co, die nicht veröffentlicht werden oder nicht verwendet werden, um die Öffentlichkeit „über Angelegenheiten von öffentlichem Interesse zu informieren“, keiner Offenlegungspflicht unterliegen. Dies stellt einen wichtigen Unterschied zur Regulierung von Deepfakes dar, wo das Täuschungspotential als maßgebliches Kriterium herangezogen wird.

Für die Praxis besonders relevant sind die beiden gesetzlichen Ausnahmetatbestände:

• Erstens sind künstlich erzeugte Textinhalte von der Kennzeichnungspflicht befreit, wenn sie einer menschlichen Überprüfung oder redaktionellen Kontrolle unterliegen und eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung trägt. Diese Ausnahme erfasst beispielsweise traditionelle Medienunternehmen wie Zeitungsverlage, die KI-generierte Textbausteine verwenden, diese jedoch redaktionell überarbeiten und verantworten.
• Die zweite Ausnahme betrifft die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten, sofern diese gesetzlich zugelassen ist.

Unternehmen, die KI-Textsysteme in ihrer Kommunikation einsetzen, sollten daher frühzeitig Prozesse etablieren, die eine rechtskonforme Kennzeichnung dieser Inhalte sicherstellen oder einen entsprechenden Überprüfungsprozess etablieren.

Zeitplan für die Implementierung

Die Transparenzpflichten nach Art. 50 AI Act müssen bis Mai 2026 (24 Monate nach Inkrafttreten) umgesetzt werden.

Rechtliche Konsequenzen bei Verstößen

Der AI Act sieht bei Verstößen gegen die Bestimmungen Bußgelder vor. Die konkrete Höhe der Strafen ist je nach Schwere des Verstoßes gestaffelt. Unternehmen, die die Transparenzpflichten nicht einhalten, müssen daher mit finanziellen Sanktionen rechnen. Wie hoch diese aussehen könnten, ist derzeit noch offen.

Möglich ist ebenfalls, dass Verstöße gegen die Kennzeichnungspflichten KI-generierter Inhalte durch Wettbewerber mit Abmahnungen verfolgt werden können.

Verhältnis zu anderen Rechtsgebieten

Der AI Act ändert die bestehenden urheberrechtlichen Regelungen auf europäischer Ebene nicht. Dies bedeutet, dass KI-generierte Werke weiterhin keinen Urheberschutz genießen, da sie nicht von einem Menschen geschaffen werden und ihnen die "persönliche geistige Schöpfung" fehlt, die das Urheberrecht voraussetzt.

Darüber hinaus bestehen Überschneidungen mit anderen EU-Rechtsakten, insbesondere dem Digital Services Act (DSA). So enthält Art. 25 Abs. 1 k) DSA für Anbieter sehr großer Online-Plattformen wie Booking, Amazon oder Instagram bereits die Verpflichtung, generierte oder manipulierte Medieninhalte auffällig zu kennzeichnen, sofern eine Täuschung der Rezipienten über die Echtheit der generierten Inhalte oder Personen möglich ist.

Was können wir für Sie tun?

Die Kennzeichnungspflicht für audiovisuelle KI-generierte Inhalte nach Art. 50 AI Act stellt einen Schritt zur Förderung der Transparenz im digitalen Raum dar, ist jedoch auch von Überregulierung geprägt. Sie adressiert die wachsenden Herausforderungen durch immer realistischere KI-generierte Inhalte und das damit verbundene Manipulationspotential.

Für eine rechtskonforme Umsetzung der Kennzeichnungspflichten empfehlen sich folgende Maßnahmen:

Für Anbieter von KI-Systemen:

• Implementierung technisch robuster Kennzeichnungsmethoden (Wasserzeichen, Metadaten etc.)
• Sicherstellung der Interoperabilität und Widerstandsfähigkeit dieser Methoden auch nach Bearbeitung der Inhalte
• Kontinuierliche Anpassung an den Stand der Technik und aufkommende Standards
• Vorausschauende Implementierung der Verpflichtungen, auch wenn die vollständige Anwendung erst 2026 erfolgt

Für Betreiber von KI-Systemen:

• Entwicklung von Prozessen zur zuverlässigen Identifikation von Deepfakes
• Implementation eigener Kennzeichnungssysteme, die die Anforderungen des Art. 50 KI-VO erfüllen
• Beachtung der spezifischen Anforderungen für künstlerische oder kreative Verwendungen
• Vorsicht bei der Nutzung KI-generierten Texten in Kontexten von öffentlichem Interesse

Es ist zu erwarten, dass sich in den kommenden Jahren branchenweite Standards für die Kennzeichnung KI-generierter Inhalte entwickeln werden. Anbieter und Betreiber sollten diese Entwicklungen aufmerksam verfolgen und ihre Implementierungen entsprechend anpassen.

Die Transparenzpflichten des AI Act stellen zwar eine regulatorische Herausforderung dar. Eine vorausschauende Implementierung dieser Pflichten kann daher nicht nur rechtliche Risiken minimieren, sondern auch zu einem verantwortungsvollen Umgang mit KI-Technologien beitragen.

Dabei unterstützen wir Sie gerne.