KI-Anwendungen zum missbräuchlichen Erstellen von sexualisierten Deepfakes sollen in der EU künftig verboten sein. Vertreter der Mitgliedstaaten und des Europäischen Parlaments einigten sich auf eine entsprechende Anpassung des KI-Gesetzes, wie die zyprische EU-Ratspräsidentschaft mitteilte. Zugleich sollen andere KI-Regeln vereinfacht werden, um das wirtschaftliche Potenzial von künstlicher Intelligenz in Europa auszuschöpfen.

Bevor die Änderungen in Kraft treten können, muss die Einigung noch vom Plenum des EU-Parlaments und dem Rat der Regierungen der Mitgliedstaaten bestätigt werden. In der Regel gilt das als Formalie. Geht die Reform durch, würde das Verbot ab 2. Dezember 2026 federführend vom KI-Amt der EU durchgesetzt werden, das vor zwei Jahren geschaffen wurde.

Bei dem Verbot geht es um sogenannte Auszieh-Apps, bei denen mithilfe künstlicher Intelligenz Bilder und Videos so verändert oder erstellt werden, dass die Opfer auf pornografische oder sexualisierte Weise dargestellt werden. (Lesen Sie hier mehr über die Apps, die oft als sogenannte Auszieh-Apps bezeichnet werden.)

Das neue Verbot soll explizit auch auf das Erstellen von Inhalten abzielen, die sexuellen Kindesmissbrauch darstellen. Die FDP-Europaabgeordnete Svenja Hahn begrüßte die Einigung: »KI darf kein Werkzeug für sexualisierte Gewalt gegen Kinder sein«, teilte sie mit.

Grok-Skandale und deutsche Debatte über digitale Gewalt

Auf EU-Ebene rückte das Thema Ende vergangenen Jahres durch den KI-Chatbot Grok in den Fokus: Nutzer befahlen der KI immer wieder, Frauen in von ihnen ausgewählten Bildern zu entkleiden, bis die von Techmilliardär Elon Musk geführte US-Firma xAI diese Funktion einschränkte. An Silvester entschuldigte sich der Chatbot selbst dafür, ein Bild von zwei Mädchen im Teenageralter »in sexualisierten Outfits« erstellt zu haben.

In Deutschland bekam die grundsätzliche Debatte über sexualisierte digitale Gewalt Ende März neue Dringlichkeit, als Collien Fernandes im SPIEGEL Vorwürfe gegen ihren Ex-Mann Christian Ulmen erhob. Fernandes wirft ihm vor, sie »virtuell vergewaltigt« zu haben . In sozialen Medien soll er täuschend echt aussehende Fakeprofile von ihr erstellt haben. Über die Accounts soll er sich als Fernandes ausgegeben und mit Männern Chats und Gespräche mit sexuellen Inhalten geführt haben; er soll erotische Bilder und Videos verschickt haben, die den Eindruck erweckten, als handele es sich um Aufnahmen von Fernandes.

Ulmen weist die Vorwürfe zurück. Die Anwälte, die Ulmen seit der SPIEGEL-Veröffentlichung vertreten, gaben an, dass ihr Mandant zu keinem Zeitpunkt Deepfake-Videos von Fernandes oder anderen Personen hergestellt oder verbreitet habe. Für Ulmen gilt die Unschuldsvermutung.

Seit Bekanntwerden der Vorwürfe gibt es bundesweit eine große Diskussion über digitale und sexualisierte Gewalt gegen Frauen – und breite Medienberichterstattung darüber. Tausende Menschen zogen für Demonstrationen auf die Straße  und forderten mehr Schutz für Opfer. Im Zusammenhang mit dieser Debatte ging es auch immer wieder um sexualisierte Deepfakes und Deepfake-Pornografie. Material dieser Art kursiert schon seit Jahren im Netz.

Deutschland hat EU-Richtlinie noch nicht umgesetzt

Bestehende EU-Regularien sehen bereits vor, dass in allen Mitgliedstaaten das Anfertigen und Verbreiten von manipulierten Darstellungen sexueller Handlungen ohne Zustimmung der Betroffenen unter Strafe gestellt werden soll.

Die entsprechende EU-Richtlinie ist zwar seit Mai 2024 in Kraft, von Deutschland allerdings bisher nicht in nationales Recht übertragen worden. Dafür hat die Bundesrepublik noch bis zum Sommer kommenden Jahres Zeit. Zuletzt kündigte Justizministerin Stefanie Hubig (SPD) entsprechende Verschärfungen im Strafrecht und mehr Rechte für Geschädigte  an.

Das neue Verbot in der KI-Verordnung auf EU-Ebene, das sich nun abzeichnet, würde die Perspektive von der Bestrafung der Tat hin zum Verbot des Werkzeugs wechseln, also der KI-Anwendung an sich. Verhandlungsteilnehmer betonen, dass das Verbot nicht dazu führen soll, die Erstellung oder Manipulation von Bildern übermäßig stark einzuschränken.

Dafür soll in dem neuen Gesetz genau definiert sein, was sexualisierte Inhalte sind und was nicht. Nicht einvernehmliche Bikinibilder, wie sie von Grok erstellt und auf der Plattform X verbreitet wurden, könnten demnach erlaubt bleiben.

Fakeprofile, mutmaßliche Gewalt, Ermittlungen in zwei Ländern: Die Vorwürfe von Collien Fernandes gegen Christian Ulmen sind vielschichtig. Lesen Sie hier , was Fernandes ihrem Ex-Mann vorwirft. Und lesen Sie hier  Antworten auf die wichtigsten Fragen zum Fall.