Pornografische Deepfakes als Form der digitalen Gewalt

Die Entwicklung von KI hat faszinierende Möglichkeiten und gefährliche Konsequenzen gebracht. Pornografische Deepfakes, die 98 Prozent aller kursierenden Deepfakes ausmachen, sind eine neue Form digitaler Gewalt, die meist Frauen betrifft. Diese nicht einvernehmlichen Inhalte haben schwerwiegende psychische und soziale Folgen. Was dahinter steckt und welche Maßnahmen notwendig sind, um dagegen vorzugehen, hat Soziologin Leonie Oehmig in ihrer Masterarbeit untersucht – ein Gastbeitrag. 

Die rasante Entwicklung künstlicher Intelligenz (KI) hat eine facettenreiche Landschaft von Möglichkeiten eröffnet, die die traditionellen Grenzen zwischen der Realität und der digitalen Welt verschwimmen lassen. Innerhalb dieses breiten Spektrums an innovativen Anwendungen rückt eine besonders kontrovers diskutierte Technologie in den Vordergrund: Deepfakes. Diese fortschrittliche Technologie, die auf den ersten Blick faszinierend und unterhaltsam erscheint, birgt bei näherer Betrachtung tiefgreifende Konsequenzen. Deepfakes nutzen KI-Algorithmen, um Gesichter und Stimmen in Videos zu manipulieren, wodurch Personen Handlungen zu vollführen oder Aussagen zu tätigen scheinen, die in Wirklichkeit nie stattgefunden haben.  Während der Fokus des öffentlichen und wissenschaftlichen Diskurses innerhalb dieses breiten Spektrums an Anwendungen insbesondere auf politischen Deepfakes und den damit verbundenen Fragestellungen liegt, gerät in den Hintergrund, dass Deepfakes gerade im Bereich der Pornografie enorme Popularität erreicht haben, wobei pornografische Deepfakes im Jahr 2023 98 Prozent aller kursierenden Deepfakes ausmachten (Home Security Heroes, 2023). Die Erschaffung von täuschend echten pornografischen Inhalten, die Personen in der Regel ohne deren Zustimmung darstellen, hat eine neue Dimension des Generierens pornografischer Inhalte eröffnet. 

Frauen werden zu Hauptzielen von Image Based Sexual Abuse

Die Funktionsweise dieser Art von Deepfakes basiert größtenteils auf sogenannten Face-Swap-KIs. Dabei werden in der Regel pornografische Videos verwendet, bei denen die Gesichter der Darsteller*innen durch die Gesichter anderer Personen ersetzt werden. Eine Studie von 2023 zeigt, dass 99 Prozent der Deepfakes, die auf pornografischen Seiten gefunden wurden, weiblich gelesene Personen darstellen (Home Security Heroes, 2023). „Es ist zu vermuten, dass die Zuordnung anhand von weiblich gelesenen Körpern vorgenommen wurde“ (Bauer & Hartmann, 2021, S. 84). Dem sei hinzugefügt, dass durchaus auch männlich gelesene Personen von pornografischen Deepfakes betroffen sein können, die Prävalenz der weiblichen Betroffenen aber augenscheinlich viel höher ist. 

Pornografische Deepfakes müssen ganz klar als Form von image-based sexual abuse (IBSA), z.Dt. bildbasierte sexualisierte Gewalt, auf einem Kontinuum mit anderen Gewaltformen verortet werden. Pornografische Deepfakes dürfen keineswegs getrennt von anderen Gewaltformen betrachet werden. Bei IBSA geht es um eine geschlechtsspezifische Form von sexuellem Missbrauch, da die vorherrschende Richtung der Gewalt von Männern zu Frauen verläuft (Hall, Hearn, & Lewis, 2023, S. 328). Pornografische Deepfakes als Form der geschlechtsspezifischen Gewalt zu benennen ist wichtig, um Betroffenen die Möglichkeit zu geben, ihre Erfahrungen einzuordnen, aber auch um sie rechtlich zu bewerten.

Doxxing, Stalking, Diskreditierung – Frauen sollen geschädigt werden

Häufig geht mit der Veröffentlichung von pornografischen Deepfakes auch „Doxxing“ einher, also die Veröffentlichung intimer Informationen wie des Wohnorts oder der Mailadresse. Dadurch sind Betroffene nicht nur online, sondern auch offline einer deutlichen Bedrohung ausgesetzt, indem sie herabwürdigende Nachrichten erhalten oder von Stalking betroffen sein können. Betroffene berichten davon, sich kaum mehr auf die Straße zu trauen, aus Sorge darum, erkannt zu werden. Die Konsequenzen von IBSA sind also schwerwiegend und reichen von Schlafstörungen und Panikattacken bis hin zu Suizid. Eine der häufigsten Folgen ist der Rückzug aus dem digitalen Raum. Wenn als Reaktion auf pornografische Deepfakes Bilder aus dem Netz genommen werden, gar nicht erst veröffentlicht werden oder soziale Medien gar ganz vermieden werden, so birgt dies  die Gefahr, dass ganze Personengruppen, aus dem digitalen Raum verdrängt werden – einem Raum der heutzutage maßgeblich ist für (politische) Partizipation sowie Informationsgewinnung. 

Pornografische Deepfakes werden oft auch gegen Frauen verwendet, „die politische Ämter bekleiden oder zum Wahlkampf antreten“ (Scheule, 2023). Das klare Ziel dieser Form von Desinformation ist die Schädigung von Frauen in Machtpositionen und deren Diskreditierung bis hin zu ihrem Rückzug aus den Ämtern (Venema, kein Jahr).

Die Auswirkungen sind jedoch nicht nur online spürbar, sondern können auch in der offline Welt verheerend sein, indem die Betroffenen ihre beruflichen Positionen aufgeben (müssen). Besonders wenn Frauen in Machtpositionen betroffen sind, berührt dies weitreichende gesellschaftliche Dimensionen. 

Deepfakes bedrohen Existenzen und erleichtern Erpressung

Zudem gehen mit dem Aufgeben der Jobs, ganz egal in welcher Branche, monetäre Einbußen einher. Auch durch den Einsatz von Deepfakes als Erpressungsmittel können Betroffene in prekäre Lagen gebracht werden. „Sextortion“ bezeichnet das Erpressen einer Person mittels intimer Bild- oder Videoaufnahmen mit dem Ziel, finanzielle Gewinne zu erzielen (Hong et al., 2020, S. 192). Ursprünglich beinhaltet die Definition von Sextortion ein bestimmtes Vorgehen, bei dem eine Personen dazu gebracht wird, explizite Bilder von sich selbst an die Täter*innen zu senden, und anschließend mit der Veröffentlichung dieser Bilder erpresst wird. Durch Deepfakes kann dieser Vorgang übersprungen werden – an seine Stelle rückt die wenig aufwendige Deepfake-Generierung mittels bereits bestehender und im Internet zugänglicher Bilder der Betroffenen. 

Der patriarchale Teufelskreis: Zugrundeliegende Strukturen

Geschlechtsspezifische sexualisierte Gewalt ist oft auch Ausdruck von Machtstrukturen – die Gewalt dient als Instrument der Machtausübung. „Recherchen zeigen, dass viele Männer mithilfe von Deepfakes ihre pornografischen Fantasien befriedigen wollen. Einigen geht es darum, Frauen und Mädchen aus ihrem privaten Umfeld zu demütigen und erniedrigen“ (Westarp, 2022). Hinzu kommt eine Art der Anspruchshaltung von Männern gegenüber Frauen sowie die angenommene Verfügbarkeit von Frauenkörpern. Hierbei gilt es zu beachten, dass „Unterdrückungsverhältnisse, die mit race, Klasse und Sexualität in Verbindung stehen“ (Bargetz et al., 2017, S. 12), nicht ausgeblendet werden dürfen. 

Anhand pornografischer Deepfakes lässt sich eine Art Teufelskreis erkennen. Patriarchale Strukturen bilden die Basis für die Erstellung und Verbreitung der missbräuchlichen Bilder und Videos. Gleichzeitig verfestigen pornografische Deepfakes diese Strukturen und Hierarchien weiter. Objektivierung und Sexualisierung spielen eine Schlüsselrolle bei der Betrachtung selbiger. Die Betrachtung der Frau und ihres Körpers als Objekt bildet die Basis für dehumanisierende Verhaltensweisen ihr gegenüber und somit für (sexualisierte) Gewalt gegen sie. Die Anonymität, die im Netz herrscht, begünstigt dieses Verhalten der Täter*innen.

Die oberste Maxime für die Bekämpfung pornografischer Deepfakes wäre natürlich, patriarchale Strukturen zu durchbrechen, Objektivierung zu mindern usw., aber für die akute und konkrete Bekämpfung von Deepfakes ist es auch nötig, sich mit der Symptombekämpfung auseinanderzusetzen. 

Bekämpfung von pornografischen Deepfakes als Herausforderung von Politik, Plattformen und Zivilgesellschaft

Formale Regularien und Gesetze sowie verbesserte Durchsetzungsmöglichkeiten selbiger sind eine naheliegende Möglichkeit, diese Form der Gewalt einzudämmen bzw. zu verfolgen. Trotz des EU AI Acts fehlt es aber an angemessenen, lückenlosen Antworten. FemAI, das Center for Feminist Artificial Intelligence definiert insbesondere die Förderung von KI-Kompetenzen und die Integration von Deepfake-Erkennungstools bei der Plattformmoderation als mögliche Lösungsansätze, um Demokratien und marginalisierte Gruppen vor Deepfakes zu schützen (Wudel, Williams, & Padhy, 2024, S. 3)

Neben den technischen Möglichkeiten der Eindämmung und Verfolgung von Deepfakes, besteht der einzige Weg, durch den nicht nur pornografische Deepfakes, sondern jede Form der geschlechtsspezifischen Gewalt im Kern erstickt werden könnte, in Sensibilisierung und Aufklärung. Und genau hier liegt auch die Verantwortung der Zivilbevölkerung. Es gilt, zunächst alle Bevölkerungsgruppen dafür zu sensibilisieren, dass es Deepfake-Videos gibt und dass die gezeigten Personen in den meisten Fällen keinesfalls zugestimmt haben, in den gefälschten Videos gezeigt zu werden. Wissenslücken zum Thema müssen gefüllt werden, um konsequentes Handeln zu ermöglichen. 

Die Konsequenzen des Hasses, der durch pornografische Deepfakes kanalisiert wird, sind besorgniserregend und müssen durch eine Zusammenarbeit zwischen Politik, Plattformen und Zivilgesellschaft auf globaler Ebene adressiert werden. Dabei sollten alle Betroffenen mitgedacht werden, egal ob Abbildungen ihres Körpers oder ihres Gesichts missbräuchlich verwendet werden oder welche demographischen Merkmale sie mitbringen. Ein oft vergessener Aspekt bei der Betrachtung pornografischer Deepfakes ist, dass nicht nur die Menschen deren Gesichter missbräuchlich genutzt werden Betroffene sind, sondern auch die Pornodarsteller*innen, deren Körper mit der KI manipuliert werden. Sexarbeiter*innen, die ebenso wenig ihre Zustimmung zu der missbräuchlichen Nutzung ihrer Bilder und Videos geben, werden im öffentlichen Diskurs häufig kaum als Betroffene pornografischer Deepfakes gesehen. Auch das muss sich ändern.

Weiterlesen

Studie zu Hass im Netz

Fast jede zweite junge Frau erhielt bereits ungefragt ein Nacktfoto, das zeigt unsere repräsentative Studie zu Hass im Netz, die als Teil der Arbeit des Kompetenznetzwerks gegen Hass im Netz veröffentlicht wurde.

Studie zu geschlechtsspezifischer Gewalt im Netz

Du willst mehr über geschlechtsspezifische Gewalt im Netz erfahren? Schau dir die Studie „Tracing Online Misogyny“ der Bundesarbeitsgemeinschaft »Gegen Hass im Netz« an – in deutscher oder englischer Ausführung.

Hilfe bei digitaler Gewalt

Unterstützung bei digitaler Gewalt bietet das Team von HateAid, etwa in Form von Beratungen, und bietet Informationen zum Thema Deepfakes. HateAid ist Teil unseres Kompetenznetzwerks gegen Hass im Netz. 

Literaturverzeichnis

Bargetz, B., Lepperhoff, J., Ludwig, G., Scheele, A., & Wilde, G. (2017). Geschlechterverhältnisse als Machtverhältnisse. Femina Politika, Vol. 26, Nr. 1, S. 11-24.

Bauer, J.-K., & Hartmann, A. (2021). Formen digitaler geschlechtsspezifischer Gewalt. In N. Prasad, Geschlechtsspezifische Gewalt in Zeiten der Digitalisierung. Formen und Interventionsstrategien (S. 63-99). Bielefeld: transcript.

Hall, M., Hearn, J., & Lewis, R. (2023). Image-Based Sexual Abuse: Online Gender-Sexual Violations. Encyclopedia, Vol. 3, S. 327-339.

Home Security Heroes. (2023). 2023 State of Deepfakes. Von https://www.homesecurityheroes.com/state-of-deepfakes/#key-findings abgerufen

Hong, S., Lu, N., Wu, D., Jimenez, D. E., & Milanaik, R. L. (Februar 2020). Digital sextortion: Internet predators and pediatric interventions . Current Opinion in Pediatrics, Vol. 32, Nr. 1, S. 192-197.

Venema, A. E. (kein Jahr). Deepfakes as a Security Issue: Why Gender Matters. Von Women in International Security: https://wiisglobal.org/deepfakes-as-a-security-issue-why-gender-matters/ [16.01.2024, 15.39 Uhr] abgerufen

Westarp, R. (29. November 2022). Es kann jede treffen. Von Tagesschau: https://www.tagesschau.de/investigativ/deepfakes-103.html [15.01.2024, 19.27 Uhr] abgerufen

Wudel, A., Williams, M., & Padhy, P. (2024). Deepfake detection tools: an analysis for the Super Election Year 2024. FemAI - Center for Feminist Artificial Intelligence.