Neuer Trendreport: Gefahr durch KI-Bilder für Demokratie? Was wir bedenken sollten

Die neue Ausgabe des Trendreports Machine Against the Rage der BAG »Gegen Hass im Netz« – ein Projekt von Das NETTZ –  zeigt, welche gesellschaftlichen, rechtlichen und technischen Aspekte in der Debatte über künstliche Intelligenz wichtig sind und untersucht, welche Rolle KI-Bilder aktuell in rechtsextremen Telegram-Kanälen spielen.

Seit ChatGPT am 30. November 2022 gelauncht wurde und in Rekordzeit von zwei Monaten die Schwelle von 100 Millionen App-Usern erreicht hatte, wird in Politik, Wissenschaft und Wirtschaft intensiv über das disruptive Potenzial von generativer künstlicher Intelligenz (KI) diskutiert. Welche Auswirkungen KI auf demokratische Prozesse hat, ist unklar. Horrorszenarien in der Debatte stehen neben immensen Investitionen in die Technologie. Die Forschenden der BAG »Gegen Hass im Netz« geben in der siebten Ausgabe des Trendreports einen Überblick über die Debatten der vergangenen zwei Jahre, erklären Gefahrenpotenziale und Regulierungsmöglichkeiten. Da das Missbrauchspotenzial bei neuen Technologien groß ist und antidemokratische Kräfte KI zur Verbreitung von Hass und Desinformation nutzen können, untersuchen sie mit einer Datenanalyse, ob und wie KI-Bilder in rechtsextremen Telegram-Kanälen im Wahlkampf-Zeitraum vor den Landtagswahlen in Sachsen, Thüringen und Brandenburg verbreitet wurden. Vom 15. Juli bis 31. August dieses Jahres wurden dafür fast 80.000 Bilder als Grundgesamtheit erhoben. 

KI-Bilder in rechtsalternativen Netzwerken

Konfliktforscher Maik Fielitz nennt folgende Ergebnisse: »Auf Grundlage unserer statistischen Berechnungen können wir nachweisen, dass nur drei bis fünf Prozent der in rechtsalternativen Telegram-Kanälen geteilten Bilder KI-generiert oder KI-gestützt sind. Die Verbreitung von KI-Bildern fällt in unserem spezifischen Analysefall also gering aus.« Extremistisches und strafrechtlich relevantes Material finde sich vergleichsweise selten, ein juristisches Vorgehen gegen die gefundenen KI-Bilder sei so aktuell nicht möglich, so Fielitz. Der Forscher weiter: »KI-generiertes Bildmaterial wurde innerhalb des rechtsalternativen Telegram-Netzwerkes weniger oft weitergeleitet als sonstiges Bildmaterial. Viralität scheint durch KI also noch nicht programmierbar, die Chancen auf Aufmerksamkeit steigen eher durch die Masse an Bildern.« 

Themen und Ansprache

Um nicht nur einen quantitativen, sondern auch einen qualitativen Einblick zu bekommen, was rechtsextreme Akteure auf Telegram teilen, wurden 158 KI-Bilder in einem zweiten Schritt genauer analysiert. Kommunikationswissenschaftlerin Lena-Maria Böswald, Advocacy-Managerin bei Das NETTZ, sagt zu den Ergebnissen: »Ein Drittel der Bilder behandelt allgemeine politische Themen, 13,9 Prozent haben das Thema Migration, wobei etwa der Begriff ›Remigration‹ und homogene Menschenmassen verwendet wurden. In der visuellen Ansprache wird häufig mit Empörung und vermeintlichen Tatsachen gearbeitet.« Als eines der überraschenden Ergebnisse nennt Böswald folgenden Aspekt: »14,6 Prozent der Bilder weisen einen US-Bezug auf – obwohl die Auswahl der Grundgesamtheit für die Analyse auf deutschsprachige Telegram-Kanäle angelegt war.« 

KI und Recht

Was können uns die Ergebnisse für die nötigen rechtlichen Maßnahmen sagen, um die Gefahr für demokratische Prozesse durch KI zu reduzieren? Böswald sagt als Advocacy Managerin bei Das NETTZ: »Das ist gar nicht so einfach. 17,2 Prozent der KI-Bilder unserer qualitativen Analyse stellen eine fotorealistische Situation dar und haben deshalb ein gewisses Missbrauchspotenzial. Für den Umgang mit manipulativen, nicht-gekennzeichneten KI-Inhalten hat Telegram intern jedoch keinerlei Richtlinien. Telegram gilt aktuell auch nicht als sehr große Online-Plattform im Sinne des Digital Services Act (DSA), hat deshalb wenig Pflichten und muss lediglich gegen rechtswidrige Inhalte vorgehen, wenn sie gemeldet werden.« Böswalds Forderung ist daher: »Die EU-Kommission muss prüfen, ob Telegram nach dem DSA als sehr große Online-Plattform eingestuft werden kann. Dann hat die Plattform eine klare Verantwortung dafür, das Risiko zu minimieren.«

Trendreport Nr. 7 jetzt lesen!

Über die Bundesarbeitsgemeinschaft (BAG) »Gegen Hass im Netz«

Die BAG ist ein Projekt von DAS NETTZ – VERNETZUNGSSTELLE GEGEN HATE SPEECH und wird im Rahmen des BUNDESPROGRAMMS »DEMOKRATIE LEBEN!« vom Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ) gefördert. Die Veröffentlichung stellt keine Meinungsäußerung des BMFSFJ oder des BAFzA dar. Für inhaltliche Aussagen tragen die Autor*innen die Verantwortung.

Kooperation für Trendreport Nr. 7: Der Fokus-Artikel ist in Zusammenarbeit mit dem Weizenbaum-Institut in Berlin (Förderung durch das BMBF, Nr. 16DII131) entstanden. Die KI-generierten Bild-Daten, die wir mit unserem Monitoring für diese Ausgabe erhoben haben, werden zusätzlich für das Projekt »AI for Bad« des Weizenbaum-Instituts verwendet.