Seit Anfang 2022 geht die Landeszentrale bei der Internet-Aufsicht neue Wege: Mit Hilfe eines KI-Tools werden automatisiert Verdachtsfälle im Netz gesucht, die die Expertinnen und Experten der Gruppe Jugendschutz anschließend bewerten. Trotz „Kinderkrankheiten“ ist das ein wichtiger Schritt zu einer modernen und effektiven Aufsicht.

Text: Sabine Christmann und Simon Stacheter

Die Omnipräsenz von Sozialen Medien im Alltag vieler Menschen stellt für die Telemedienaufsicht der Bayerischen Landeszentrale für neue Medien (BLM) eine große Herausforderung dar. Denn es werden immer mehr Inhalte im Internet veröffentlicht. Und: Neue Social-Media-Plattformen erreichen in immer kürzerer Zeit Millionen von Accounts. Damit steigt auch die Verbreitung von Hass und Hetze.

Die BLM ist die zuständige Aufsichtsbehörde für alle Telemedienanbieterinnen und -anbieter, die ihren Sitz in Bayern haben. Dabei prüft sie unter anderem die Einhaltung des Jugendmedienschutz-Staatsvertrages (JMStV). Er umfasst nicht nur Regelungen zur Beachtung von Jugendschutzbestimmungen, sondern auch Vorgaben dazu, wie mit unzulässigen Inhalten wie Hass und Hetze umzugehen ist. Um dieser Aufgabe gerecht zu werden, setzt die BLM, wie andere Landesmedienanstalten auch, seit Beginn des Jahres 2022 das KI-System KIVI zur Recherche und Vorbewertung von potenziell unzulässigen Inhalten ein.

KIVI wurde von einem externen Dienstleister im Auftrag der Landesmedienanstalten programmiert. Die Namensgebung verdankt die Software den Begriffen „KI“ (Künstliche Intelligenz) und „vigilare“ (lateinisch „wachsam sein“). Zuvor hatten vor allem große Tech-Firmen die Inhalte auf ihren Plattformen selbst kontrolliert und reguliert. Kontrollstandard der Plattformen war und ist hier nicht das deutsche Medienrecht, sondern sind eigene Community-Guidelines: Entwickelt ohne demokratische Kontrolle und ohne die Möglichkeit der Überprüfung. KIVI ist der Versuch einer Antwort; eingesetzt von einer staatsfern organisierten Landeszentrale, ge- und überprüft von langjährigen, geschulten Mitarbeiterinnen und Mitarbeitern auf der Grundlage von staatsfern zusammengetragenen Trainingsdaten.

KI-Tool KIVI: Die Maschine leistet Vorarbeit, der Mensch kontrolliert

Um potenzielle Verstöße ausfindig machen zu können, simuliert KIVI das Nutzungsverhalten von Usern. Mittels Scraping greift die Software vor allem auf Inhalte aus Sozialen Medien zu. Dabei werden Inhalte auf einer Website erkannt und extrahiert. KIVI sucht zu dem Zweck nach bestimmten Begriffen und Stichworten und arbeitet mit den Trainingsdaten der Landesmedienanstalten.

KIVI kann Texte, Bild-Inhalte, Videos und Audio-Dateien erfassen und prüfen. Bei Text-Inhalten gleicht die Software etwa den Inhalt mit einer von den Landesmedienanstalten erstellten Liste ab. Erkennt es ein Wort oder Zeichen aus den zur Verfügung gestellten Trainingsdaten, meldet KIVI den Inhalt. Bestimmte Worte korrespondieren dabei mit verschiedenen Verstoß-Kategorien (z.B. „Holocaustlüge“ als Volksverhetzung). Um Videos verarbeiten zu können, zerlegt KIVI diese in Einzelbilder und analysiert sie.

Meldet KIVI einen potenziellen Verstoß, dann sind die Mitarbeiterinnen und Mitarbeiter des Jugend- und Nutzerschutzes der BLM gefragt. Sie überprüfen die potenziellen Verstöße. Die Analysedaten von KIVI leisten dabei eine wichtige Hilfe: KIVI zeigt die vermutete Verstoß-Kategorie und gibt an, zu wieviel Prozent sich die Software sicher ist, dass es sich um einen Verstoß handelt. Über einen sogenannten „Blurring-Effekt“ werden die Mitarbeitenden vor zu drastischen Inhalten geschützt. Mittels des Feedbacks der Expertinnen und Experten lernt KIVI für künftige Fälle dazu. An dieser Stelle beginnt das der KI originäre maschinelle Lernen.

Moderne und effektive Medienaufsicht dank Künstlicher Intelligenz

KIVI ist ein wichtiger Schritt auf dem Weg zu einer modernen und effektiven Aufsicht. Dank der Ausbildung und Expertise der Mitarbeiterinnen und Mitarbeiter, der Ausrichtung auf die deutsche Regulierungspraxis und der staatsfernen Organisation haben KIVI-Trainingsdaten eine hohe inhaltliche Qualität. Und nicht zuletzt sind sie Garant für die Meinungsfreiheit im Spannungsfeld von Hass und Hetze – ein absolutes Alleinstellungsmerkmal mit Blick auf die vergleichbare kommerzielle Content-Detektion über Plattformen.

Fest steht: KIVI kann einiges, und mit jedem Tag mehr. Es sind aber bisher noch Grenzen gesetzt: So sind Auskunfts- und Durchsetzungsansprüche nicht zufriedenstellend geregelt. Zudem würdigt der Referentenentwurf zur Umsetzung des Digital Services Act die staatsfern organisierte Aufsicht der Landesmedienanstalten im Medienbereich bisher nur unzureichend.

Dazu kommt: Scraping – das Durchsuchen der Inhalte – funktioniert nur, wenn die Plattformen es nicht technisch verhindern. Hier haben die Plattformen mit einer eigenen Content-Moderation einen klaren Vorteil. Verpflichtungen für Plattformen, den Zugang zu maschinellen Systemen von Aufsichtsbehörden nicht zu behindern, würden hier Abhilfe schaffen.

Last but not least kann KIVI heute (noch) nicht immer verlässlich den inhaltlichen Kontext beurteilen: Satire, Parodie, zulässige Meinungsäußerung – das alles verlangt auch weiterhin komplexe Abwägungsentscheidungen. KIVI kann also unterstützen und eine wichtige Recherchearbeit übernehmen. Die menschliche Letztentscheidung kann das Tool aber – tröstlicher Weise – nicht ersetzen.

Illustration: rosepistola.de / rawpixel