Künstliche Intelligenz verschärft Risiken für Kinder und Jugendliche im Netz

Jahresbericht von jugendschutz.net Künstliche Intelligenz verschärft Risiken für Kinder und Jugendliche im Netz

28.08.2024 Aktuelle Meldung

Deepfakes, Hetze, Missbrauch: Das Gefährdungspotenzial für Kinder und Jugendliche im Netz wächst durch KI, während die Altersprüfung und Meldesysteme der Anbieter unzureichend sind. Das zeigt der neue Jahresbericht von jugendschutz.net.

Lisa Paus bei der Pressekonferenz zur Vorstellung des neuen Jahresberichts von jugendschutz.net© Juliane Sonntag/BMFSFJ/photothek.de

Das Gefährdungspotenzial für Kinder und Jugendliche im Netz nimmt zu. Generative Künstliche Intelligenz (KI) macht die Unterscheidung von Realität und Fälschung immer schwieriger und verstärkt Risiken wie sexualisierte Gewalt, Mobbing und Extremismus.

Dies ist ein zentraler Befund des Jahresberichts von jugendschutz.net, dem gemeinsamen Kompetenzzentrum von Bund und Ländern für den Jugendschutz im Internet.

Bundesjugendministerin Lisa Paus: "Der Jahresbericht von jugendschutz.net zeigt, dass Kinder und Jugendliche im Netz immer mehr mit Hass, Hetze und Desinformation konfrontiert sind. Dazu kommt eine Debattenkultur, die nicht durchgehend sozialen Regeln folgt. Junge Menschen haben jedoch ein Recht auf sichere und unbeschwerte Teilhabe an der digitalen Welt! Davon sind wir noch weit entfernt. Hier sind besonders die Plattform-Anbieter in der Pflicht. Mit dem Digital Services Act haben wir uns in Europa ein starkes Werkzeug gegeben: Anbieter von Online-Plattformen sind verpflichtet den Zugang Minderjähriger zu ungeeigneten Inhalten zu verhindern und für ein hohes Maß an Privatsphäre und Sicherheit innerhalb ihres Dienstes zu sorgen. Diese Regeln müssen jetzt konsequent umgesetzt werden."

Stefan Glaser, Leiter von jugendschutz.net: "Online-Trends werden schnelllebiger und riskanter, Deepfakes sind inzwischen täuschend echt und einfach zu erstellen. Die Hemmschwellen für Übergriffe im digitalen Raum sinken. Wir sehen, dass der Krieg in Nahost für antisemitische oder muslimfeindliche Hasspropaganda instrumentalisiert wird. Auch Darstellungen sexualisierter Gewalt an Kindern werden ohne Skrupel verbreitet. Und wir nehmen vermehrt Beiträge in Social Media wahr, die junge Menschen zu gesundheitsgefährdendem Verhalten anstiften. Bei all dem kommen auch KI-generierte Inhalte zum Einsatz. Gleichzeitig muss leider konstatiert werden: Betreiber von Angeboten tun zu wenig, um Kinder und Jugendliche zu schützen. Sie reagieren unzureichend, wenn ihnen Verstöße gemeldet werden. Und sie überprüfen die Altersangaben von Nutzenden nicht angemessen. Gute Ansätze, wie möglichst sichere Voreinstellungen für bestimmte Altersgruppen, entfalten dadurch kaum Wirkung."

Katharina Binz, Jugendministerin Rheinland-Pfalz: "Sexualisierte Gewalt im Netz muss nachhaltig bekämpft werden. Dies betrifft sowohl die kontinuierlich hohe Zahl an Fällen von Missbrauchsdarstellungen als auch die perfiden Strategien von Tätern und Täterinnen im Netz. Um diesem Problem mit einem ganzheitlichen, interdisziplinären Ansatz zu begegnen, haben wir in Rheinland-Pfalz den 'Pakt gegen sexualisierte Gewalt' geschlossen. Unser Ziel ist es, durch ressortübergreifende Zusammenarbeit allen jungen Menschen in unserem Land ein Aufwachsen ohne Gewalt zu ermöglichen. Der Pakt setzt auf verschiedenen Ebenen an - sei es bei der Polizei, durch niedrigschwellige Präventionsangebote im ländlichen Raum oder die Einbeziehung von Betroffenen - und bündelt die Kompetenzen und Expertise. Gleichzeitig ist entscheidend, Kinder und Jugendliche, die bereits Gewalt erfahren haben, betroffenensensibel zu betreuen."

Dr. Marc Jan Eumann, Vorsitzender der Kommission für Jugendmedienschutz (KJM): "Eins ist klar: Altersprüfung ist der Schlüssel zum sicheren Surfen für Kinder und Jugendliche. Die Technologie ist vorhanden, nun sind die Plattformen gefordert, Verantwortung zu übernehmen. Die KJM hat bereits viele Systeme positiv bewertet, darunter auch Systeme, die bei der Schätzung des Alters mittels Echtzeit-Gesichtserfassung ansetzen; ganz ohne Ausweispapiere. Die Zeit zu Handeln ist nicht irgendwann, sondern jetzt."

Über 7500 Verstöße registriert

Im Jahr 2023 bearbeitete jugendschutz.net 7645 Verstoßfälle. Zwei Drittel davon sind sexualisierter Gewalt zuzuordnen. Bei 12 Prozent handelt es sich um Sex und Pornografie, bei 11 Prozent um politischen Extremismus. Fünf Prozent gingen auf selbstgefährdende Inhalte zurück und zwei Prozent auf Cybermobbing.

Insgesamt 3210 Verstöße meldete jugendschutz.net an Anbieter und Selbstkontrolleinrichtungen, mit dem Ziel einer schnellen Abhilfe. 105 Verstoßfälle wurden zur Einleitung eines Aufsichtsverfahrens an die Kommission für Jugendmedienschutz (KJM) übermittelt. Weitere 252 Fälle wurden der KJM zur Indizierung durch die Bundeszentrale für Kinder- und Jugendmedienschutz (BzKJ) vorgelegt. 3582 Fälle sendete jugendschutz.net an die Strafverfolgungsbehörden, weil kinder- und jugendpornografische Inhalte verbreitet wurden oder eine Gefahr für Leib und Leben bestand. Bis zum Jahresende konnten 6902 Fälle, also rund 90 Prozent der Verstöße, beseitigt werden.

Über jugendschutz.net

jugendschutz.net ist das gemeinsame Kompetenzzentrum von Bund und Ländern für den Schutz von Kindern und Jugendlichen im Internet. Die Stelle recherchiert Gefahren und Risiken in jugendaffinen Diensten. Sie wirkt darauf hin, dass Verstöße gegen Jugendschutzbestimmungen beseitigt und Angebote so gestaltet werden, dass Kinder und Jugendliche sie unbeschwert nutzen können.

Die Jugendministerien der Länder haben jugendschutz.net 1997 gegründet. Die Aufgaben wurden 2003 im Jugendmedienschutz-Staatsvertrag (JMStV) festgelegt. Die Stelle ist seither an die Kommission für Jugendmedienschutz (KJM) angebunden. Im Jahr 2021 hat der Bund jugendschutz.net als gemeinsamem Kompetenzzentrum im Jugendschutzgesetz (JuSchG) ebenfalls eine gesetzliche Aufgabe zugewiesen.

jugendschutz.net wird von den Obersten Landesjugendbehörden und den Landesmedienanstalten finanziert und vom Bundesjugendministerium und der Europäischen Union gefördert. jugendschutz.net nimmt über seine Online-Beschwerdestelle Hinweise auf Verstöße gegen den Jugendmedienschutz entgegen.