Die Studierenden konzipierten die Anwendung über zwei Semester in mehreren Teams. Ein Team konzentrierte sich beispielsweise auf die Entwicklung eines „Webcrawlers“, der Foreninhalte effizient durchsucht und Leserkommentare selektiert – und das besonders schnell, ohne die Funktionalität des Forums zu beeinträchtigen. Besonders wichtig waren dabei die Benutzerfreundlichkeit und der Datenschutz: Der Webcrawler ist so gestaltet, dass auch Nutzer und Nutzerinnen ohne technisches Fachwissen ihn einfach bedienen können und sensible Daten sicher verarbeitet werden. Andere Teams entwickelten das Tool weiter, um die markierten Texte für eine KI-basierte Analyse vorzubereiten und schließlich nach „Hassrede“ oder „Nicht-Hassrede“ zu klassifizieren.

Die Studierenden arbeiteten in diesem Schritt an einer Webanwendung, um Hasskommentare so präzise wie möglich zu erkennen und richtig einzuordnen. Grundlage dafür bildete ein neuartiges KI-Modell, das mit einem eigens erstellten Datensatz von über 34.000 Beispielen trainiert wurde. Wollen Betreibende ein Online-Forum moderieren, geben sie dafür die URL der zu überprüfenden Webseite ein und erhalten eine Übersicht der klassifizierten Hasskommentare. Mitarbeitende können diese dann sichten, überprüfen, löschen oder melden. Mit der neuesten Version können Zuständige außerdem den Kommentarbereich nach bestimmten Regeln eingrenzen und ein übersichtliches Monitoring erhalten.

Der in der Anwendung verwendete KI-Klassifikator wurde im Rahmen des Forschungsprojekts HSDetector (gefördert Freistaat Bayern, Fördernummer DIK-2104-0033// DIK0278/01) in enger Zusammenarbeit mit der Ippen Digital GmbH & Co. KG und der Bival GmbH entwickelt und getestet. Dabei begleitete ein Projektteam der HM auch die Implementierung in bestehende Arbeitsprozesse. Der auf diesem Projekt aufsetzende „KI-HateSpeech Detector-Prototyp“ stellt eine für die Praxis benutzerfreundliche Oberfläche bereit, die eine effiziente Moderationsunterstützung der Online-Foren ermöglicht. Die Anwendung sowie der KI-Klassifikator werden ständig weiterentwickelt und sollen in Zukunft auch die Vorgaben des neuen Digital Service Act für Online-Anbieter berücksichtigen.