Mit KI zu mehr Barrierefreiheit bei der Software-Entwicklung

NewIn: Chunyang Chen

Mit KI zu mehr Barrierefreiheit bei der Software-Entwicklung

In dieser neuen Folge von "NewIn" erfahren wir mehr über Chunyang Chen. Er forscht am TUM Campus in Heilbronn daran, die Software-Entwicklung durch Künstliche Intelligenz (KI), insbesondere mit Hilfe von Large Language Models, zu vereinfachen und zu automatisieren. Im Interview erzählt er, wie er Software für Menschen mit Sehstörung oder anderweitig beeinträchtigte Menschen zugänglicher machen will.

Externen Inhalt anzeigen

An dieser Stelle sind Inhalte eines externen Anbieters (Quelle: www.xyz.de) eingebunden. Beim Anzeigen können Daten an Dritte übertragen oder Cookies gespeichert werden, deshalb ist Ihre Zustimmung erforderlich.

Mehr Informationen und die Möglichkeit zum Widerruf finden Sie unter www.tum.de/datenschutz.

Wie wurde ihr Interesse für dieses Forschungsthema geweckt?

Als ich angefangen habe, zum Thema Apps zu forschen und eigene Apps zu entwickeln, bin ich auf Empfehlungen von Google und anderen Unternehmen gestoßen, wie Apps auch für Menschen mit Beeinträchtigungen zugänglich gemacht werden können. Ich muss zugeben, dass ich mir bis dahin zu diesem Thema keine Gedanken gemacht hatte. Anschließend habe ich selbst ausprobiert, ein Handy blind zu bedienen und stellte fest, dass das trotz technischer Hilfsmittel wahnsinnig schwierig ist.

Ein weiterer prägender Moment war, als ich vor einigen Jahren auf einer Konferenz war und einer der vortragenden Wissenschaftler online zugeschaltet wurde. Der Vortrag war von einem jungen Mann. Er lag im Bett und konnte nur seinen Kopf und einen Finger bewegen. Dieser Wissenschaftler forschte zur Barrierefreiheit von Webseiten und Apps. Da habe ich begriffen, wie wichtig diese Forschung ist, weil es so viele Menschen wie ihn gibt, die nur unter erschwerten Bedingungen Zugriff auf Online-Inhalte haben.

Was für technische Hilfsmittel gibt es denn, damit sich Menschen mit Beeinträchtigungen in der Online-Welt zurechtfinden?

In der Regel nutzen sie sogenannte Screen-Reader. Dabei werden die Inhalte von Webseiten von links nach rechts und von oben nach unten vorgelesen. Bei Texten funktioniert das recht gut. Bilder oder Buttons zum Anklicken sind hingegen eine größere Herausforderung. Hier müssen Beschreibungen hinterlegt sein, die von den Screen-Readern vorgelesen werden können. Oft gibt es diese aber nicht oder sie sind nicht gut genug, dass sich blinde und anderweitig beeinträchtige Menschen zurechtfinden.

Können Sie diese Teams mit Ihrer Forschung unterstützen?

Das hoffe ich. Wir haben Algorithmen entwickelt, die die Apps scannen bevor sie für die Nutzerinnen und Nutzer freigegeben werden. Diese zeigen an, an welchen Stellen nachgebessert werden muss. Gleichzeitig schlagen unsere Algorithmen direkt verschiedenen Lösungen vor. Diese Empfehlungen geben wir weiter an die Entwicklerinnen und Entwickler, damit sie ihre Software updaten können.

Technisch gesehen verwenden wir verschiedene Methoden wie die Verarbeitung natürlicher Sprache, Computer Vision, große Sprachmodelle, z. B. GPT-4, und passen sie an unsere Bedürfnisse an, indem wir geeignete "Prompt Engineering"-Methoden vorschlagen. Das bedeutet, dass wir kontextbezogenes Lernen und Feedback nutzen, um die Erzeugung von Metadaten voranzutreiben und die mobile App zugänglich zu machen. Einige Daten stammen aus Google-Empfehlungen oder Beispielen von anderen Unternehmen, die bereits einen barrierefreien Zugang zu ihren Inhalten geschaffen haben. So optimieren wir die Interaktion mit diesen Modellen für unsere Zwecke.

Was möchten Sie mit Ihrer Forschung erreichen?

Ich bin im Frühjahr an die TUM gewechselt, um meine Forschungskarriere weiter auszubauen und in der Praxis anzuwenden. In Deutschland erhoffe ich mir, dass ich ein Netzwerk mit verschiedenen Industriepartnern aufbauen kann und, dass mein Ansatz so in vielen Unternehmen umgesetzt wird.

• Nach dem Abschluss seines Studiums in China und seiner Doktorarbeit in Singapur verbrachte Prof. Chen sechs Jahre in Australien, wo er als Dozent arbeitete. Im Frühjahr dieses Jahres kam er schließlich an den TUM Campus in Heilbronn und forscht dort am Schnittpunkt von Software Engineering und Künstlicher Intelligenz.
• Am TUM Campus Heilbronn forschen und lehren Wissenschaftlerinnen und Wissenschaftler aus den Bereichen Informatik und Management zur digitalen Transformation und zu Familienunternehmen.
• Alle Folgen der Video-Serie "NewIn".

Aktuelles zum Thema