SMILE: Automatische Gebärdenspracherkennung für Gebärdensprachtests

Projekt

Ausgangslage und Ziele

Projektzusammenfassung in Deutschschweizer Gebärdensprache (DSGS)

Ziel des Projektes SMILE (Scalable Multimodal Sign Language Technology for Sign Language Learning and Assessment) ist es, ein Gebärdensprachtestsystem zu entwickeln, das automatische Gebärdenspracherkennung verwendet.

Projektleitung

Sarah Ebling Dr.

Fakten

  • Dauer
    03.2016
    02.2020
  • Projektnummer
    4_32

Projektteam

Kooperationen

Finanzielle Unterstützung

Methodisches Vorgehen

Das Projekt verfolgt einen multidisziplinären Ansatz: Die Forschungsstränge Gebärdensprachtechnologie und Gebärdensprachtesten werden mit der Gebärdensprachlinguistik verbunden.

Das Projektkonsortium besteht aus drei Institutionen, deren Kompetenzen sich optimal ergänzen:

  1. Das Idiap Research Institute mit Sitz in Martigny (CH) wird das Projekt koordinieren. Das Institut wird ferner einen neuartigen automatischen Gebärdensprachtest- und -feedbackansatz entwickeln, inspiriert von einem Spracherkennungsansatz, der für das SNF-Projekt «FlexASR» entwickelt wurde.
  2. Die Interkantonale Hochschule für Heilpädagogik (HfH) mit Sitz in Zürich (CH) bringt ihre Expertise im Bereich Gebärdensprachtesten und Gebärdensprachlinguistik (in Zusammenarbeit mit dem Forschungszentrum für Gebärdensprache Basel) ins Projekt ein. Die HfH wird im Projekt auch als Schnittstelle zu L2-/Fremdsprachlernern und zur Gehörlosengemeinschaft in der Deutschschweiz fungieren.
  3. Die University of Surrey (GB) besitzt langjährige Expertise im Bereich Gebärdensprachtechnologie, visuelle Datenakquisition und Computer Vision. Als Partner im abgeschlossenen EU-Projekt «DictaSign» verfügt die University of Surrey weiterhin über ein breites Wissen bezüglich der aktuellen Forschung zur Gebärdensprachtechnologie.

Ergebnisse

Das SMILE-Projekt folgt dem Ansatz des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER): Es entwickelt ein Testsystem, das die Produktion von DSGS-Vokabular auf der Stufe A1 misst, unter erstmaligem Einbezug von neuen Technologien für Gebärdensprache. Im Ergebnis soll eine Plattform für DSGS-spezifische Lehr- und Lernsysteme entstehen, die auch als Modell für andere Gebärdensprachen dienen kann. Die Finanzierung des SMILE-Projektes umfasst Stellen für drei Doktoranden, zwei Postdoktoranden, drei wissenschaftliche Mitarbeitende und einige gehörlose Experten.

Publikationen

  • Haug, T. & Ebling, S. (2019). Using Open-Source Software for Sign Language Learning and Assessment The Case of a Web-delivered Yes/No Vocabulary Test for Swiss German Sign Language. International Journal of Emerging Technologies in Learning (iJET), 14(19), 188-196.
  • Ebling, S., Camgöz, N.C., Bowden, R. (im Erscheinen). Use of new technologies in L2 sign language assessment. In: T. Haug, W. Mann & U. Knoch (Hrsg.), Handbook of Language Assessment across Modalities. Oxford: OUP.
  • Tissi, K., Sidler-Miserez, S., Ebling, S., Boyes Braem, P. (2018). What’s wrong? Rethinking the concept of citation forms. In International Conference on Sign Language Acquisition (ICSLA) 2018, Istanbul (Präsentation mit Peer-Review-Auswahlverfahren)
  • Haug, T., Ebling, S., Boyes Braem, P., Tissi, K., Sidler-Miserez, S. (2018). Automatic sign language recognition for sign language assessment. In European Association for Language Testing and Assessment (EALTA) Conference on Technology-Based Language Assessment, Bochum (Präsentation mit Peer-Review-Auswahlverfahren)
  • Ebling, S., Camgöz, N.C., Boyes Braem, P., Tissi, K., Sidler-Miserez, S., Stoll, S., Hadfield, S., Haug, T., Bowden, R., Tornay, S., Razavi, M., Magimai-Doss, M. (2018). SMILE Swiss German Sign Language Dataset. In Proceedings of the 11th Language Resources and Evaluation Conference (LREC 2018), Miyazaki (Japan), S. 4221-4229.
  • Ebling, S. (2016). Automatische Erkennung der DSGS. Visuell Plus, 28, 13.

Publikationen