Metodyka i technologia polimodalnej alofonicznej transkrypcji mowy - Projekt - MOST Wiedzy

Wyszukiwarka

Metodyka i technologia polimodalnej alofonicznej transkrypcji mowy

Celem projektu jest przeprowadzenie badań mających na celu opracowanie metodyki automatycznej transkrypcji fonetycznej mowy (w języku angielskim), opartej na wykorzystaniu połączenia informacji pochodzącej z analizy sygnałów fonicznych i wizyjnych. W szczególności, przeprowadzone zostaną badania podstawowe nad związkiem pomiędzy zróżnicowaniem alofonicznym w mowie, tj. różnicami w charakterze tych samych głosek wynikających z różnego ułożenia artykulatorów w zależności od środowiska fonetycznego (tj. głosek sąsiadujących lub cech prozodycznych) a obiektywnymi parametrami sygnału. Zostaną również wnikliwie zbadane parametry sygnału mowy (akustyczne i wizyjne) charakterystyczne dla Polaków uczących się języka angielskiego, w tym przy wykorzystaniu artykulografu elektromagnetycznego, pozwalającego uzyskać dodatkowe dane odnoszące się do ruchów artykulatorów mowy, umożliwiające pogłębienie analiz odnoszących się do sposobu wymawiania głosek. Założeniem jest opracowanie na tyle dokładnej metody, żeby pozwalała różnicować drobne zróżnicowania alofoniczne i akcentowe. Wnioskodawcy w wyniku przeprowadzonych badań pilotażowych są przekonani, że dzięki łącznej analizie sygnałów wizyjnych i fonicznych transkrypcja fonetyczna mowy może zostać przeprowadzona z większą dokładnością, niż przy wykorzystaniu jedynie modalności akustycznej, tak jak opisano to we wcześniejszych pracach innych autorów. Zakłada się ponadto, że pogłębione badania nad zróżnicowaniem głosek w kontekście parametrów sygnałów akustycznych i wizyjnych przyczynią się do zaawansowania stanu wiedzy w dziedzinie audiowizualnego rozpoznawania mowy, a co za tym idzie w dziedzinie interakcji człowieka z komputerem. W toku badań planowana jest weryfikacja następujących hipotez: 1. Łączna analiza danych fonicznych i wizyjnych poprawia skuteczność transkrypcji fonetycznej mowy na poziomie alofonicznym. 2. Przewidziana do opracowania metoda analizy sygnału mowy pozwoli na pogłębioną w stosunku do obecnego stanu wiedzy analizę zaawansowanych aspektów fonetycznych mowy. 3. Aspekty alofoniczne takie jak m.in. nazalizacja, zaokrąglanie samogłosek, aspiracja mogą być skutecznie wykryte poprzez analizę sygnałów wizyjnych. 4. Różnice w sygnale mowy wynikające ze zróżnicowań alofonicznych i akcentowych mogą być zamodelowane z użyciem odpowiednich narzędzi matematycznych.

Informacje szczegółowe

Akronim projektu:
ALOFON
Program finansujący:
OPUS
Instytucja:
Narodowe Centrum Nauki (NCN) (National Science Centre)
Porozumienie:
UMO-2015/17/B/ST6/01874 z dnia 2016-02-19
Okres realizacji:
2016-02-19 - 2019-02-18
Kierownik projektu:
prof. dr hab. inż. Andrzej Czyżewski
Realizowany w:
Katedra Systemów Multimedialnych
Wartość projektu:
990 318.00 PLN
Typ zgłoszenia:
Krajowy Program Badawczy
Pochodzenie:
Projekt krajowy
Weryfikacja:
Politechnika Gdańska

Filtry

wszystkich: 13

  • Kategoria

  • Rok

  • Opcje

wyczyść Filtry wybranego katalogu niedostępne

Katalog Projektów

wyświetlono 703 razy