Abstrakt

Istnieje wiele programów automatycznego rozpoznawania emocji z pojedynczych modalności. Wykorzystują one różnorodne modele reprezentacji emocji, a także metody przetwarzania. Obecnie wyraźnie widoczny jest trend do wykorzystania analizy wielomodalnej oraz wielokanałowej, mającej na celu poprawę skuteczności rozpoznawania emocji oraz poprawę niezawodności. W dziedzinie automatycznego rozpoznawania emocji nie określono typowego modelu reprezentacji emocji ani typowej metody analizy wielomodalnej czy wielokanałowej. Celem pracy doktorskiej było zaproponowanie metody integracji danych o stanie emocjonalnym użytkowników komputerów, która uwzględnia różne programy, kanały dostępu oraz metody reprezentacji emocji, a także kontekstową niepewność pomiarów symptomów emocji. Autor pracy zaproponował nową metodę integracji składającą się z wzorca architektonicznego Scoreboard, metody kwantyfikacji niepewności oszacowania emocji oraz algorytmu integracji informacji o stanie emocjonalnym, opartego o miarę niepewności. Zaproponowane rozwiązanie zapewnia modularność i adaptowalność poprzez zastosowane paradygmaty obiektowe, pozwala na łatwą integrację umożliwiającą wykorzystanie rozwiązań napisanych w różnych technologiach, cechuje się odpornością na nieprawidłowe dane wejściowe oraz nieprawidłowe działania komponentów, dzięki zastosowaniu ich dynamicznej oceny w czasie działania programu. Zaproponowana metoda kwantyfikacji pozwala na liczbową reprezentację niepewności. Z kolei zaproponowana metoda integracji informacji o stanie emocjonalnym wyznacza poziom wiarygodności odpowiadający jakości danych wejściowych, a także zgodności danych z poszczególnych kanałów obserwacji takich jak zgodności informacji o stanie emocjonalnym z dwóch kamer. W ramach ewaluacji zaproponowanego rozwiązania wykorzystano trzy metody badawcze: eksperymenty na zaetykietowanym emocjonalnie zbiorze danych SEMAINE, symulacje przypadków brzegowych przygotowane przez autora pracy, eksperymenty oraz studium przypadku z wykorzystaniem danych z badania przeprowadzonego na Politechnice Gdańskiej na stanowisku Monitora Emocji. Przeprowadzono dziewięć eksperymentów, pięć symulacji oraz studium przypadku Monitora Emocji, co pozwoliło na walidację postawionych tez. Wykorzystywanymi w badaniach modalnościami były analiza mimiki twarzy, analiza prozodii głosu oraz analiza ładunku emocjonalnego tekstu. Za pomocą zaproponowanej wielomodalnej analizy uzyskano poprawę niezawodności.

Autor (1)