Abstrakt

Celem rozprawy doktorskiej jest opracowanie metodologii pozwalającej na rozpoznawanie i klasyfikację emocji w filmie za pomocą sztucznych sieci neuronowych. W pracy przedstawiono tematykę związaną z kolorowaniem sceny filmowej w kontekście oddziaływania koloru na emocje widza. W celu analizy wpływu filmow na emocje widza dokonano wyboru tytułow filmowych, następnie przeprowadzono szereg wstępnych testow subiektywnych pozwalających na wybor i potwierdzenie sześciokolorowego modelu emocji oraz przypisanie do danego fragmentu filmowego odpowiedniej etykiety emocji. Wyniki testow subiektywnych pozwoliły na przygotowanie bazy danych fragmentow filmow, ktorą następnie wykorzystano do treningu i testow modeli uczenia głębokiego. W drugiej części pracy przygotowano analizę sygnałow audio i wideo poprzez rożne sposoby parametryzacji tych sygnałow, a następnie dokonano klasyfikacji klas emocji na podstawie sygnału audio oraz wideo. Modele o najwyższej dokładności dla zbioru testowego zostały wybrane do stworzenia modelu multimodalnego. W trzeciej części pracy przygotowano model bimodalny wykorzystujący dwa wybrane wcześniej modele klasyfikacji sygnałow fonicznych oraz wideofonicznych. Model bimodalny wykazał się wyższą dokładnością podczas testow niż pojedynczy model klasyfikacji wideo, przy niewielkim koszcie wzrostu liczby parametrow modelu i stopnia skomplikowania.

Autor (1)