Abstract

Multimodal computer interfaces and examples of their applications to education software and for the disabled people are presented. The proposed interfaces include the interactive electronic whiteboard based on video image analysis, application for controlling computers with gestures and the audio interface for speech stretching for hearing impaired and stuttering people. Application of the eye-gaze tracking system to awareness evaluation is demonstrated. The proposed method assumes analysis of visual activity of patients remaining in vegetative state. The scent emitting multimodal computer interface is an important supplement of the polysensoric stimulation process, playing an essential role in education and therapy of children with developmental disorders. A new approach to diagnosing Parkinson's disease is shown. The progression of the disease can be measured by the UPDRS (Unified Parkinson Disease Rating Scale) scale which is used for evaluating motor and behavioral symptoms of Parkinson's disease, employing the multimodal interface called Virtual-Touchpad (VTP) to support medical diagnosis. Zaprezentowano opracowane interfejsy komputerowe oraz przykłady ich zastosowań do oprogramowania edukacyjnego oraz dla osób niepełnosprawnych. Proponowane interfejsy obejmują interaktywną elektroniczą tablicę działającą na podstawie analizy obrazu wideo, aplikację do sterowania komputerami za pomocą gestów i interfejs audio dla mowy transponowanej czasowo dla niesłyszących i osób jąkających się. Zastosowanie systemu śledzenia wzroku do oceny świadomości zostało przedstawione w kontekście uzyskanych wyników eksperymentalnych.Zaproponowana metoda zakłada analizę aktywności wzrokowej pacjentów pozostających w stanie wegetatywnym. Emitujący zapach multimodalny interfejs komputerowy jest ważnym uzupełnieniem procesu stymulacji polisensorycznje, odgrywając istotną rolę w edukacji i terapii dzieci z zaburzeniami rozwojowymi. Zademonstrowano nowe podejście do diagnozowania choroby Parkinsona, w którym postęp choroby może być mierzony z wykorzystaniem skali UPDRS (Unified Parkinson Disease Rating Scale), która jest używana do oceny nasilenia objawów choroby Parkinsona, wykorzystując multimodalny interfejs o nazwie Virtual-Touchpad (VTP) do wspierania diagnozy medycznej.Podsumowaniem referatu są zawarte w nim ogólne uwagi, dotyczące roli multimodalnych interfejsów komputerowych w zastosowaniach w edukacji, terapii i codziennego użytkowania urządzeń komputerowych.

Author (1)