Rozpoznawanie ruchów i gestów wykonywanych ustami w obrazie wizyjnym z użyciem sieci neuronowych - Publication - Bridge of Knowledge

Search

Rozpoznawanie ruchów i gestów wykonywanych ustami w obrazie wizyjnym z użyciem sieci neuronowych

Abstract

Ustomysz jest interfejsem komputerowym, umożliwiającym sterowanie kursorem ekranowym za pomocą ruchów ust i gestów wykonywanych ustami. Główną grupą docelową użytkowników interfejsu są osoby, które z dowolnego powodu nie mogą lub nie chcą posługiwać się tradycyjną klawiaturą i myszką komputerową. W związku z tym, może on umożliwić osobom niepełnosprawnym ruchowo, np. z niedowładem kończyn posługiwanie się komputerem, a przez to pozwolić na nieograniczone komunikowanie się. Ustomysz jest interfejsem całkowicie bezkontaktowym co oznacza, że nie wymaga montażu żadnych urządzeń lub elementów na ciele użytkownika. Ma on postać aplikacji działającej na standardowym komputerze PC. Do działania wymaga ponadto zwykłej kamery internetowej. Aplikacja analizuje na bieżąco obraz twarzy użytkownika komputera i transformuje dane dotyczące położenia ust na odpowiednie ruchy kursora na ekranie. Ponadto wykrywa ona trzy gesty wykonywane ustami: otwarcie ust, wysunięcie języka i złożenia ust w tzw. dzióbek oraz uruchamia przypisane do nich akcje, takie jak klikanie wybranymi przyciskami myszy, przewijanie zawartości ekranu za pomocą kółka itp. Do klasyfikacji gestów wykonywanych ustami wykorzystano sztuczną sieć neuronową. Na jej wejście podawany jest wektor parametrów obrazu opisujących wygląd ust automatycznie lokalizowanych w obrazie z kamery. Wyniki przeprowadzonych i opisanych eksperymentów dowodzą, że dokładność działania Ustomyszy jest wystarczająca do efektywnego posługiwania się komputerem.

Cite as

Full text

full text is not available in portal

Keywords

Details

Category:
Monographic publication
Type:
rozdział, artykuł w książce - dziele zbiorowym /podręczniku o zasięgu krajowym
Title of issue:
W : Sieci neuronowe w inżynierii biomedycznej.- tom 9 strony 1 - 2
Language:
Polish
Publication year:
2013
Bibliographic description:
Dalka P., Czyżewski A.: Rozpoznawanie ruchów i gestów wykonywanych ustami w obrazie wizyjnym z użyciem sieci neuronowych// W : Sieci neuronowe w inżynierii biomedycznej.- tom 9/ : Akademicka Oficyna Wydawnicza EXIT, 2013, s.1-2
Verified by:
Gdańsk University of Technology

seen 77 times

Recommended for you

Meta Tags