Abstract

W referacie przedstawiono multimedialny system wspomagania wykładowcy i prelegenta, zainstalowany w wybranych salach audytoryjnych w nowym gmachu Wydziału Elektroniki Telekomunikacji i Informatyki Politechniki Gdańskiej. System ten tworzą: wektorowe czujniki akustyczne, kamery stacjonarne oraz kamery obrotowe z możliwością regulacji ogniskowej. Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej w ramach realizacji projektu MAYDAY EURO 2012. Sygnały pozyskiwane z poszczególnych urządzeń są w sposób ciągły przekazywane do systemu KASKADA, umożliwiającego przetwarzanie strumieni multimedialnych na klastrze superkomputerowym. W dalszej części referatu opisano algorytmy analizy strumieni w czasie rzeczywistym. Poszczególne modalności, tj. sygnał akustyczny i sygnał wizyjny podlegają współbieżnej analizie z uwzględnieniem synchronizacji czasowej. Przedstawiony algorytm przetwarzania sygnałów akustycznych umożliwia automatyczną detekcję wybranych zdarzeń akustycznych o charakterze impulsowym lub ustalonym (trzask, mowa). Dla wykrytych zdarzeń akustycznych określana jest pozycja źródła dźwięku. W oparciu o uzyskane dane możliwe jest nakierowanie kamery na wykryte źródło dźwięku. W ostatniej części referatu przedstawiono procedurę kalibracji systemu akustyczno-wizyjnego oraz wyniki detekcji i lokalizacji wybranych źródeł dźwięku. Opracowany system może stanowić istotną pomoc dydaktyczną dla wykładowcy lub prelegenta, zwiększając interakcję pomiędzy wykładowcą a słuchaczami obecnymi na sali. Opracowana technologia może również znaleźć zastosowanie w systemach monitorowania obiektów w trakcie trwania imprez masowych. Połączenie analizy akustycznej i wizyjnej może w istotny sposób większych skuteczność wykrywania zdarzeń niebezpiecznych.

Authors (4)