Wyszukiwarka
Katedra Systemów Multimedialnych
Publikacje
Filtry
wszystkich: 924
Katalog Publikacji
Rok 2011
-
Hierarchical Estimation of Human Upper Body Based on 2D Observation Utilizing Evolutionary Programming and 'Genetic Memory'
PublikacjaNew method of the human body pose estimation based on single camera 2D observation is presented. It employs 3D model of the human body, and genetic algorithm combined with annealed particle filter for searching the global optimum of model state, best matching the object's 2D observation. Additionally, motion cost metric is employed, considering current pose and history of the body movement, favouring the estimates with the lowest...
-
Human Tracking in Multi-camera Visual Surveillance System
PublikacjaArtykuł prezentuje krótkie podsumowanie wykorzystywanych technologii z dziedziny śledzenia osób z wykorzystaniem inteligentnych systemów bezpieczeństwa. Opisane w niniejszym opracowaniu systemy rozpoznawania twarzy, w połączeniu ze śledzeniem osób, nie mają na celu rozpoznawania tożsamości osób. Nie powstaje żadna baza danych łącząca cechy biometryczne z konkretnymi osobami, co sprawia że przestrzegane jest prawo w zakresie ochrony...
-
Intelligent multimedia solutions supporting special education needs.
PublikacjaThe role of computers in school education is briefly discussed. Multimodal interfaces development history is shortly reviewed. Examples of applications of multimodal interfaces for learners with special educational needs are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with facial expression and speech stretching audio interface representing audio modality....
-
Intelligent video and audio applications for learning enhancement
PublikacjaThe role of computers in school education is briefly discussed. Multimodal interfaces development history is shortly reviewed. Examples of applications of multimodal interfaces for learners with special educational needs are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with facial expression and speech stretching audio interface representing audio modality....
-
Layered background modeling for automatic detection of unattended objects in camera images
PublikacjaAn algorithm for automatic detection of unattended objects in video camera images is presented. First, background subtraction is performed, using an approach based on the codebook method. Results of the detection are then processed by assigning the background pixels to time slots, based on the codeword age. Using this data, moving objects detected during a chosen period may be extracted from the background model. The proposed approach...
-
Multimedia interface using head movements tracking
PublikacjaThe presented solution supports innovative ways of manipulating computer multimedia content, such as: static images, videos and music clips and others that can be browsed subsequently. The system requires a standard web camera that captures images of the user face. The core of the system is formed by a head movement analyzing algorithm that finds a user face and tracks head movements in real time. Head movements are tracked with...
-
Multimedialny system wspomagania wykładowcy i prelegenta
PublikacjaW referacie przedstawiono multimedialny system wspomagania wykładowcy i prelegenta, zainstalowany w wybranych salach audytoryjnych w nowym gmachu Wydziału Elektroniki Telekomunikacji i Informatyki Politechniki Gdańskiej. System ten tworzą: wektorowe czujniki akustyczne, kamery stacjonarne oraz kamery obrotowe z możliwością regulacji ogniskowej. Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej...
-
Multimodal Audio-Visual Recognition of Traffic Events
PublikacjaPrzedstawiono demonstrator systemu wykrywania niebezpiecznych zdarzeń w ruchu drogowym oparty na jednoczesnej analizie danych wizyjnych i akustycznych. System jest częścią systemu automatycznego nadzoru bezpieczeństwa. Wykorzystuje on kamery i mikrofony jako źródła danych. Przedstawiono wykorzystane algorytmy - algorytmy rozpoznawania zdarzeń dźwiękowych oraz analizy obrazu. Zaprezentowano wyniki działania algorytmów na przykładzie...
-
Multi-Stage Video Analysis Framework
PublikacjaThe chapter is organized as follows. Section 2 presents the general structure of the proposed framework and a method of data exchange between system elements. Section 3 is describing the low-level analysis modules for detection and tracking of moving objects. In Section 4 we present the object classification module. Sections 5 and 6 describe specialized modules for detection and recognition of faces and license plates, respectively....
-
Music Mixing Process Controlled by Hand Gestures
PublikacjaW referacie przedstawiono system umożliwiający sterowanie procesami miksowania śladów nagrania muzycznego za pomocą gestów rąk. Przybliżono podstawy wielomodalnej percepcji argumentujące potrzebę powstania tego typu systemu oraz założenia przyjęte w trakcie jego tworzenia. Część sprzętowa systemu składa się z rzutnika multimedialnego, kamery internetowej, komputera klasy PC z zainstalowanym oprogramowaniem systemu oraz ekranu dla...
-
Music query and annotation processes supported by gaze fixation tracking
PublikacjaCelem referatu jest przegląd kluczowych zagadnień związanych z automatycznym wyszukiwaniem informacji muzycznej MIR - Music Information Retrieval. W pierwszej kolejności przedstawiono aktualne kierunki badań i rozwiązań systemowych związane z wyszukiwaniem i rekomendacją muzyki. Następnie zaprezentowano eksperymenty przeprowadzone na skonstruowanej bazie muzycznej. Pokazano również propozycję wspomagania procesu wyszukiwania i...
-
Music query and annotation processes supported by gaze fixation tracking
PublikacjaCelem artykułu jest przegląd kluczowych zagadnień związanych z automatycznym wyszukiwaniem informacji muzycznej MIR - Music Information Retrieval. W pierwszej kolejności przedstawiono aktualne kierunki badań i rozwiązań systemowych związane z wyszukiwaniem i rekomendacją muzyki. Następnie zaprezentowano eksperymenty przeprowadzone na skonstruowanej bazie muzycznej. Pokazano również propozycję wspomagania procesu wyszukiwania i...
-
New approach to railway noise modeling employing Genetic Algorithms
PublikacjaMain goal of this paper was to describe an innovative method of noise prediction based on Genetic Algorithms. First part of the paper addresses the problem of growing noise, mainly in the context of a unified method for measuring noise. Further, Genetic Algorithms are described with regards to their fundamental features. Further a description is provided as to how Genetic Algorithms were used in the area of noise modeling. Next...
-
Observing uncertainty in music tagging by automatic gaze tracking
PublikacjaIn this paper, a new approach to observe music file tagging process by employing a gaze tracking system is proposed. The study was conducted with the participation of twenty subjects having different musical experience. For the purpose of the experiments a website survey based on a musical database was prepared. It allowed to gather information about music experience of subjects along with music characteristics such as genre, tempo,...
-
Online pitch estimation using instantaneous complex frequency
PublikacjaW pracy opisano nowe wyniki dotyczące skuteczności algorytmu potokowego estymującego częstotliwość podstawową sygnału mowy. Algorytm wykorzystuje zespoloną pulsację chwilową dla klasyfikacji mowy na dźwięczną i bezdźwięczną oraz estymacji częstotliwości podstawowej dla każdej próbki sygnału. Skuteczność klasyfikacji oraz dokładność estymacji zostały ocenione eksperymentalnie z wykorzystaniem dwóch baz nagrań, zawierających wypowiedzi...
-
Performance Evaluation of the Parallel Codebook Algorithm for Background Subtraction in Video Stream
PublikacjaA background subtraction algorithm based on the codebook approach was implemented on a multi-core processor in a parallel form, using the OpenMP system. The aim of the experiments was to evaluate performance of the multithreaded algorithm in processing video streams recorded from monitoring cameras, depending on a number of computer cores used, method of task scheduling, image resolution and degree of image content variability....
-
Performance Measurements of Real Time Video Transmission from Car Patrol
PublikacjaThe HSUPA technology application to video streaming from moving vehicle to the central server is presented in the paper. A dedicated software for transmission control in case of non public IP address is employed. Quality of video streaming in urban area was measured. Several car routes were investigated in the area of the Polish Tricity. Measurements pointed out that the real time streaming quality during vehicle movement is sufficient...
-
Problems of Railway Noise-A Case Study
PublikacjaUnder Directive 2002/49/EC relating to the assessment and management of environmental noise, all European countries are obliged to model their environmental noise levels in heavily populated areas. Some countries have their own national method, to predict noise but most have not created one yet. The recommendation for countries that do not have their own model is to use an interim method. The Dutch SRM II scheme is suggested for...
-
Problems of Railway Noise—A Case Study
PublikacjaUnder Directive 2002/49/EC relating to the assessment and management of environmental noise, all European countries are obliged to model their environmental noise levels in heavily populated areas. Some countries have their own national method, to predict noise but most have not created one yet. The recommendation for countries that do not have their own model is to use an interim method....
-
Quality Evaluation of Novel DTD Algorithm Based on Audio Watermarking
PublikacjaEcho cancellers typically employ a doubletalk detection (DTD) algorithm in order to keep the adaptive filter from diverging in the presence of near-end speech signal or other disruptive sounds in the microphone signal. A novel doubletalk detection algorithm based on techniques similar to those used for audio signal watermarking was introduced by the authors. The application of the described DTD algorithm within acoustic echo cancellation...
-
Report of the ISMIS 2011 Contest : Music Information Retrieval
PublikacjaThis report presents an overview of the data mining contestorganized in conjunction with the 19th International Symposiumon Methodologies for Intelligent Systems (ISMIS 2011), in days betweenJan 10 and Mar 21, 2011, on TunedIT competition platform. The contestconsisted of two independent tasks, both related to music information retrieval:recognition of music genres and recognition of instruments, for agiven music sample represented...
-
Repozytorium nagrań testowych i algorytmy wspomagania systemów monitoringu przestrzeni publicznej
PublikacjaW referacie przedstawiono założenia i realizację repozytorium nagrań testowych dla potrzeb oceny algorytmów analizy obrazu. Celem wykonanej pracy jest zgromadzenie materiałów audiowizualnych zawierających różne rodzaje zachowań tłumu wraz z opisem służących do weryfikacji algorytmów analizy obrazu. Omówiono szczegółowo treść nagrań wprowadzonych do repozytorium, wśród których wyróżnić można zachowania typowe jak i nietypowe. Przedstawiono...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublikacjaAn algorithm for resolving conflicts in tracking of moving objects is presented. The proposed approach utilizes predicted states calculated by Kalman filters for estimation of trackers position, then it uses color and texture descriptors in order to match moving objects with trackers. Problematic situations, such as splitting objects, are addressed. Test results are presented and discussed. The algorithm may be used in the system...
-
Retrospecting Polish Audio Engineering Society Membership on 20th Anniversary of the Polish Section of the Audio Engineering Society
PublikacjaIn this article some key events concerning founding Polish Section of the Audio Engineering Society were presented. In addition, the history covering International Symposia on Sound Engineering and Mastering was outlined. Also, papers contained in this issue were shortly reviewed.
-
Rozpoznawanie dynamicznych i statycznych gestów rąk w zastosowaniu do sterowania aplikacjami komputerowymi
PublikacjaW referacie przedstawiono interfejs, metody oraz algorytmy sterowania komputerem za pomocą dynamicznych i statycznych gestów rąk. Komponentami opracowanego rozwiązania są komputer klasy PC wraz z opracowanym interfejsem i oprogramowaniem, kamera internetowa oraz projektor multimedialny. Gesty rozpoznawane są w procesie analizy obrazu wizyjnego pozyskanego z kamery internetowej przymocowanej do projektora oraz analizy obrazu wyświetlanego...
-
Sacral sound-engineering
PublikacjaOrganologic and campanologic acoustical problems due to applications to sacral objects are characterized on ground of numerous reviewed publications and engineering reports. Participations of several involved research centres, mostly Polish, at solving these problems are evaluated. Some desirable future developments are indicated. Appendices bring examples of documentation on selected investigated objects.
-
Study of preference for surround microphone techniques, used in the recording of choir and instrumental ensemble
PublikacjaThe aim of this paper is to describe the process of choosing the best surround microphone technique for recording of choir with an instrumental ensemble. First, examples of multichannel microphone techniques including those used in the recording are described. Then, the assumptions and details of music recording in Radio Gdansk Studio are provided as well as the process of mixing of the multichannel recording. The extensive subjective...
-
Tinnitus Therapy Based on High-Frequency Linearization
PublikacjaThe aim of this work was to present problems related to tinnitus symptoms, its pathogenesis, hypotheses on tinnitus causes, and therapy treatments to reduce or mask the phantom noise. In addition, the hypothesis on the existence of parasitic quantization that accompanies hearing loss was recalled. The paper contains a description of experiments carried out with the application of high-frequency dither having specially formed spectral...
-
Viewpoint independent shape-based object classification for video surveillance
PublikacjaA method for shape based object classification is presented.Unlike object dimension based methods it does not require any system calibration techniques. A number of 3D object models are utilized as a source of training dataset for a specified camera orientation. Usage of the 3D models allows to perform the dataset creation process semiautomatically. The background subtraction method is used for the purpose of detecting moving objects...
-
Virtual Keyboard controlled by eye gaze employing speech synthesis
PublikacjaThe article presents the speech synthesis integrated into the eye gaze tracking system. This approach can significantly improve the quality of life of physically disabled people who are unable to communicate. The virtual keyboard (QWERTY) is an interface which allows for entering the text for the speech synthesizer. First, this article describes a methodology of determining the fixation point on a computer screen. Then it presents...
-
Visual Object Tracking System Employing Fixed and PTZ Cameras
PublikacjaThe paper presents a video monitoring system utilizing fixed and PTZ cameras for tracking of moving objects. First type of camera provides image for background modelling, being employed for foreground objects localization. Estimated objects locations are then utilised for steering of PTZ cameras when observing targeted objects with high close-ups. Objects are classified into several classes, then basic event detection is being...
-
Wspomaganie procesu wyszukiwania nagrań w repozytoriach muzycznych
PublikacjaCelem referatu jest przegląd kluczowych zagadnień związanych z automatycznym wyszukiwaniem informacji muzycznej MIR - Music Information Retrieval. W pierwszej kolejności przedstawiono aktualne kierunki badań i rozwiązań systemowych związane z wyszukiwaniem i rekomendacją muzyki. Następnie zaprezentowano eksperymenty przeprowadzone na skonstruowanej bazie muzycznej. Pokazano również propozycję wspomagania procesu wyszukiwania i...
Rok 2010
-
3D Morphable Models Application for Expanding Face Database Limited to Single Frontal Face Per Person
Publikacja1. Zaprezentowany materiał dotyczył badań nad rozszerzeniem dysponowanej bazy wzorców wizerunków twarzy, o dodatkowe wzorce z wariacją w ustawieniu. Dodatkowe wzorce były usyskiwane poprzez przejście z wizerunku twarzy 2D na model 3D, zasymulowanie zadanego ustawienia i powrót do dziedziny 2D (poprzez rzutowanie 3D->2D). W fazie konstrukcji modelu 3D, z wizerunku 2D była ściągana zarówno tekstura twarzy jak i siatka punktów charakterystycznych....
-
A framework for automatic detection of abandoned luggage in airport terminal
PublikacjaA framework for automatic detection of events in a video stream transmitted from a monitoring system is presented. The framework is based on the widely used background subtraction and object tracking algorithms. The authors elaborated an algorithm for detection of left and removed objects based on mor-phological processing and edge detection. The event detection algorithm collects and analyzes data of all the moving objects in...
-
Acoustic radar employing particle velocity sensors
PublikacjaA concept, practical realization and applications of a passive acoustic radar to automatic localization, tracking of sound sources were presented in the paper. The device consist of the new kind of multichannel miniature sound intensity sensors and a group of digital signal processing algorithms. Contrary to active radars, it does not emit the scanning beam but after receiving surroundings sounds it provide information about the...
-
Advanced surveillance and operational communication system employing mobile terminals
PublikacjaDistributed surveillance and operational communications system based on XMPP protocol is presented. Its architecture and assumptions leading to the depicted design are shown. Features of XMPP protocol are portrayed with the emphasis on those most important in the context of the application. Real-time multimedia transmission with the use of Jingle/XMPP extension is discussed. The use of PDA-class computers as mobile terminals is...
-
Algorytm ekstrakcji cech biometrycznych twarzy
PublikacjaW referacie zawarto opis metody automatycznej lokalizacji oraz parametryzacji punktów charakterystycznych w obrazie twarzy. Do lokalizacji punktów charakterystycznych wykorzystano zmodyfikowany algorytm EBGM (ang. Elastic Bunch Graph Matching). Algorytm ten pozwala lokalizować punkty w obrazie przy założeniu niezmienności topologii grafu połączeń między nimi.W referacie przedstawiono podstawy teoretyczne metody oraz zaimplementowany...
-
Analiza zachowań tłumu w multimedialnym systemie bezpieczeństwa
PublikacjaW niniejszym referacie zawarto opis metody detekcji zachowań tłumu na podstawie analizy obrazu. Koncepcja docelowego wykorzystania to wspomaganie pracy operatorów w systemach monitoringu, w szczególności podczas imprez masowych, np. na stadionach wyposażonych w wiele kamer. Celem opracowanej metody jest wykrywanie normalnych oraz potencjalnie niebezpiecznych zachowań tłumu, takich jak: panika, kierunkowy ruch masy ludzi, czy gromadzenie...
-
Application of gaze tracking technology to quality of experience domain
PublikacjaA new methodological approach to study subjective assessment results employing gaze tracking technology is shown. Notions of Human-Computer Interaction (HCI) and Quality of Experience (QoE) are shortly introduced in the context of their common application. Then, the gaze tracking system developed at the Multimedia Systems Department (MSD) of Gdansk University of Technology (GUT) is presented. A series of audio-visual subjective...
-
Application of passive acoustic radar to automatic localization, tracking and classification of sound sources
PublikacjaA concept, practical realization and applications of the passive acoustic radar to automatic localization, tracking and classification of sound sources were presented in the paper. The device consists of a new kind of multichannel miniature sound intensity sensors and a group of digital signal processing algorithms. Contrary to active radars, it does not emit the scanning beam but after receiving surrounding sounds it provides...
-
Audio content analysis in the urban area telemonitoring system
PublikacjaArtykuł przedstawia możliwości rozwinięcie monitoringu miejskiego o automatyczną analizę dźwięku. Przedstawiono metody parametryzacji dźwięku, które możliwe są do zastosowania w takim systemie oraz omówiono aspekty techniczne implementacji. W kolejnej części przedstawiono system decyzyjny oparty na drzewach zastosowany w systemie. System ten rozpoznaje dźwięki niebezpieczne (strzał, rozbita szyba, krzyk) wśród dźwięków zarejestrowanych...
-
Automatic audio-visual threat detection
PublikacjaThe concept, practical realization and application of a system for detection and classification of hazardous situations based on multimodal sound and vision analysis are presented. The device consists of new kind multichannel miniature sound intensity sensors, digital Pan Tilt Zoom and fixed cameras and a bundle of signal processing algorithms. The simultaneous analysis of multimodal signals can significantly improve the accuracy...
-
Automatic detection of abandoned luggage employing a dual camera system
PublikacjaA system for automatic detection of events using a system of fixed and PTZ (pan-tilt-zoom) cameras is described. Images from the fixed camera are analyzed by means of object detection and tracking. Event detection system uses a set of rules to analyze data on the tracked moving objects and to detect defined events. A PTZ camera is used to obtain a detailed view of a selected object. A procedure for conversion between the pixel...
-
Automatic localization and continous tracking of mobile sound source using passive acoustic radar
PublikacjaA concept, practical realization and applications of the passive acoustic radar for localization and continuous tracking of fixed and mobile sound sources such as: cars, trucks, aircrafts and sources of shooting, explosions were presented in the paper. The device consists of the new kind of multi-channel miniature three dimensional sound intensity sensors invented by the Microflown company and a group of digital signal processing...
-
Automatyczna klasyfikacja gatunków muzycznych
PublikacjaCelem referatu jest dokonanie krótkiego przeglądu stanu badań w dziedzinie wyszukiwania i klasyfikacji gatunków muzycznych. Ponadto przedstawiony zostanie eksperyment polegający na klasyfikacji wybranych gatunków muzycznych z wykorzystaniem przykładowego klasyfikatora. W pierwszej kolejności zaprezentowano proces selekcji cech dystynktywnych. Opracowany wektor cech został następnie poddany testom klasyfikacji na zamkniętym zbiorze...
-
Automatyczna lokalizacja źródła dźwięku w obecności zakłóceń z wykorzystaniem wektorowych czujników akustycznych
PublikacjaW referacie przedstawiono pomysł i praktyczną realizację pasywnego radaru akustycznego do automatycznego lokalizowania i śledzenia źródeł dźwięku w warunkach zakłóceń. Urządzenie składa się z nowego typu wielokanałowych miniaturowych czujników natężeniowych oraz algorytmów cyfrowego przetwarzania sygnałów. Czułość radaru akustycznego została zbadana w warunkach pola swobodnego. Użyto sygnałów testowych takich jak: sygnały tonalne...
-
Badanie i terapia zaburzeń widzenia obuocznego wspomagana przez bezkontaktowy system śledzenia punktu fiksacji wzroku
PublikacjaNa rynku znajduje się klika systemów pozwalających na badanie lub trening syndromu leniwego oka z użyciem komputera PC. Niewiele z nich bazuje na wirtualnej rzeczywistości. Większość jedynie skupia się na terapii niedowidzenia bez mierzenia jakichkolwiek parametrów lub wykonuje tylko same pomiary. Proponowane rozwiązanie to kompletny system diagnostyczno - terapeutyczny do detekcji i terapii zaburzeń widzenia obuocznego - zwłaszcza...
-
Badanie rozkładów parametrów sygnału mowy w zastosowaniach do prognozowania prawdopodobieństwa popełnienia błędów w systemach identyfikacji mówców = Examining distribution of speech signal parameters for the prognosis of error probability in speaker verification systems
PublikacjaPrzedmiotem pracy jest system identyfikacji mówców w sposób zależny od tekstu ("text dependent''). Dokonano analizy wielu różnych wypowiedzi kilkudziesięciu mówców. Zastosowana metoda parametryzacji to metoda oparta na wynikach analizy cepstralnej sygnału mowy. Zdefiniowane zostały nowe parametry skojarzone z elementarnymi zdarzeniami w procesie weryfikacji mówców. Na tej podstawie dokonano estymacji funkcji gęstości prawdopodobieństwa...
-
Binocular Vision Impairments Therapy Supported By Contactless Eye-gaze Tracking System
PublikacjaBinocular vision impairments often result in partial or total loss of stereoscopic vision. The lack of binocular vision is a serious vision impairment that deserves more attention. Very important result of the binocular vision impairments is a binocular depth perception. This paper describes also a concept of a measurement and therapy system for the binocular vision impairments by using eye-gaze tracking system.
-
Camera angle invariant shape recognition in surveillance systems
PublikacjaA method for human action recognition in surveillance systems is described. Problems within this task are discussed and a solution based on 3D object models is proposed. The idea is shown and some of its limitations are talked over. Shape description methods are introduced along with their main features. Utilized parameterization algorithm is presented. Classification problem, restricted to bi-nary cases is discussed. Support vector...