Search
Department of Multimedia Systems
Publications
Filters
total: 908
Catalog Publications
Year 2012
-
System automatycznej analizy poziomu emisji reklam nadawanych w TV
PublicationNiniejszy referat przywołuje problem poziomu emisji reklam telewizyjnych. W pierwszej kolejności przedstawiono przegląd wybranych metod analizy poziomu nadawanych sygnałów wizyjno-fonicznych oraz zalecenia normowe dotyczące emisji programów. Opisany został również opracowany system, pozwalający na automatyczną analizę poziomu emitowanych reklam. W eksperymentach wykorzystano przygotowaną bazę nagrań programów telewizyjnych. W referacie...
-
System Supporting Speech Perception in Special Educational Needs Schoolchildren
PublicationThe system supporting speech perception during the classes is presented in the paper. The system is a combination of portable device, which enables real-time speech stretching, with the workstation designed in order to perform hearing tests. System was designed to help children suffering from Central Auditory Processing Disorders.
-
System śledzenia punktu fiksacji wzroku jako narzędzie wspierające badania korelacji wzrokowo-słuchowych
PublicationPrzedmiotem badań przeprowadzonych w ramach rozprawy są korelacje wzrokowo-słuchowe w kontekście lokalizowania pozornego źródła dźwięku w panoramie stereofonicznej. Prezentacja próbki wizyjno-fonicznej o spójnej treści może prowadzić do przesunięcia położenia pozornego źródła dźwięku w panoramie stereofonicznej w porównaniu z sytuacją, gdy osobie badanej prezentowana jest tylko ścieżka dźwiękowa próbki wizyjno-fonicznej. Efekt...
-
Technologia biomems - przegląd zastosowań
PublicationThe paper reviews the issues related to technology, MEMS (Micro-Electro Systems-Mechanical) in the context of applications in biotechnology and biomedical systems. Systems of this type, with applications in biology and medicine, have the name of our common BioMEMS systems. This pertains to a wide range of technology BioMEMS. The aim of this study is to determine future medical MEMS microphones with particular emphasis on their...
-
Tinnitus Therapy Based on High-Frequency Linearization Principles - Preliminary Results
PublicationThe aim of this work is to present problems related to tinnitus symptoms, its pathogenesis, hypotheses on tinnitus causes, and therapy treatment to reduce or mask the phantom noise. In addition, the hypothesis on the existence of parasitic quantization that accompanies hearing loss has been recalled. Moreover, the paper describes a study carried out by the Authors with the application of high-frequency dither having specially formed...
-
Typoszereg komputerowych interfejsów multimodalnych
PublicationW referacie opisano opracowywane w ramach realizowanego projektu, multimodalne interfejsymultimodalne, ułatwiające użytkowanie urządzeń komputerowych, w tym również terminali mobilnych.Przedstawiono zasady działania poszczególnych interfejsów oraz dotychczasowo uzyskane rezultaty.Wyniki uzyskane zostały drogą prób i eksperymentów z udziałem grup użytkowników docelowych,obejmujących zarówno użytkowników standardowych, jak również...
-
Virtual Whiteboard: A gesture-controlled pen-free tool emulating school whiteboard
PublicationIn the paper the so-called Virtual Whiteboard is presented which may be an alternative solution for modern electronic whiteboards based on electronic pens and sensors. The presented tool enables the user to write, draw and handle whiteboard contents using his/her hands only. An additional equipment such as infrared diodes, infrared cameras or cyber gloves is not needed. The user's interaction with the Virtual Whiteboard computer...
-
Zespolona pulsacja chwilowa w analizie i konwersji głosu
PublicationPrzedstawiona rozprawa doktorska dotyczy badania głosu z wykorzystaniem reprezentacji sygnału mowy za pomocą zespolonej pulsacji chwilowej (ICF od ang. Instantaneous Complex Frequency). Zespolona pulsacja chwilowa opiera się na koncepcji rzeczywistej częstotliwości chwilowej (IF od ang. Instantaneous Frequency), która estymuje częstotliwość sygnału w każdej chwili czasu jako pochodną jego fazy chwilowej. Główną zaletą takiego podejścia...
Year 2011
-
3D Hand Shape Modeling for Automatic Assessing Motor Performance in Parkinson's Disease
PublicationIn this paper a method for hand pattern processing to create a 3D hand model is presented. By applying a complete hand armature to the model obtained, an interpolation of three motor tests for an individual Parkinson's disease patient can be performed. To obtain the 3D hand model the top view of the hand from a web cam is analyzed. The hand contour is examined to find characteristic points that allows for dividing hand image into...
-
A new approach for an automatic assessment of a neurological condition employing hand gesture classification
Publication.
-
A non-uniform real-time speech time-scale stretching method
PublicationAn algorithm for non-uniform real-time speech stretching is presented. It provides a combination of typical SOLA algorithm (Synchronous Overlap and Add ) with the vowels, consonants and silence detectors. Based on the information about the content and the estimated value of the rate of speech (ROS), the algorithm adapts the scaling factor value. The ability of real-time speech stretching and the resultant quality of voice were...
-
Algorytm automatycznego rozpoznawania treści tablicy rejestracyjnej i wyszukiwania pojazdów w bazie danych
PublicationReferat opisuje algorytm rozpoznawania znaków zawartych w tablicy rejestracyjnej oraz współpracę algorytmu z bazą danych tablic rejestracyjnych. Przedstawiono metodę rozpoznawania znaków wykorzystującą obraz ze zlokalizowaną wcześniej tablicą rejestracyjną. Obraz tablicy jest poddawany przetwarzaniu wstępnemu. Wykonywane są operacje automatycznego wykrywania rotacji tablicy, normalizowania histogramu, dostosowania współczynnika...
-
An approach to determining tinnitus acoustical characteristic
PublicationFor many treatment methods, accurate estimation of Tinnitus(ringing in ears) concerning sound type, level, and bandwidth or frequency is inevitable. The proposed way of obtaining Tinnitus parameters is described in this paper. The method employs sound synthesis, aimed at obtaining sound which is closest to perceived Tinnitus. The proposed method assumes running a designed application on a multimedia PC provided with a special graphical...
-
Ankieta intuicyjności gestów rąk zastosowanych od obsługi operacji miksowania dźwięku
PublicationW niniejszym raporcie przedstawiono wyniki prac realizowanych przez studentów specjalności Inżynieria Dźwięku i Obrazu Katedry Systemów Multimedialnych w ramach projektu grupowego. Celem projektu było stworzenie grafiki dla aplikacji komputerowej symulującej wybrane operacje możliwe do zrealizowania przy pomocy konsolety fonicznej (stołu mikserskiego). Ów system miksowania ścieżek nagrania muzycznego sterowany jest za pomocą gestów....
-
Application of Vector Sensors to Acoustic Surveillance of a Public Interior Space
PublicationPrzedstawiono metodę precyzyjnej detekcji i lokalizacji źródeł dźwięku w pomieszczeniach. Wykorzystano wektorowe czujniki akustyczne, dostarczające sygnałów ciśnienia akustycznego i prędkości cząsteczek powietrza. Zaprezentowano metodę lokalizacji źródeł dźwięku na widowni wydarzenia publicznego. Przedstawiono demonstracyjny system zainstalowany w sali wykładowej. System poddano ocenie dokładności na podstawie przeprowadzonych...
-
Automatic prosodic modification in a Text-To-Speech synthesizer of Polish language
PublicationPrzedstawiono system syntezy mowy polskiej z funkcją automatycznej modyfikacji prozodii wypowiedzi. Opisane zostały metody automatycznego wyznaczania akcentu i intonacji wypowiedzi. Przedstawiono zastosowanie algorytmów przetwarzania sygnału mowy w procesie kształtowania prozodii. Omówiono wpływ zastosowanych modyfikacji na naturalność brzmienia syntezowanego sygnału. Zastosowana metoda oparta jest na algorytmie TD-PSOLA. Opracowany...
-
Automatic sound source localization in disturbing conditions using acoustic vector sensors
PublicationA concept, practical realization and applications of a passive acoustic radar to automatic localization and tracking of sound sources in disturbing conditions were presented in the paper. The device consists of the new kind of multichannel miniature sound intensity sensors and a group of digital signal processing algorithms. The sensitivity of the realized acoustic radar was examined in free sound field. Several kinds of sound...
-
Automatic tagging of musical files
PublicationCelem niniejszej pracy jest zbadanie możliwości automatycznego tagowania utworów muzycznych z wykorzystaniem systemu śledzenia punktu fiksacji wzroku użytkownika. Badania przeprowadzono z udziałem dwudziestu osób o różnym doświadczeniu muzycznym. Zadaniem badanej osoby było wskazanie odpowiedzi na pytania zawarte w ankiecie internetowej, która pozwala na określenie cech utworów muzycznych, takich jak: tempo, dynamika, gatunek....
-
Badanie rozpoznawania twarzy przez człowieka z wykorzystaniem systemu śledzenia fiksacji wzroku Cyber-Oko
PublicationW celu dokładniejszego zrozumienia sposobu rozpoznawania i zapamiętywania twarzy przez człowieka przeprowadzono doświadczenie na grupie 20 osób z wykorzystaniem wcześniej opracowanego systemu śledzenia fiksacji wzroku Cyber-Oko. Wykorzystując diody i kamerę podczerwieni wraz z dedykowanym oprogramowaniem Cyber-Oko, które pozwala na śledzenie punktu skupienia wzroku na ekranie. Każdej osobie biorącej udział w doświadczeniu pokazano...
-
Behavior Analysis and Dynamic Crowd Management in Video Surveillance System
PublicationA concept and practical implementation of a crowd management system which acquires input data by the set of monitoring cameras is presented. Two leading threads are considered. First concerns the crowd behavior analysis. Second thread focuses on detection of a hold-ups in the doorway. The optical flow combined with soft computing methods (neural network) is employed to evaluate the type of crowd behavior, and fuzzy logic aids detection...
-
Budowa repozytorium trójwymiarowych póz postaci i metoda estymacji pozy na podstawie obserwacji 2D
PublicationW referacie przedstawiono metodykę badania algorytmów estymacji układu ciała człowieka w przestrzeni trójwymiarowej na podstawie pojedynczej obserwacji dwuwymiarowej - zdjęcia lub obrazu z kamery. Opisano sposób tworzenia danych odniesienia, zorganizowanych w formie bazy danych zsynchronizowanych nagrań wizyjnych oraz trójwymiarowych danych ruchu. W celu badania algorytmów estymacji pozy wykorzystano trójwymiarowy model ciała ludzkiego...
-
Camera Orientation-Independent Parking Events Detection
PublicationThe paper describes the method for detecting precise position and time of vehicles parking in a parking lot. This task is trivial in case of favorable camera orientation but gets much more complex when an angle between the camera viewing axis and the ground is small. The method utilizes background subtraction and object tracking algorithms for detecting moving objects in a video stream. Objects are classified into vehicles and...
-
Camera sabotage detection for surveillance systems
PublicationCamera dysfunction detection algorithms and their utilization in realtime video surveillance systems are described. The purpose of using the proposed analysis is explained. Regarding image tampering three algorithms for focus loss, scene obstruction and camera displacement detection are implemented and presented. Features of each module are described and certain scenarios for best performance are depicted. Implemented solutions...
-
Communication Platform for Evaluation of Transmitted Speech Quality
PublicationA voice communication system designed and implemented is described. The purpose of the presented platform was to enable a series of experiments related to the quality assessment of algorithms used in the coding and transmitting of speech. The system is equipped with tools for recording signals at each stage of processing, making it possible to subject them to subjective assessments by listening tests or, objective evaluation employing...
-
Comparison of various speech time-scale modificartion methods
PublicationThe objective of this work is to investigate the influence of the different time-scale modification (TSM) methods on the quality of the speech stretched up using the designed non-uniform real-time speech time-scale modification algorithm (NU-RTSM). The algorithm provides a combination of the typical TSM algorithm with the vowels, consonants, stutter, transients and silence detectors. Based on the information about the content and...
-
Content-Based Approach to Automatic Recommendation of Music
PublicationThis paper presents a content-based approach to music recommendation. For this purpose, a database which contains more than 50000 music excerpts acquired from public repositories was built. Datasets contain tracks of distinct performers within several music genres. All music pieces were converted to mp3 format and then parameterized based on MPEG-7, mel-cepstral and time-related dedicated parameters. All feature vectors are stored...
-
Creating Acoustic Maps Employing Supercomputing Cluster
PublicationThe implemented online urban noise pollution monitoring system is presented with regard to its conceptual assumptions and technical realization. A concept of the noise source parameters dynamic assessment is introduced. The idea of noise modeling, based on noise emission characteristics and emission simulations, was developer and practically utilized in the system. Furthermore, the working system architecture and the data acquisition...
-
Detection and localization of selected acoustic events in 3D acoustic field for smart surveillance applications
PublicationA method for automatic determination of position of chosen sound events such as speech signals and impulse sounds in 3-dimensional space is presented. The events are localized in the presence of sound reflections employing acoustic vector sensors. Human voice and impulsive sounds are detected using adaptive detectors based on modified peak-valley difference (PVD) parameter and sound pressure level. Localization based on signals...
-
Distributed Framework for Visual Event Detection in Parking Lot Area
PublicationThe paper presents the framework for automatic detection of various events occurring in a parking lot basing on multiple camera video analysis. The framework is massively distributed, both in the logical and physical sense. It consists of several entities called node stations that use XMPP protocol for internal communication and SRTP protocol with Jingle extension for video streaming. Recognized events include detecting parking...
-
Estymator wysokości chwilowej dźwięku w oparciu o jego zespoloną pulsację chwilową
PublicationW pracy zaprezentowano oryginalny algorytm estymacji wysokości chwilowej dźwięku. Wykorzystuje on zespolone filtry cyfrowe Hilberta o różnej szerokości pasm przepustowych. W eksperymentach posłużono się filtami nacelowanymi na wyznaczanie częstotliwości krtaniowej (odwrotności okresu drgań strun głosowych) na podstawie zarejestrowanych samogłosek wypowiadanych głosem męskim, żeńskim i dziecięcym. W algorytmie zastosowano estymator...
-
Facial features extraction for color, frontal images
PublicationThe problem of facial characteristic features extraction is discussed. Several methods of features extraction for color en--face photographs are discussed. The methods are based mainly on the colors features related to the specific regions of the human face. The usefulness of presented methods was tested on a database of en--face photographs consisting of 100 photographs.
-
Fluctuation-enhanced scent sensing using a single gas sensor
PublicationScent or aroma sensing during aromatherapy can be carried out by applying only a single resistance gas sensor (TGS - Taguchi Gas Sensors). This paper considers the efficiency of detection of essential oils by DC resistance and its fluctuations observed in TGS sensors. A detailed study has been conducted for scents emitted by five popular essential oils using three sensor types (TGS 2600, TGS 2602, TGS 823). The research was focused...
-
Fluctuation-enhanced scent sensing using a single gas sensor
PublicationWykrywanie zapachów podczas aromaterapii może być przeprowadzone za pomocą pojedynczego sensora gazów. W pracy rozważono efektywność detekcji zapachów olejków eterycznych za pomocą rezystancji DC oraz zjawisk fluktuacyjnych w tych sensorach, typu TGS2600,TGS2602,TGS823. Badania koncentrowały się na praktycznym zastosowaniu w aromaterapii do określania intensywności emitowanego zapachu. Opisano szczegółowo system do emisji zapachów.
-
Hałas w szkole - czy warto się nim przejmować?
PublicationSzkoła to nie tylko miejsce. w którym dzieci zdobywają wiedzę o otaczającym świecie, lecz także miejsce. w którym kształtuje się osobowość i charakter młodego człowieka. Nabyte umiejętności i utrwalone nawyki procentują później w dorosłym życiu, przesądzając niekiedy o życiowych wyborach. sukcesach lub porażkach.
-
Hierarchical Estimation of Human Upper Body Based on 2D Observation Utilizing Evolutionary Programming and 'Genetic Memory'
PublicationNew method of the human body pose estimation based on single camera 2D observation is presented. It employs 3D model of the human body, and genetic algorithm combined with annealed particle filter for searching the global optimum of model state, best matching the object's 2D observation. Additionally, motion cost metric is employed, considering current pose and history of the body movement, favouring the estimates with the lowest...
-
Human Tracking in Multi-camera Visual Surveillance System
PublicationArtykuł prezentuje krótkie podsumowanie wykorzystywanych technologii z dziedziny śledzenia osób z wykorzystaniem inteligentnych systemów bezpieczeństwa. Opisane w niniejszym opracowaniu systemy rozpoznawania twarzy, w połączeniu ze śledzeniem osób, nie mają na celu rozpoznawania tożsamości osób. Nie powstaje żadna baza danych łącząca cechy biometryczne z konkretnymi osobami, co sprawia że przestrzegane jest prawo w zakresie ochrony...
-
Intelligent multimedia solutions supporting special education needs.
PublicationThe role of computers in school education is briefly discussed. Multimodal interfaces development history is shortly reviewed. Examples of applications of multimodal interfaces for learners with special educational needs are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with facial expression and speech stretching audio interface representing audio modality....
-
Intelligent video and audio applications for learning enhancement
PublicationThe role of computers in school education is briefly discussed. Multimodal interfaces development history is shortly reviewed. Examples of applications of multimodal interfaces for learners with special educational needs are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with facial expression and speech stretching audio interface representing audio modality....
-
Layered background modeling for automatic detection of unattended objects in camera images
PublicationAn algorithm for automatic detection of unattended objects in video camera images is presented. First, background subtraction is performed, using an approach based on the codebook method. Results of the detection are then processed by assigning the background pixels to time slots, based on the codeword age. Using this data, moving objects detected during a chosen period may be extracted from the background model. The proposed approach...
-
Multimedia interface using head movements tracking
PublicationThe presented solution supports innovative ways of manipulating computer multimedia content, such as: static images, videos and music clips and others that can be browsed subsequently. The system requires a standard web camera that captures images of the user face. The core of the system is formed by a head movement analyzing algorithm that finds a user face and tracks head movements in real time. Head movements are tracked with...
-
Multimedialny system wspomagania wykładowcy i prelegenta
PublicationW referacie przedstawiono multimedialny system wspomagania wykładowcy i prelegenta, zainstalowany w wybranych salach audytoryjnych w nowym gmachu Wydziału Elektroniki Telekomunikacji i Informatyki Politechniki Gdańskiej. System ten tworzą: wektorowe czujniki akustyczne, kamery stacjonarne oraz kamery obrotowe z możliwością regulacji ogniskowej. Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej...
-
Multimodal Audio-Visual Recognition of Traffic Events
PublicationPrzedstawiono demonstrator systemu wykrywania niebezpiecznych zdarzeń w ruchu drogowym oparty na jednoczesnej analizie danych wizyjnych i akustycznych. System jest częścią systemu automatycznego nadzoru bezpieczeństwa. Wykorzystuje on kamery i mikrofony jako źródła danych. Przedstawiono wykorzystane algorytmy - algorytmy rozpoznawania zdarzeń dźwiękowych oraz analizy obrazu. Zaprezentowano wyniki działania algorytmów na przykładzie...
-
Multi-Stage Video Analysis Framework
PublicationThe chapter is organized as follows. Section 2 presents the general structure of the proposed framework and a method of data exchange between system elements. Section 3 is describing the low-level analysis modules for detection and tracking of moving objects. In Section 4 we present the object classification module. Sections 5 and 6 describe specialized modules for detection and recognition of faces and license plates, respectively....
-
Music Mixing Process Controlled by Hand Gestures
PublicationW referacie przedstawiono system umożliwiający sterowanie procesami miksowania śladów nagrania muzycznego za pomocą gestów rąk. Przybliżono podstawy wielomodalnej percepcji argumentujące potrzebę powstania tego typu systemu oraz założenia przyjęte w trakcie jego tworzenia. Część sprzętowa systemu składa się z rzutnika multimedialnego, kamery internetowej, komputera klasy PC z zainstalowanym oprogramowaniem systemu oraz ekranu dla...
-
Music query and annotation processes supported by gaze fixation tracking
PublicationCelem referatu jest przegląd kluczowych zagadnień związanych z automatycznym wyszukiwaniem informacji muzycznej MIR - Music Information Retrieval. W pierwszej kolejności przedstawiono aktualne kierunki badań i rozwiązań systemowych związane z wyszukiwaniem i rekomendacją muzyki. Następnie zaprezentowano eksperymenty przeprowadzone na skonstruowanej bazie muzycznej. Pokazano również propozycję wspomagania procesu wyszukiwania i...
-
Music query and annotation processes supported by gaze fixation tracking
PublicationCelem artykułu jest przegląd kluczowych zagadnień związanych z automatycznym wyszukiwaniem informacji muzycznej MIR - Music Information Retrieval. W pierwszej kolejności przedstawiono aktualne kierunki badań i rozwiązań systemowych związane z wyszukiwaniem i rekomendacją muzyki. Następnie zaprezentowano eksperymenty przeprowadzone na skonstruowanej bazie muzycznej. Pokazano również propozycję wspomagania procesu wyszukiwania i...
-
New approach to railway noise modeling employing Genetic Algorithms
PublicationMain goal of this paper was to describe an innovative method of noise prediction based on Genetic Algorithms. First part of the paper addresses the problem of growing noise, mainly in the context of a unified method for measuring noise. Further, Genetic Algorithms are described with regards to their fundamental features. Further a description is provided as to how Genetic Algorithms were used in the area of noise modeling. Next...
-
Observing uncertainty in music tagging by automatic gaze tracking
PublicationIn this paper, a new approach to observe music file tagging process by employing a gaze tracking system is proposed. The study was conducted with the participation of twenty subjects having different musical experience. For the purpose of the experiments a website survey based on a musical database was prepared. It allowed to gather information about music experience of subjects along with music characteristics such as genre, tempo,...
-
Online pitch estimation using instantaneous complex frequency
PublicationW pracy opisano nowe wyniki dotyczące skuteczności algorytmu potokowego estymującego częstotliwość podstawową sygnału mowy. Algorytm wykorzystuje zespoloną pulsację chwilową dla klasyfikacji mowy na dźwięczną i bezdźwięczną oraz estymacji częstotliwości podstawowej dla każdej próbki sygnału. Skuteczność klasyfikacji oraz dokładność estymacji zostały ocenione eksperymentalnie z wykorzystaniem dwóch baz nagrań, zawierających wypowiedzi...
-
Performance Evaluation of the Parallel Codebook Algorithm for Background Subtraction in Video Stream
PublicationA background subtraction algorithm based on the codebook approach was implemented on a multi-core processor in a parallel form, using the OpenMP system. The aim of the experiments was to evaluate performance of the multithreaded algorithm in processing video streams recorded from monitoring cameras, depending on a number of computer cores used, method of task scheduling, image resolution and degree of image content variability....