Wyszukiwarka
Katedra Systemów Multimedialnych
Publikacje
Filtry
wszystkich: 908
Katalog Publikacji
Rok 2017
-
Sound intensity distribution around organ pipe
PublikacjaThe aim of the paper was to compare acoustic field around the open and stopped organ pipes. The wooden organ pipe was located in the anechoic chamber and activated with a constant air flow, produced by an external air-compressor. Thus, long-term steady state response was possible to obtain. Multichannel acoustic vector sensor was used to measure the sound intensity distribution of radiated acoustic energy. Measurements have been...
-
Stworzenie stereofonicznej ścieżki dźwiękowej do filmu symulującej dźwięk wielokanałowy
PublikacjaCelem referatu pracy jest przedstawienie procesu tworzenia stereofonicznej ścieżki dźwiękowej do filmu, symulującej dźwięk wielokanałowy w odsłuchu słuchawkowym. Opracowana symulacja dźwięku wielokanałowego wykorzystuje filtrację HRTF (ang. Head-Related-Transfer-Function). W celu umożliwienia jednoczesnego odsłuchu kilku partii instrumentalnych składających się na ścieżkę dźwiękową stworzona została aplikacja wraz z graficznym...
-
Surgical tool tracking by on-line selection of structural correlation filters
PublikacjaIn visual tracking of surgical instruments, correlation filtering finds the best candidate with maximal correlation peak. However, most trackers only consider capturing target appearance but not target structure. In this paper we propose surgical instrument tracking approach that integrates prior knowledge related to rotation of both shaft and tool tips. To this end, we employ rigid parts mixtures model of an instrument. The rigidly...
-
SYMULACJA DŹWIĘKU PRZESTRZENNEGO W ŚCIEŻCE DŹWIĘKOWEJ W ODSŁUCHU BINAURALNYM
PublikacjaCelem pracy jest przedstawienie aplikacji umożliwiającej tworzenie stereofonicznej ścieżki dźwiękowej do filmu, symulującej dźwięk przestrzenny w odsłuchu słuchawkowym. Interfejs przygotowanej aplikacji pozwala użytkownikowi na wybór rozmieszczenia konkretnych partii instrumentalnych w odpowiednich miejscach w przestrzeni dźwiękowej oraz jednoczesny odsłuch wszystkich ścieżek wraz z przygotowanym materiałem filmowym. Symulacja...
-
The project IDENT: Multimodal biometric system for bank client identity verification
PublikacjaBiometric identity verification methods are implemented inside a real banking environment comprising: dynamic handwritten signature verification, face recognition, bank cli-ent voice recognition and hand vein distribution verification. A secure communication system based on an intra-bank client-server architecture was designed for this purpose. Hitherto achieved progress within the project is reported in this paper with a focus...
-
Tracking Moving Objects in Video Surveillance Systems with Kalman and Particle Filters – A Practical Approach
PublikacjaThis Chapter focuses on the first type of object tracking algorithms, namely on Kalman and particle filters. A theory of these algorithms may be found in many publications, there are also reports on implementation of these approaches to object tracking in video. However, developers of VCA systems still face two important problems. The first one is related to obtaining accurate measurements of positions and sizes of the tracked...
-
Traffic Noise Analysis Applied to Automatic Vehicle Counting and Classification
PublikacjaProblems related to determining traffic noise characteristics are discussed in the context of automatic dynamic noise analysis based on noise level measurements and traffic prediction models. The obtained analytical results provide the second goal of the study, namely automatic vehicle counting and classification. Several traffic prediction models are presented and compared to the results of in-situ noise level measurements. Synchronized...
-
Voiceless Stop Consonant Modelling and Synthesis Framework Based on MISO Dynamic System
PublikacjaA voiceless stop consonant phoneme modelling and synthesis framework based on a phoneme modelling in low-frequency range and high-frequency range separately is proposed. The phoneme signal is decomposed into the sums of simpler basic components and described as the output of a linear multiple-input and single-output (MISO) system. The impulse response of each channel is a third order quasi-polynomial. Using this framework, the...
-
Wspomaganie komunikacji w procesie neurorehabilitacji z wykorzystaniem śledzenia wzroku i analizy sygnałów EEG
PublikacjaW pracy przedstawiono charakterystykę systemu do wspomagania komunikacji w procesie neurorehabilitacji osób w stanie ograniczonej świadomości. Przygotowana aplikacja komputerowa wykorzystuje metodę śledzenia wzroku wspomaganą analizą sygnału EEG. W pracy podano genezę powstania systemu, scharakteryzowano zaimplementowane ćwiczenia oraz pozostałe funkcjonalności, a także zamieszczono wyniki wstępnych badań dokonanych w kilku polskich...
Rok 2016
-
3D Acoustic Field Intensity Probe Design and Measurements
PublikacjaThe aim of this paper is two-fold. First, some basic notions on acoustic field intensity and its measurement are shortly recalled. Then, the equipment and the measurement procedure used in the sound intensity in the performed research study are described. The second goal is to present details of the design of the engineered 3D intensity probe, as well as the algorithms developed and applied for that purpose. Results of the intensity...
-
A concept of Signal Equalization Method Based on Music Genre and the Listener's Room Characteristics
PublikacjaA research study that investigates the influence of the room acoustics environment on the frequency characteristic of the audio signal playback is presented. First, a novel spectral equalization method of the room acoustic conditions is introduced. On the basis of the frequency response of the room, a system for room acoustics compensation based on eight-band equalizer is proposed. The system settings depend on music genre. In...
-
A handwritten signature verification method employing a tablet
PublikacjaA signature verification system based on static features and time-domain functions of signals obtained using a tablet has been presented in the paper. The signature verification method, based mainly on dynamic time warping coupled with some signature image features, has been described. The FRR measures reflecting the method's efficiency have been evaluated for verification attempts performed directly after obtaining model signatures...
-
A Study in Experimental Methods of Human-Computer Communication for Patients After Severe Brain Injuries
PublikacjaExperimental research in the domain of multimedia technology applied to medical practice is discussed, employing a prototype of integrated multimodal system to assist diagnosis and polysensory stimulation of patients after severe brain injury. The system being developed includes among others: eye gaze tracker, and EEG monitoring of non-communicating patients after severe brain injuries. The proposed solutions are used for collecting...
-
A study on signal processing methods applied to hearing aids
PublikacjaThis paper presents a short survey on current technology available in hearing aids with a focus on digital signal processing techniques used. First, factors influencing the hearing aid effectiveness are introduced. Then, examples of the present DSP methods and strategies are provided. Also, a description of current limitations of hearing aids and future trends of development are shown. Finally, the notion of computational auditory...
-
A system for acoustic field measurement employing cartesian robot
PublikacjaA system setup for measurements of acoustic field, together with the results of 3D visualisations of acoustic energy flow are presented in the paper. Spatial sampling of the field is performed by a Cartesian robot. Automatization of the measurement process is achieved with the use of a specialized control system. The method is based on measuring the sound pressure (scalar) and particle velocity (vector) quantities. The aim of the...
-
Adaptive Personal Tuning of Sound in Mobile Computers
PublikacjaAn integrated methodology for enhancing audio quality in mobile computers is presented. The key features are adaptation of the characteristics of their acoustic track to changing acoustic conditions of the environment and to users’ individual preferences. Signal processing algorithms are introduced that concern: linearization of frequency response, dialogue intelligibility enhancement, and dynamics processing tuned up to the users’...
-
Analiza stanu nawierzchni i klas pojazdów na podstawie parametrów ekstrahowanych z sygnału fonicznego
PublikacjaCelem badań jest poszukiwanie parametrów wektora cech ekstrahowanego z sygnału fonicznego w kontekście automatycznego rozpoznawania stanu nawierzchni jezdni oraz typu pojazdów. W pierwszej kolejności przedstawiono wpływ warunków pogodowych na charakterystykę widmową sygnału fonicznego rejestrowanego przy przejeżdżających pojazdach. Następnie, dokonano parametryzacji sygnału fonicznego oraz przeprowadzano analizę korelacyjną w celu...
-
Analiza sygnałów fonicznych w nagraniach pojazdów w zmiennych warunkach pogodowych
PublikacjaAkustyczna detekcja pojazdów jest najmniej inwazyjnym sposobem kontroli natężenia ruchu pojazdów w miastach. Charakteryzuje się ona również większą odpornością na warunki oświetleniowe i pogodowe. W niniejszym referacie przedstawiono wyniki parametryzacji sygnałów fonicznych dla sygnałów przejeżdżających pojazdów w kontekście zmian warunków atmosferycznych. W ramach badań przeprowadzono rejestrację wideofoniczną pojazdów w dwóch...
-
Analysis of soundscape recordings in close proximity to the road in changeable wather conditions
PublikacjaThe acoustic vehicle sensing is the least invasive type of traffic detection. Also, acoustic-based vehicle detection technology is insensitive to precipitation and can operate in low light level. Therefore, this kind of method may be used for automatic detection of the vehicle passage events. It can also be employed for measurements of a vehicle speed and the vehicle assignment to the particular category. In this paper the results...
-
Comparison of Acoustic and Visual Voice Activity Detection for Noisy Speech Recognition
PublikacjaThe problem of accurate differentiating between the speaker utterance and the noise parts in a speech signal is considered. The influence of utilizing a voice activity detection in speech signals on the accuracy of the automatic speech recognition (ASR) system is presented. The examined methods of voice activity detection are based on acoustic and visual modalities. The problem of detecting the voice activity in clean and noisy...
-
Complexity analysis of the Pawlak’s flowgraph extension for re-identification in multi-camera surveillance system
PublikacjaThe idea of Pawlak’s flowgraph turned out to be a useful and convenient container for a knowledge of objects’ behaviour and movements within the area observed with a multi-camera surveillance system. Utilization of the flowgraph for modelling behaviour admittedly requires certain extensions and enhancements, but it allows for combining many rules into a one data structure and for obtaining parameters describing how objects tend...
-
Detection, classification and localization of acoustic events in the presence of background noise for acoustic surveillance of hazardous situations
PublikacjaEvaluation of sound event detection, classification and localization of hazardous acoustic events in the presence of background noise of different types and changing intensities is presented. The methods for discerning between the events being in focus and the acoustic background are introduced. The classifier, based on a Support Vector Machine algorithm, is described. The set of features and samples used for the training of the...
-
Extraction of stable foreground image regions for unattended luggage detection
PublikacjaA novel approach to detection of stationary objects in the video stream is presented. Stationary objects are these separated from the static background, but remaining motionless for a prolonged time. Extraction of stationary objects from images is useful in automatic detection of unattended luggage. The proposed algorithm is based on detection of image regions containing foreground image pixels having stable values in time and...
-
Face detection algorithms evaluation for the bank client verification
PublikacjaResults of investigation of face detection algorithms in the video sequences are presented in the paper. The recordings were made with a miniature industrial USB camera in real conditions met in three bank operating rooms. The aim of the experiments was to check the practical usability of the face detection method in the biometric bank client verification system. The main assumption was to provide as much as possible user interaction...
-
Guitar String Sound Retrieved from Moving Pixels
PublikacjaThe aim of this study was to develop a method of visual recording and analyzing the vibrations of guitar strings using high-speed cameras and dedicated video processing algorithms. The recording of a plucked string reveals the way in which the deformations propagate, composing the standing and travelling wave. The paper compares the results for a few selected models of classical and acoustic guitars, and it involves processing...
-
Improving listeners' experience for movie playback through enhancing dialogue clarity in soundtracks
PublikacjaThis paper presents a method for improving users' quality of experience through processing of movie soundtracks. The dialogue clarity enhancement algorithms were introduced for detecting dialogue in movie soundtrack mixes and then for amplifying the dialogue components. The front channel signals (left, right, center) are analyzed in the frequency domain. The selected partials in the center channel signal, which yield high disparity...
-
Koncepcja korekcji sygnału dźwiękowego z uwzględnieniem charakterystyk częstotliwościowych pomieszczenia oraz gatunku muzycznego
PublikacjaW artykule została przedstawiona koncepcja automatycznego systemu korekcji z uwzględnieniem charakterystyki częstotliwościowej pomieszczenia oraz odtwarzanego gatunku muzycznego. Proponowany algorytm na podstawie charakterystyki częstotliwościowej pomieszczenia dokonuje kompensacji warunków akustycznych w otoczeniu emitera dźwięku. Dodatkowo w procesie kompensacji uwzględniana jest zawartość sygnału poprzez rozpoznanie rodzaju...
-
KORPUS MOWY ANGIELSKIEJ DO CELÓW MULTIMODALNEGO AUTOMATYCZNEGO ROZPOZNAWANIA MOWY
PublikacjaW referacie zaprezentowano audiowizualny korpus mowy zawierający 31 godzin nagrań mowy w języku angielskim. Korpus dedykowany jest do celów automatycznego audiowizualnego rozpoznawania mowy. Korpus zawiera nagrania wideo pochodzące z szybkoklatkowej kamery stereowizyjnej oraz dźwięk zarejestrowany przez matrycę mikrofonową i mikrofon komputera przenośnego. Dzięki uwzględnieniu nagrań zarejestrowanych w warunkach szumowych korpus...
-
Loudness Scaling Test Based on Categorical Perception
PublikacjaThe main goal of this research study is focused on creating a method for loudness scaling based on categorical perception. Its main features, such as: way of testing, calibration procedure for securing reliable results, employing natural test stimuli, etc., are described in the paper and assessed against a procedure that uses 1/2-octave bands of noise (LGOB) for the loudness growth estimation. The Mann-Whitney U-test is employed...
-
Material for Automatic Phonetic Transcription of Speech Recorded in Various Conditions
PublikacjaAutomatic speech recognition (ASR) is under constant development, especially in cases when speech is casually produced or it is acquired in various environment conditions, or in the presence of background noise. Phonetic transcription is an important step in the process of full speech recognition and is discussed in the presented work as the main focus in this process. ASR is widely implemented in mobile devices technology, but...
-
Methodology and technology for the polymodal allophonic speech transcription
PublikacjaA method for automatic audiovisual transcription of speech employing: acoustic and visual speech representations is developed. It adopts a combining of audio and visual modalities, which provide a synergy effect in terms of speech recognition accuracy. To establish a robust solution, basic research concerning the relation between the allophonic variation of speech, i.e. the changes in the articulatory setting of speech organs for...
-
Methodology and technology for the polymodal allophonic speech transcription
PublikacjaA method for automatic audiovisual transcription of speech employing: acoustic, electromagnetical articulography and visual speech representations is developed. It adopts a combining of audio and visual modalities, which provide a synergy effect in terms of speech recognition accuracy. To establish a robust solution, basic research concerning the relation between the allophonic variation of speech, i.e., the changes in the articulatory...
-
Modeling and Designing Acoustical Conditions of the Interior – Case Study
PublikacjaThe primary aim of this research study was to model acoustic conditions of the Courtyard of the Gdańsk University of Technology Main Building, and then to design a sound reinforcement system for this interior. First, results of measurements of the parameters of the acoustic field are presented. Then, the comparison between measured and predicted values using the ODEON program is shown. Collected data indicate a long reverberation...
-
Multimedia polysensory integration training system dedicated to children with educational difficulties
PublikacjaThis paper aims at presenting a multimedia system providing polysensory train- ing for pupils with educational difficulties. The particularly interesting aspect of the system lies in the sonic interaction with image projection in which sounds generated lead to stim- ulation of a particular part of the human brain. The system architecture, video processing methods, therapeutic exercises and guidelines for children’s interaction...
-
Multimodal Attention Stimulator
PublikacjaMultimodal attention stimulator was proposed and tested for improving auditory and visual attention, including pupils with developmental dyslexia. Results of the conducted experiments shown that the designed stimulator can be used in order to improve comprehension during reading tasks. The changes in the visual attention, observed in reading test results, translate into the overall reading performance.
-
Multimodalne stanowisko do polisensorycznej diagnozy i stymulacji osób z zaburzeniami komunikacji
PublikacjaCelem komunikatu plakatowego jest prezentacja eksperymentalnego zintegrowanego systemu multimodalnego, przeznaczonego do wykorzystania w diagnozowaniu i stymulacji polisensorycznej osób niekomunikujących się, w szczególności osób z ciężkimi urazami mózgu. Interfejs użytkownika wykorzystuje śledzenie wzroku i monitorowanie elektroencefalograficzne. Ponadto elementami tego stanowiska są: emiter bodźców zapachowych oraz urządzenie...
-
Numerical modeling of sound intensity distributions around acoustic transducer
PublikacjaThe aim of this research study is to measure, simulate and compare sound intensity distribution generated by the acoustic transducers of the loudspeaker. The comparison of the gathered data allows for validating the numerical model of the acoustic radiation. An accurate model of a sound source is necessary in mathematical modeling of the sound field distribution near the scattering obstacles. An example of such obstacle is a human...
-
Parallel implementation of background subtraction algorithms for real-time video processing on a supercomputer platform
PublikacjaResults of evaluation of the background subtraction algorithms implemented on a supercomputer platform in a parallel manner are presented in the paper. The aim of the work is to chose an algorithm, a number of threads and a task scheduling method, that together provide satisfactory accuracy and efficiency of a real-time processing of high resolution camera images, maintaining the cost of resources usage at a reasonable level. Two...
-
Performance evaluation of the parallel object tracking algorithm employing the particle filter
PublikacjaAn algorithm based on particle filters is employed to track moving objects in video streams from fixed and non-fixed cameras. Particle weighting is based on color histograms computed in the iHLS color space. Particle computations are parallelized with CUDA framework. The algorithm was tested on various GPU devices: a desktop GPU card, a mobile chipset and two embedded GPU platforms. The processing speed depending on the number...
-
Performance of Noise Map Service Working in Cloud Computing Environment
PublikacjaIn the paper a noise map service designated for the user interested in environmental noise subject is presented. It is based on cloud computing. Noise prediction algorithm and source model, developed for creating acoustic maps, are working in cloud computing environment. In the study issues related to noise modeling of sound propagation in urban spaces are discussed with a special focus on road noise. Examples of results obtained...
-
Pomiar rozkładu wektora natężenia dźwięku w pobliżu dyfuzora akustycznego weryfikowany symulacją komputerową
PublikacjaProjektowanie adaptacji akustycznej pomieszczeń jest złożonym procesem, który wymaga możliwości przewidywania wpływu zastosowanych ustrojów akustycznych na sposób propagacji fal akustycznym w pomieszczeniu. Przykładem ustroju stosowanego do korekcji akustyki pomieszczeń jest dyfuzor akustyczny. Niniejsza praca opisuje proces pomiaru oraz numerycznej symulacji rozkładu wektora natężenia dźwięku w pobliżu dyfuzora. Analiza tego rozkładu...
-
Porównanie wyników klasyfikacji gatunków muzycznych uzyskanych za pomocą testów subiektywnych i algorytmów uczących się
PublikacjaCelem pracy jest przeprowadzenie testów subiektywnych rozróżniania gatunku muzycznego przez słuchaczy oraz dokonanie automatycznej klasyfikacji gatunków muzycznych przy pomocy wybranych algorytmów uczących się. W pierwszej kolejności przywołano genezę podziału na gatunki muzyczne. W ramach pracy zrealizowana została ankieta internetowa w celu umożliwienia odsłuchu i przypisania próbek dźwiękowych do wybranych gatunków muzycznych...
-
Procesor efektów dźwiękowych do gitary na urządzenia mobilne
PublikacjaW rozdziale przedstawiono sposób działania procesora efektów dźwiękowych do gitary, składającego się z układu elektronicznego i aplikacji pracującej w czasie rzeczywistym na urządzeniach mobilnych z systemem Android. W pierwszej części zaprezentowano układ (przejściówkę) w postaci przedwzmacniacza zasilanego z baterii, do którego podłącza się gitarę oraz urządzenie mobilne. W drugiej części referatu przedstawiono zaś proces przetwarzania...
-
Procesor efektów dźwiękowych do gitary na urządzenia oparte na systemie Android
PublikacjaW artykule przedstawiono procesor efektów dźwiękowych do gitary, składający się z układu elektronicznego i aplikacji pracującej w czasie rzeczywistym na urządzeniach mobilnych z systemem Android. W pierwszej części referatu przedstawiono proces przetwarzania dźwięku w aplikacji oraz interfejs użytkownika. Interfejs użytkownika napisany został w języku Java, wspartym językiem znaczników XML, zaś przetwarzanie dźwięku, ze względu...
-
Processing of acoustical data in a multimodal bank operating room surveillance system
PublikacjaAn automatic surveillance system capable of detecting, classifying and localizing acoustic events in a bank operating room is presented. Algorithms for detection and classification of abnormal acoustic events, such as screams or gunshots are introduced. Two types of detectors are employed to detect impulsive sounds and vocal activity. A Support Vector Machine (SVM) classifier is used to discern between the different classes of...
-
PRZEGLĄD METOD PRZETWARZANIA DŹWIĘKU WYKORZYSTYWANYCH W APARATACH SŁUCHOWYCH
PublikacjaNiniejszy artykuł odnosi się do aktualnego stanu technologii wykorzystywanych w cyfrowych aparatach słuchowych, ze szczególnym uwzględnieniem technik cyfrowego przetwarzania sygnałów dźwiękowych. W artykule przedstawiono czynniki mające wpływ na efektywność aparatów słuchowych, a także zaprezentowano przykłady nowoczesnych metod cyfrowego przetwarzania sygnałów. Przedstawiono również przykłady ograniczeń współczesnych aparatów...
-
Rough Set-Based Classification of EEG Signals Related to Real and Imagery Motion
PublikacjaA rough set-based approach to classification of EEG signals registered while subjects were performing real and imagery motions is presented in the paper. The appropriate subset of EEG channels is selected, the recordings are segmented, and features are extracted, based on time-frequency decomposition of the signal. Rough set classifier is trained in several scenarios, comparing accuracy of classification for real and imagery motion....
-
Rough Sets Applied to Mood of Music Recognition
PublikacjaWith the growth of accessible digital music libraries over the past decade, there is a need for research into automated systems for searching, organizing and recommending music. Mood of music is considered as one of the most intuitive criteria for listeners, thus this work is focused on the emotional content of music and its automatic recognition. The research study presented in this work contains an attempt to music emotion recognition...
-
Separability Assessment of Selected Types of Vehicle-Associated Noise
PublikacjaMusic Information Retrieval (MIR) area as well as development of speech and environmental information recognition techniques brought various tools in-tended for recognizing low-level features of acoustic signals based on a set of calculated parameters. In this study, the MIRtoolbox MATLAB tool, designed for music parameter extraction, is used to obtain a vector of parameters to check whether they are suitable for separation of...
-
Simple gait parameterization and 3D animation for anonymous visual monitoring based on augmented reality
PublikacjaThe article presents a method for video anonymization and replacing real human silhouettes with virtual 3D figures rendered on a screen. Video stream is processed to detect and to track objects, whereas anonymization stage employs animating avatars accordingly to behavior of detected persons. Location, movement speed, direction, and person height are taken into account during animation and rendering phases. This approach requires...