Search
Department of Multimedia Systems
Publications
Filters
total: 924
Catalog Publications
Year 2016
-
Multimodal Attention Stimulator
PublicationMultimodal attention stimulator was proposed and tested for improving auditory and visual attention, including pupils with developmental dyslexia. Results of the conducted experiments shown that the designed stimulator can be used in order to improve comprehension during reading tasks. The changes in the visual attention, observed in reading test results, translate into the overall reading performance.
-
Multimodalne stanowisko do polisensorycznej diagnozy i stymulacji osób z zaburzeniami komunikacji
PublicationCelem komunikatu plakatowego jest prezentacja eksperymentalnego zintegrowanego systemu multimodalnego, przeznaczonego do wykorzystania w diagnozowaniu i stymulacji polisensorycznej osób niekomunikujących się, w szczególności osób z ciężkimi urazami mózgu. Interfejs użytkownika wykorzystuje śledzenie wzroku i monitorowanie elektroencefalograficzne. Ponadto elementami tego stanowiska są: emiter bodźców zapachowych oraz urządzenie...
-
Numerical modeling of sound intensity distributions around acoustic transducer
PublicationThe aim of this research study is to measure, simulate and compare sound intensity distribution generated by the acoustic transducers of the loudspeaker. The comparison of the gathered data allows for validating the numerical model of the acoustic radiation. An accurate model of a sound source is necessary in mathematical modeling of the sound field distribution near the scattering obstacles. An example of such obstacle is a human...
-
Parallel implementation of background subtraction algorithms for real-time video processing on a supercomputer platform
PublicationResults of evaluation of the background subtraction algorithms implemented on a supercomputer platform in a parallel manner are presented in the paper. The aim of the work is to chose an algorithm, a number of threads and a task scheduling method, that together provide satisfactory accuracy and efficiency of a real-time processing of high resolution camera images, maintaining the cost of resources usage at a reasonable level. Two...
-
Performance evaluation of the parallel object tracking algorithm employing the particle filter
PublicationAn algorithm based on particle filters is employed to track moving objects in video streams from fixed and non-fixed cameras. Particle weighting is based on color histograms computed in the iHLS color space. Particle computations are parallelized with CUDA framework. The algorithm was tested on various GPU devices: a desktop GPU card, a mobile chipset and two embedded GPU platforms. The processing speed depending on the number...
-
Performance of Noise Map Service Working in Cloud Computing Environment
PublicationIn the paper a noise map service designated for the user interested in environmental noise subject is presented. It is based on cloud computing. Noise prediction algorithm and source model, developed for creating acoustic maps, are working in cloud computing environment. In the study issues related to noise modeling of sound propagation in urban spaces are discussed with a special focus on road noise. Examples of results obtained...
-
Pomiar rozkładu wektora natężenia dźwięku w pobliżu dyfuzora akustycznego weryfikowany symulacją komputerową
PublicationProjektowanie adaptacji akustycznej pomieszczeń jest złożonym procesem, który wymaga możliwości przewidywania wpływu zastosowanych ustrojów akustycznych na sposób propagacji fal akustycznym w pomieszczeniu. Przykładem ustroju stosowanego do korekcji akustyki pomieszczeń jest dyfuzor akustyczny. Niniejsza praca opisuje proces pomiaru oraz numerycznej symulacji rozkładu wektora natężenia dźwięku w pobliżu dyfuzora. Analiza tego rozkładu...
-
Porównanie wyników klasyfikacji gatunków muzycznych uzyskanych za pomocą testów subiektywnych i algorytmów uczących się
PublicationCelem pracy jest przeprowadzenie testów subiektywnych rozróżniania gatunku muzycznego przez słuchaczy oraz dokonanie automatycznej klasyfikacji gatunków muzycznych przy pomocy wybranych algorytmów uczących się. W pierwszej kolejności przywołano genezę podziału na gatunki muzyczne. W ramach pracy zrealizowana została ankieta internetowa w celu umożliwienia odsłuchu i przypisania próbek dźwiękowych do wybranych gatunków muzycznych...
-
Procesor efektów dźwiękowych do gitary na urządzenia mobilne
PublicationW rozdziale przedstawiono sposób działania procesora efektów dźwiękowych do gitary, składającego się z układu elektronicznego i aplikacji pracującej w czasie rzeczywistym na urządzeniach mobilnych z systemem Android. W pierwszej części zaprezentowano układ (przejściówkę) w postaci przedwzmacniacza zasilanego z baterii, do którego podłącza się gitarę oraz urządzenie mobilne. W drugiej części referatu przedstawiono zaś proces przetwarzania...
-
Procesor efektów dźwiękowych do gitary na urządzenia oparte na systemie Android
PublicationW artykule przedstawiono procesor efektów dźwiękowych do gitary, składający się z układu elektronicznego i aplikacji pracującej w czasie rzeczywistym na urządzeniach mobilnych z systemem Android. W pierwszej części referatu przedstawiono proces przetwarzania dźwięku w aplikacji oraz interfejs użytkownika. Interfejs użytkownika napisany został w języku Java, wspartym językiem znaczników XML, zaś przetwarzanie dźwięku, ze względu...
-
Processing of acoustical data in a multimodal bank operating room surveillance system
PublicationAn automatic surveillance system capable of detecting, classifying and localizing acoustic events in a bank operating room is presented. Algorithms for detection and classification of abnormal acoustic events, such as screams or gunshots are introduced. Two types of detectors are employed to detect impulsive sounds and vocal activity. A Support Vector Machine (SVM) classifier is used to discern between the different classes of...
-
PRZEGLĄD METOD PRZETWARZANIA DŹWIĘKU WYKORZYSTYWANYCH W APARATACH SŁUCHOWYCH
PublicationNiniejszy artykuł odnosi się do aktualnego stanu technologii wykorzystywanych w cyfrowych aparatach słuchowych, ze szczególnym uwzględnieniem technik cyfrowego przetwarzania sygnałów dźwiękowych. W artykule przedstawiono czynniki mające wpływ na efektywność aparatów słuchowych, a także zaprezentowano przykłady nowoczesnych metod cyfrowego przetwarzania sygnałów. Przedstawiono również przykłady ograniczeń współczesnych aparatów...
-
Rough Set-Based Classification of EEG Signals Related to Real and Imagery Motion
PublicationA rough set-based approach to classification of EEG signals registered while subjects were performing real and imagery motions is presented in the paper. The appropriate subset of EEG channels is selected, the recordings are segmented, and features are extracted, based on time-frequency decomposition of the signal. Rough set classifier is trained in several scenarios, comparing accuracy of classification for real and imagery motion....
-
Rough Sets Applied to Mood of Music Recognition
PublicationWith the growth of accessible digital music libraries over the past decade, there is a need for research into automated systems for searching, organizing and recommending music. Mood of music is considered as one of the most intuitive criteria for listeners, thus this work is focused on the emotional content of music and its automatic recognition. The research study presented in this work contains an attempt to music emotion recognition...
-
Separability Assessment of Selected Types of Vehicle-Associated Noise
PublicationMusic Information Retrieval (MIR) area as well as development of speech and environmental information recognition techniques brought various tools in-tended for recognizing low-level features of acoustic signals based on a set of calculated parameters. In this study, the MIRtoolbox MATLAB tool, designed for music parameter extraction, is used to obtain a vector of parameters to check whether they are suitable for separation of...
-
Simple gait parameterization and 3D animation for anonymous visual monitoring based on augmented reality
PublicationThe article presents a method for video anonymization and replacing real human silhouettes with virtual 3D figures rendered on a screen. Video stream is processed to detect and to track objects, whereas anonymization stage employs animating avatars accordingly to behavior of detected persons. Location, movement speed, direction, and person height are taken into account during animation and rendering phases. This approach requires...
-
System Weryfikacji Autentyczności Podpisu Odręcznego
PublicationW referacie przedstawiono system statycznej i dynamicznej weryfikacji autentyczności podpisu odręcznego, składanego piórem biometrycznym, wyposażonym w 2 akcelerometry, 2 żyroskopy i 3 czujniki ścisku, na rezystancyjnej powierzchni dotykowej, łączącym się bezprzewodowo z urządzeniami komputerowymi. We wstępie przedstawiono architekturę sieciową wielomodalnego systemu biometrii. Przedstawiono warstwę sprzętową systemu weryfikacji...
-
Technologia dynamicznego podpisu biometrycznego
PublicationPrzedstawiono opracowane wyposażenie Multimodalnego stanowiska bankowego, udostępniającego możliwość identyfikacji biometrycznej. Omówiono integrację wielu metod biometrycznej weryfikacji tożsamości w zakresie sprzętowym i programowym. Uzasadniono możliwość zmniejszenia ryzyka błędnej weryfikacji tożsamości przy użyciu technologii dynamicznego podpisu biometrycznego. Zilustrowano budowę eksperymentalnego stanowiska bankowego na...
-
Video analytics-based algorithm for monitoring egress from buildings
PublicationA concept and a practical implementation of the algorithm for detecting of potentially dangerous situations related to crowding in passages is presented. An example of such a situation is a crush which may be caused by an obstructed pedestrian pathway. The surveillance video camera signal analysis performed in the online mode is employed in order to detect hold-ups near bottlenecks like doorways or staircases. The details of the...
-
ZASTOSOWANIA DRONÓW I SENSORÓW WIZYJNYCH I AKUSTYCZNYCH DO ZDALNEJ DETEKCJI I LOKALIZACJI OBIEKTÓW I ZDARZEŃ
PublicationW referacie przedstawiono wybrane sensory akustyczne i wizyjne i propozycje ich zastosowania do wykrywania i lokalizacji obiektów i zdarzeń z pokładu drona. Opisano pokrótce zastosowane algorytmy analizy strumieni, przedstawiono wyniki badań stworzonych prototypów i metod, zaimplementowanych na wydajnych układach GPU
-
Zastosowania elektroencefalograficznych interfejsów mózg-komputer do diagnozy i stymulacji osób po urazach mózgu
PublicationPrzeanalizowano i opisano nowe rozwiązania kasków EEG, dostępne w laboratorium Katedry Systemów Multimedialnych Politechniki Gdańskiej. Opisano koncepcje prowadzenia z ich użyciem testów diagnostycznych i sesji terapeutycznych, polegających na stymulacji polisensorycznej, z podkreśleniem roli tego typu metod w ocenie świadomości stanu pacjentów pourazowych i usprawniania komunikacji osobami po urazach mózgu. Przedstawiono także...
Year 2015
-
3D Sound Intensity Measurement Around Organ Pipes Using Acoustic Vector Sensors
PublicationThe aim of the presented paper was to obtain and visualize sound intensity distribution of radiated acoustic energy around the organ pipes. The experimental setup consisted of the multichannel acoustic vector sensor and the specialized Cartesian robot. Measurements were performed in free field with spatial resolution of 0.1 [m]. Two organ pipes, i.e. wooden and metal were measured during the ex-periment. The organ pipes were activated...
-
A method for counting people attending large public events
PublicationThe algorithm for people counting in crowded scenes, based on the idea of virtual gate which uses optical flow method is presented. The concept and practical application of the developed algorithm under real conditions is depicted. The aim of the work is to estimate the number of people passing through entrances of a large sport hall. The most challenging problem was the unpredicted behavior of people while entering the building....
-
Adaptive system for recognition of sounds indicating threats to security of people and property employing parallel processing of audio data streams
PublicationA system for recognition of threatening acoustic events employing parallel processing on a supercomputing cluster is featured. The methods for detection, parameterization and classication of acoustic events are introduced. The recognition engine is based onthreshold-based detection with adaptive threshold and Support Vector Machine classifcation. Spectral, temporal and mel-frequency descriptors are used as signal features. The...
-
Analiza drgań struny gitarowej z użyciem szybkich kamer
PublicationW referacie przedstawiono metodę analizy i wizualizacji ruchu struny gitarowej. Drgania struny zostały zarejestrowane za pomocą szybkich kamer. Układ optyczny zastosowany do rejestracji został dobrany w taki sposób, by móc obserwować drgania wzdłuż struny. Obrazy zarejestrowane za pomocą szybkich kamer zostały przeanalizowane za pomocą algorytmów cyfrowego przetwarzania sygnałów tak, aby z dużą dokładnością śledzić wychylenia i...
-
Analysis of impact of audio modifications on the robustness of watermark for non-blind architecture
PublicationThe aim of this paper is to assess the robustness of the non-blind audio content watermarking scheme proposed by the authors. The authors present the architecture of the designed system along with the employed workflows for embedding and extracting the watermark followed by the implementation phase description and the analysis of the experimental results. Some possible attack simulations on the embedded watermarks are reviewed,...
-
Application of auto calibration and linearization algorithms to improve sound quality of computer devices
PublicationAn application of auto calibration and linearization algorithms designed for correcting acoustic characteristics of selected computer devices was presented in the paper. The functionality of the algorithms were presented for two kind of computer devices: ultrabook class computer and portable device of All-In-One type. The algorithms were adjusted for the given type of the device on the basis of series of measurements conducted...
-
Application of Fast Cameras to String Vibrations Recording
PublicationA hardware and software solution for guitar string vibration measurement by fast cameras is described. Orthogonal setup for 3D image acquisition is proposed capable to capture several thousand image frames per second. Dedicated image processing algorithm was developed and described in the paper, aimed at tracking the movement of some selected points along the string. Fast and accurate tracking results provided a detailed information...
-
Automatyczna weryfikacja klienta bankowego w oparciu o multimodalne technologie biometryczne
PublicationW referacie przedstawiono przegląd rozwiązań wykorzystywanych w bankach do weryfikacji tożsamości klientów. Ponadto zawarto opis metod biometrycznych aktualnie wykorzystywanych w placówkach bankowych wraz z odniesieniem do skuteczności i wygody korzystania z dostępnych rozwiązań. Zaproponowano rozszerzenie zakresu wykorzystania technologii biometrycznych, wskazując kierunek rozwoju systemów bezpieczeństwa dla poprawy dostępu do...
-
AUTOMATYCZNE ROZPOZNAWANIE GATUNKÓW MUZYCZNYCH W APLIKACJI SYNTEZUJĄCEJ NISKIE CZĘSTOTLIWOŚCI W URZĄDZENIACH MOBILNYCH
PublicationW pracy został opisany inteligentny algorytm syntezy niskich częstotliwości w urządzeniach mobilnych (Smart VBS). Algorytm Smart VBS rozpoznaje gatunek muzyczny i w zależności od wskazania dobiera optymalne parametry syntezy niskich częstotliwości. Synteza niskich częstotliwości odbywa się z wykorzystaniem metody funkcji nieliniowych (NLD). Modyfikacji podlega wykorzystywana funkcja nieliniowa, liczba oraz poziom wzmocnienia dodawanych...
-
Bass Enhancement Settings in Portable Devices Based on Music Genre Recognition
PublicationThe paper presents a novel approach to the Virtual Bass Synthesis (VBS) applied to mobile devices, called Smart VBS (SVBS). The proposed algorithm uses an intelligent, rule-based setting of bass synthesis parameters adjusted to the particular music genre. Harmonic generation is based on a nonlinear device (NLD) method with the intelligent controlling system adapting to the recognized music genre. To automatically classify music...
-
"Creating a numerical model of noise conditions based on the analysis of traffic volume changes in cities with low and medium structure.
PublicationThe subject of this research study is to analyze noise conditions of the selected area in the city of Gdańsk using data related to traffic volume changes during a day. This is because daily distribution of noise levels is much more helpful for noise control and reduction than traditional maps with Lden levels indicated. Calculations are made with the use of a numerical model developed at the Gdansk Univ. of Technology and implemented...
-
"Creating a numerical model of noise conditions based on the analysis of traffic volume changes in cities with low and medium structure.
PublicationThe subject of this research study is to analyze noise conditions of the selected area in the city of Gdańsk using data related to traffic volume changes during a day. This is because daily distribution of noise levels is much more helpful for noise control and reduction than traditional maps with Lden levels indicated. Calculations are made with the use of a numerical model developed at the Gdansk Univ. of Technology and implemented...
-
Cross-domain applications of multimodal human-computer interfaces
PublicationDeveloped multimodal interfaces for education applications and for disabled people are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with mouth gestures and audio interface for speech stretching for hearing impaired and stuttering people and intelligent pen allowing for diagnosing and ameliorating developmental dyslexia. The eye-gaze tracking system named...
-
Development of the sound field 3D intensity probe based on miniature microphones
PublicationThe engineered measuring probe uses three pairs of miniature microphones coupled. The signals from the microphones after an initial amplification are fed to differential circuits. Due to the required symmetry of the circuit it was necessary to select electronic components very carefully. Moreover, additional digital signal processing techniques were applied to avoid amplitude and phase mismatch. The view of the engineered probe...
-
Dopasowanie charakterystyki dynamiki dźwięku do preferencji słuchowych użytkownika urządzeń mobilnych
PublicationW celu określenia preferowanej charakterystyki dynamiki generowanych dźwięków należy uzyskać informację, w jaki sposób użytkownik postrzega głośność dźwięków o różnym poziomie dźwięku. Poruszany problem należy rozpatrywać oddzielnie dla dwóch grup użytkowników – osób słyszących prawidłowo oraz osób z ubytkiem słuchu. W pierwszym przypadku należy zadbać o to, aby wyznaczona charakterystyka dynamiki właściwie przetwarzała dźwięki...
-
Enhanced voice user interface employing spatial filtration of signals from acoustic vector sensor
PublicationSpatial filtration of sound is introduced to enhance speech recognition accuracy in noisy conditions. An acoustic vector sensor (AVS) is employed. The signals from the AVS probe are processed in order to attenuate the surrounding noise. As a result the signal to noise ratio is increased. An experiment is featured in which speech signals are disturbed by babble noise. The signals before and after spatial filtration are processed...
-
Evaluation of a Novel Approach to Virtual Bass Synthesis Strategy
PublicationThe aim of this paper is to present a novel approach to the Virtual Bass Synthesis (VBS) strategy applied to portable computers. The developed algorithms involve intelligent, rule-based settings of bass synthesis parameters with regard to music genre of an audio excerpt and the type of a portable device in use. The Smart VBS algorithm performs the synthesis based on a nonlinear device (NLD) with artificial controlling synthesis...
-
Examining Influence of Distance to Microphone on Accuracy of Speech Recognition
PublicationThe problem of controlling a machine by the distant-talking speaker without a necessity of handheld or body-worn equipment usage is considered. A laboratory setup is introduced for examination of performance of the developed automatic speech recognition system fed by direct and by distant speech acquired by microphones placed at three different distances from the speaker (0.5 m to 1.5 m). For feature extraction from the voice signal...
-
Face Profile View Retrieval Using Time of Flight Camera Image Analysis
PublicationMethod for profile view retrieving of the human face is presented. The depth data from the 3D camera is taken as an input. The preprocessing is, besides of standard filtration, extended by the process of filling of the holes which are present in depth data. The keypoints, defined as the nose tip and the chin are detected in user’s face and tracked. The Kalman filtering is applied to smooth the coordinates of those points which...
-
GRAPHICAL REPRESENTATION OF MUSIC SET BASED ON MOOD OF MUSIC. GRAFICZNA PREZENTACJA ZBIORU MUZYCZNEGO OPARTA NA ANOTACJI NASTROJU MUZYKI
PublicationOne of the features for music recommendation, which is useful and intuitive for music listen-ers, is “mood”. The paper presents an approach to graphical representation of mood of music pieces. Subjective evaluation based on listening tests is performed for assigning mood labels of 150 pieces of music and placing them on the 2D mood plane. As a result, a map of songs is created, where music excerpts with similar mood are organized...
-
Knowledge representation of motor activity of patients with Parkinson’s disease
PublicationAn approach to the knowledge representation extraction from biomedical signals analysis concerning motor activity of Parkinson disease patients is proposed in this paper. This is done utilizing accelerometers attached to their body as well as exploiting video image of their hand movements. Experiments are carried out employing artificial neural networks and support vector machine to the recognition of characteristic motor activity...
-
Loudness Scaling Tests in Hearing Problems Detection
PublicationThe number of people using portable audio players has increased significantly over the recent years. This implies the rise in the number of people having hearing loss problems. Therefore, there is a need to find appropriate procedures that simplify the process of the hearing problem detection. Investigations performed show that audiometric tests may not be sufficient to assess hearing in young people. Contrarily, the obtained results...
-
Massive surveillance data processing with supercomputing cluster
PublicationIn recent years, increasingly complex algorithms for automated analysis of surveillance data are being developed. The rapid growth in the number of monitoring installations and higher expectations of the quality parameters of the captured data result in an enormous computational cost of analyzing the massive volume of data. In this paper a new model of online processing of surveillance data streams is proposed, which assumes the...
-
Measurements and Simulations of Engineered Ultrasound Loudspeakers
PublicationSimulation and measurement results of the sound emitted from an ultrasound custom-made system with high spatial directivity are presented. The proposed system is using modulated ultrasound waves which demodulate in nonlinear medium resulting in audible sound. The system is aimed at enhancing the users’ personal audio space, therefore the measurements are performed using the Head and Torso Simulator which provides realistic reproduction...
-
Measurements and visualization of sound field distribution around organ pipe
PublicationMeasurements and visualization of acoustic field around an organ pipe are presented. Sound intensity technique was applied for this purpose. Measurements were performed in free field. The organ pipe was activated with a constant air flow, produced by an external compressor, aimed at obtaining long-term steady state responses of generated acoustic signal. Sound energy distribution was measured in a defined fixed grid of points...
-
Measurements and Visualization of Sound Intensity Around the Human Head in Free Field Using Acoustic Vector Sensor
PublicationThis paper presents measurements and visualization of sound intensity around the human head simulator in a free field. A Cartesian robot, applied for precise positioning of the acoustic vector sensor, was used to measure sound intensity. Measurements were performed in a free field using a head and torso simulator and the setup consisting of four different loudspeaker configurations. The acoustic vector sensor was positioned around...
-
Measuring and Analyzing Audio Levels in Film, Commercials, and Movie Trailers Using Leq(A) Values and the LUFS Loudness Model . Analiza pomiarów dźwięku w filmie oraz w reklamach filmowych z wykorzystaniem modelu głośności
PublicationThe purpose of this paper is to describe the measurement of loudness levels in movies, movie trailers, and commercials displayed before feature films at movie theaters. In the initial section, the paper discusses the issues related to measurement of loudness levels, provides recommendations regarding permissible loudness levels during movie screenings, and mentions the applied units of measurement. The following section of the...
-
METODY BADANIA ODDZIAŁYWANIA PRZYDROŻNYCH REKLAM NA KIEROWCÓW Z ZASTOSOWANIEM TECHNOLOGII MULTIMEDIALNEJ
PublicationIstotnym problemem z punktu widzenia bezpieczeństwa ruchu drogowego jest właściwa lokalizacja reklam statycznych i dynamicznych w otoczeniu pasa drogowego. Celem niniejszej publikacji, nakierowanym na wspomaganie rozwiązywania wynikających z tego tytułu problemów, jest przedstawienie zakresu możliwych do wykonania, szeroko zakrojonych, wielopłaszczyznowych badań, wykorzystują- cych nowoczesne rozwiązania technologiczne, pozwalające...
-
Multiple sound sources localization in free field using acoustic vector sensor
PublicationMethod and preliminary results of multiple sound sources localization in free field using the acoustic vector sensor were presented in this study. Direction of arrival (DOA) for considered source was determined based on sound intensity method supported by Fourier analysis. Obtained spectrum components for considered signal allowed to determine the DOA value for the particular frequency independently. The accuracy of the developed...