Wyszukiwarka
Katedra Systemów Multimedialnych
Publikacje
Filtry
wszystkich: 890
Katalog Publikacji
-
Comparing some convolution-based methods for creation of surround sound
PublikacjaW referacie przedstawiono eksperymenty związane z symulacją dźwięku dookólnego w sali koncertowej. W tym celu wykorzystano splot odpowiedzi impulsowej z danego wnętrza (wielokanałowe nagrania odpowiedzi impulsowej) z nagraniami z komory bezechowej. Uzyskany w ten sposób sygnał został następnie przypisany do odpowiednich kanałów w systemie dookólnym. Uzyskane w ten sposób nagrania były następnie porównywane w testach subiektywnych...
-
Telemedycyna - czy może być interaktywna?
PublikacjaArtykuł zauważa ważną rolę i szybki rozwój telemedycyny. Obecnie aplikacje telemedyczne, stają się nawet jednym ze zwrotnych motorów napędowych przyśpieszających rozwój elektroniki i teleinformatyki. Wykorzystanie istniejącej technologii dla poprawy jakości życia społeczeństwa staje się w związku z tym zadaniem ważnym i pilnym. Nieliczne są wciąż jeszcze aplikacje interaktywne, tzn. takie, które zawierają elementy diagnostyki...
-
Interaktywne badania słuchu, wzroku i mowy
PublikacjaTelemedycyna jest jedną z najważniejszych i najszybciej rozwijających się technologii społeczeństwa informacyjnego. Pomimo dostępności wielu aplikacji, wciąż jeszcze brakuje aplikacji interaktywnych. W artykule zaprezentowano kilka przykładowych rozwiązań interaktywnych aplikacji telemedycznych, opartych na opracowaniach zrealizowanych w Katedrze Inżynierii Dźwięku i Obrazu PG.
-
Internetowa telediagnostyka urządzeń w obsłudze serwisowej.
PublikacjaPrzedstawiono system diagnostyczny do zdalnego testowania i lokalizowania uszkodzeń w elektronicznych podzespołach urządzeń powszechnego użytku. System składa się ze stanowiska doświadczalnego do konfigurowania i weryfikowania procedur diagnostycznych oraz prototypowego układu testera wbudowanego z dostępem internetowym. Zdalna diagnostyka jest rozpatrywana w aspekcie obsługi posprzedażnej w systemach CRM.
-
Digital waveguide models of the panpipes
PublikacjaW artykule przedstawiono główne cechy syntezy falowodowej. Omówiono cechy instrumentu fletni Pana. Przedyskutowano cechy zaproponowanych dwóch modeli fletni Pana różniących się złożonością obliczeniową. Pokazano szczegóły implementacyjne tych modeli, a także uzyskane wyniki symulacji dźwięków w modelach. Dokonano porównania dźwięków rzeczywistych i uzyskanych w wyniku syntezy falowodowej.
-
Usability study of various biometric techniques in bank branches
PublikacjaThe purpose of the presented research was to evaluate the performance of the prepared biometric algorithms and obtain information on the opinions and preferences of their users in bank branches. The study aimed to determine users' attitudes towards particular modalities and preferences on how to use biometrics after the bank customers had practical experience with the operation of the prototype solutions. The research results...
-
A commonly-accessible toolchain for live streaming music events with higher-order ambisonic audio and 4k 360 vision
PublikacjaAn immersive live stream is especially interesting in the ongoing development of telepresence tools, especially in the virtual reality (VR) or mixed reality (MR) domain. This paper explores the remote and immersive way of enabling telepresence for the audience to high-fidelity music performance using freely-available and easily-accessible tools. A functional VR live-streaming toolchain, comprising 360 vision and higher-order ambisonic...
-
Cross-Lingual Knowledge Distillation via Flow-Based Voice Conversion for Robust Polyglot Text-to-Speech
PublikacjaIn this work, we introduce a framework for cross-lingual speech synthesis, which involves an upstream Voice Conversion (VC) model and a downstream Text-To-Speech (TTS) model. The proposed framework consists of 4 stages. In the first two stages, we use a VC model to convert utterances in the target locale to the voice of the target speaker. In the third stage, the converted data is combined with the linguistic features and durations...
-
Reverberation divergence in VR applications
PublikacjaThe aim of this project was to investigate the correlation between virtual reality (VR) imagery and ambisonic sound. With the increasing popularity of VR applications, understanding how sound is perceived in virtual environments is crucial for enhancing the immersiveness of the experience. By examining the relationship between visual scenes and sound scenes, this research attempts to explore how the interaction between vision and...
-
A survey of automatic speech recognition deep models performance for Polish medical terms
PublikacjaAmong the numerous applications of speech-to-text technology is the support of documentation created by medical personnel. There are many available speech recognition systems for doctors. Their effectiveness in languages such as Polish should be verified. In connection with our project in this field, we decided to check how well the popular speech recognition systems work, employing models trained for the general Polish language....
-
Driver’s Condition Detection System Using Multimodal Imaging and Machine Learning Algorithms
PublikacjaTo this day, driver fatigue remains one of the most significant causes of road accidents. In this paper, a novel way of detecting and monitoring a driver’s physical state has been proposed. The goal of the system was to make use of multimodal imaging from RGB and thermal cameras working simultaneously to monitor the driver’s current condition. A custom dataset was created consisting of thermal and RGB video samples. Acquired data...
-
Comparison of the Ability of Neural Network Model and Humans to Detect a Cloned Voice
PublikacjaThe vulnerability of the speaker identity verification system to attacks using voice cloning was examined. The research project assumed creating a model for verifying the speaker’s identity based on voice biometrics and then testing its resistance to potential attacks using voice cloning. The Deep Speaker Neural Speaker Embedding System was trained, and the Real-Time Voice Cloning system was employed based on the SV2TTS, Tacotron,...
-
Bimodal Emotion Recognition Based on Vocal and Facial Features
PublikacjaEmotion recognition is a crucial aspect of human communication, with applications in fields such as psychology, education, and healthcare. Identifying emotions accurately is challenging, as people use a variety of signals to express and perceive emotions. In this study, we address the problem of multimodal emotion recognition using both audio and video signals, to develop a robust and reliable system that can recognize emotions...
-
Detection of Water on Road Surface with Acoustic Vector Sensor
PublikacjaThis paper presents a new approach to detecting the presence of water on a road surface, employing an acoustic vector sensor. The proposed method is based on sound intensity analysis in the frequency domain. Acoustic events, representing road vehicles, are detected in the sound intensity signals. The direction of the incoming sound is calculated for the individual spectral components of the intensity signal, and the components...
-
An automated, low-latency environment for studying the neural basis of behavior in freely moving rats
PublikacjaBackground Behavior consists of the interaction between an organism and its environment, and is controlled by the brain. Brain activity varies at sub-second time scales, but behavioral measures are usually coarse (often consisting of only binary trial outcomes). Results To overcome this mismatch, we developed the Rat Interactive Foraging Facility (RIFF): a programmable interactive arena for freely moving rats with multiple feeding...
-
Applying the Lombard Effect to Speech-in-Noise Communication
PublikacjaThis study explored how the Lombard effect, a natural or artificial increase in speech loudness in noisy environments, can improve speech-in-noise communication. This study consisted of several experiments that measured the impact of different types of noise on synthesizing the Lombard effect. The main steps were as follows: first, a dataset of speech samples with and without the Lombard effect was collected in a controlled setting;...
-
Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning
PublikacjaIn this work, we investigate exemplar-free class incremental learning (CIL) with knowledge distillation (KD) as a regularization strategy, aiming to prevent forgetting. KDbased methods are successfully used in CIL, but they often struggle to regularize the model without access to exemplars of the training data from previous tasks. Our analysis reveals that this issue originates from substantial representation shifts in the teacher...
-
How Can We Identify Electrophysiological iEEG Activities Associated with Cognitive Functions?
PublikacjaElectrophysiological activities of the brain are engaged in its various functions and give rise to a wide spectrum of low and high frequency oscillations in the intracranial EEG (iEEG) signals, commonly known as the brain waves. The iEEG spectral activities are distributed across networks of cortical and subcortical areas arranged into hierarchical processing streams. It remains a major challenge to identify these activities in...
-
Automatic audio signal mixing system based on one-dimensional Wave-U-Net autoencoders
PublikacjaThe purpose of this dissertation is to develop an automatic song mixing system that is capable of automatically mixing a song with good quality in any music genre. This work recalls first the audio signal processing methods used in audio mixing, and it describes selected methods for automatic audio mixing. Then, a novel architecture built based on one-dimensional Wave-U-Net autoencoders is proposed for automatic music mixing. Models...
-
Facilitating free travel in the Schengen area—A position paper by the European Association for Biometrics
PublikacjaDue to migration, terror-threats and the viral pandemic, various EU member states have re-established internal border control or even closed their borders. European Association for Biometrics (EAB), a non-profit organisation, solicited the views of its members on ways which biometric technologies and services may be used to help with re-establishing open borders within the Schengen area while at the same time mitigating any adverse...
-
Corrupted speech intelligibility improvement using adaptive filter based algorithm
PublikacjaA technique for improving the quality of speech signals recorded in strong noise is presented. The proposed algorithmemploying adaptive filtration is described and additional possibilities of speech intelligibility improvement arediscussed. Results of the tests are presented.
-
Human voice modification using instantaneous complex frequency
PublikacjaThe paper presents the possibilities of changing human voice by modifying instantaneous complex frequency (ICF) of the speech signal. The proposed method provides a flexible way of altering voice without the necessity of finding fundamental frequency and formants' positions or detecting voiced and unvoiced fragments of speech. The algorithm is simple and fast. Apart from ICF it uses signal factorization into two factors: one fully...
-
Fuzzy rule-based dynamic gesture recognition employing camera & multimedia projector
PublikacjaIn the paper the system based on camera and multimedia projector enabling a user to control computer applications by dynamic hand gestures is presented. The main objective is to present the gesture recognition methodology which bases on representing hand movement trajectory by motion vectors analyzed using fuzzy rule-based inference. The approach was engineered in the system developed with J2SE and C++ / OpenCV technology. OpenCV...
-
Support Vector Machine Applied to Road Traffic Event Classification
PublikacjaThe aim of this paper is to present results of road traffic event signal recognition. First, several types of systems for road traffic monitoring, including Intelligent Transport System (ITS) are shortly described. Then, assumptions of creating a database of vehicle signals recorded in different weather and road conditions are outlined. Registered signals were edited as single vehicle pass by. Using the Matlab-based application...
-
In Memoriam Professors Marianna Sankiewicz-Budzyński and Gustaw K.E. Budzyński - Founders of the Polish Audio Engineering
PublikacjaBiography and scientific achievements of Professors Marianna Sankiewicz-Budzyński and Gustaw K.E. Budzyński - Founders of the Polish Audio Engineering.
-
ZASTOSOWANIE APLIKACJI INTERNETOWEJ W OCENIE JAKOŚCI DOPASOWANIA APARATÓW SŁUCHOWYCH
PublikacjaW pracy opisano zastosowanie aplikacji internetowej do oceny jakości dopasowania aparatów słuchowych. Metoda oceny polega na badaniu ankietowym, uzupełnionym testem rozumienia słów jednosylabowych w polu swobodnym. Opisywana aplikacja internetowa pozwala na przeprowadzenie badania z dowolnego komputera z dostępem do sieci. Dzięki implementacji metody w postaci aplikacji internetowej, można w systematyczny i uporządkowany sposób...
-
Eksternalizacja w binauralnej ambisonicznej auralizacji źródeł kierunkowych
PublikacjaW artykule przedstawiono najważniejsze składniki procesu skutecznego renderowania trójwymiarowego obrazu dźwiękowego za pomocą słuchawek. W tym celu badany jest stopień oddziaływania poszczególnych czynników wpływających na eksternalizację dźwięku: śledzenie położenia głowy (ang. head tracking), indywidualne funkcje przenoszenia głowy (HRTF – Head Related Transfer Function, odnoszące się do matematycznej funkcji propagacji dźwięku...
-
Analysis of Lombard speech using parameterization and the objective quality indicators in noise conditions
PublikacjaThe aim of the work is to analyze Lombard speech effect in recordings and then modify the speech signal in order to obtain an increase in the improvement of objective speech quality indicators after mixing the useful signal with noise or with an interfering signal. The modifications made to the signal are based on the characteristics of the Lombard speech, and in particular on the effect of increasing the fundamental frequency...
-
Przykład zastosowania przetworników piezoelektrycznych do stworzenia elektronicznych padów na platformie sprzętowej Arduino
PublikacjaW pracy zaprezentowano autorskie urządzenie umożliwiające sterowania procesem wyzwalania dowolnych próbek dźwiękowych przy użyciu tak zwanych padów perkusyjnych w zewnętrznym samplerze. Pady stworzono za pomocą zestawu zabawkowej perkusji, przetworników piezoelektrycznych oraz specjalnie zaprogramowanej platformy sprzętowej Arduino.
-
Projektowanie oraz implementacja cyfrowego multiefektu gitarowego z wykorzystaniem procesora sygnałowego
PublikacjaW artykule został przedstawiony proces projektowania i realizacji cyfrowego multiefektu gitarowego z wykorzystaniem procesora sygnałowegoTMS320C5535 firmy Texas Instruments, dla którego oprogramowanie napisano w języku C. Omówiono zasady działania oraz algorytmy wybranych efektów dźwiękowych, które zostały zaimplementowane w procesorze sygnałowym. Zaprojektowano również uniwersalny moduł wejściowy zawierający wzmacniacz z regulowanym...
-
Investigating Feature Spaces for Isolated Word Recognition
PublikacjaMuch attention is given by researchers to the speech processing task in automatic speech recognition (ASR) over the past decades. The study addresses the issue related to the investigation of the appropriateness of a two-dimensional representation of speech feature spaces for speech recognition tasks based on deep learning techniques. The approach combines Convolutional Neural Networks (CNNs) and timefrequency signal representation...
-
Badanie wierności brzmienia dźwięku instrumentów wirtualnych VST/TRTAS
PublikacjaTematem referatu jest subiektywne badanie wierności brzmienia instrumentów wirtualnych (VST/TRTAS) wykorzystujących próbkowanie dźwięków rzeczywistych instrumentów muzycznych. Na potrzeby przedstawionej pracy wybrano kilka utworów muzyki orkiestrowej z epoki romantyzmu i klasycyzmu, nagranych przy użyciu instrumentów akustycznych. Następnie zaaranżowano fragmenty tych utworów, wykorzystując do tego instrumenty wirtualne i efekty...
-
METODA OCENY EFEKTYWNOŚCI KRÓTKOTERMINOWEGO STOSOWANIA APARATÓW SŁUCHOWYCH Z WYKORZYSTANIEM APLIKACJI INTERNETOWEJ
PublikacjaW pracy przedstawiono opracowanie metody oceny efektywności protezowania osób niedosłyszących aparatami słuchowymi. Metoda polega na badaniu ankietowym opartym na kwestionariuszu oceny APHAB uzupełnionym testem rozumienia słów jednosylabowych w polu swobodnym. Uwzględniono dodatkowe kryteria, takie jak: stopień ubytku słuchu, pomiar liczby dni i godzin korzystania z aparatów słuchowych oraz doświadczenia pacjenta. Metoda została...
-
Analiza Nagrań Ruchu Drogowego w Kontekście Akustycznej Klasyfikacji Typu Pojazdu
PublikacjaCelem niniejszej pracy jest przeprowadzenie analizy sygnału fonicznego w kontekście klasyfikacji typu pojazdu. Część teoretyczna zawiera krytyczny przegląd systemów monitorowania ruchu drogowego, w szczególności systemów ITS (Intelginet Transport System). Część praktyczna przedstawia założenia dotyczące przygotowania bazy nagrań testowych, uwzględniających różne scenariusze ruchu drogowego. Zarejestrowane sesje nagraniowe przetworzono,...
-
Adaptacja akustyczna pomieszczenia wykładowego - studium przypadku
PublikacjaW niniejszej pracy przedstawiono analizę rozkładu pola akustycznego sali wykładowej znajdującej się w budynku Wydziału Elektroniki i Telekomunikacji Politechniki Gdańskiej. Badania przeprowadzono metodą pomiarową oraz symulacyjną z wykorzystaniem programu Odeon. Wybór parametrów oceny akustyki wnętrz sugerowany jest wymaganiami stawianymi pomieszczeniom lekcyjnym z zaznaczeniem multimedialnego charakteru wykładów prowadzonych...
-
SYMULACJA DŹWIĘKU PRZESTRZENNEGO W ŚCIEŻCE DŹWIĘKOWEJ W ODSŁUCHU BINAURALNYM
PublikacjaCelem pracy jest przedstawienie aplikacji umożliwiającej tworzenie stereofonicznej ścieżki dźwiękowej do filmu, symulującej dźwięk przestrzenny w odsłuchu słuchawkowym. Interfejs przygotowanej aplikacji pozwala użytkownikowi na wybór rozmieszczenia konkretnych partii instrumentalnych w odpowiednich miejscach w przestrzeni dźwiękowej oraz jednoczesny odsłuch wszystkich ścieżek wraz z przygotowanym materiałem filmowym. Symulacja...
-
Editor's note and 2018 reviewers
PublikacjaPrzedmiotem pracy jest odniesienie do prac opublikowanych w 2018 roku, jak również do serii artykułów w ramach specjalnego wydania: Special Issue on Augmented and Participatory Sound and Music Interaction Using Semantic Audio.
-
Influence of the Delay in Monitor System on the Motor Coordination of Musicians while Performing
PublikacjaThis paper provides a description and results of measurements of the maximum acceptable value of delay tolerated by a musician, while playing an instrument, that does not cause de-synchronization and discomfort. First, methodology of measurements comprising audio recording and a fast camera is described. Then, themeasurement procedure for acquiring the maximum value of delay conditioning...
-
Usuwanie niejednolitego tła z obrazów tekstu przy użyciu zmodyfikowanego algorytmu wyostrzania i filtracji nieliniowej
PublikacjaCelem referatu jest przedstawienie algorytmu poprawy jakości obrazów zawierających tekst na niejednolitym tle. Pierwsza faza realizacji algorytmu obejmuje usunięcie tła poprzez wykorzystanie zmodyfikowanej operacji wyostrzania, w której od oryginalnego obrazu odejmowany jest wynik filtracji dolnoprzepustowej. W tym celu zaproponowano metodę wyznaczenia optymalnej wielkości maski filtru dolnoprzepustowego. W drugiej fazie działania...
-
Accidental wow evaluation based on sinusoidal modeling and neural nets prediction
PublikacjaReferat przedstawia opis algorytmu do określenia charakterystyki zniekształcenia kołysania dźwięku. Prezentowane podejście wykorzystuje sinusoidalną analizę dźwięku bazującą zarówno na amplitudowym jak i fazowym widmie sygnału fonicznego. Trajektorie poszczególnych składowych tonalnych, obrazujące zniekształcenie kołysania, określane są na podstawie analizy ich chwilowych amplitud, częstotliwości i faz. Dodatkowo referat przedstawia...
-
Musical instrument sound separation methods supported by artificial nueural network decision system
PublikacjaRozprawa doktorska (27 czerwica 2006).Celem prowadzonych prac badawczych było opracowanie algorytmów separacji dźwięków instrumentów muzycznych. Dodatkowo dobrano zestaw parametrów tak aby możliwe było wytrenowanie sztucznej sieci neuronowej w celu automatycznego rozpoznawania odseparowanych sygnałów. Zaproponowano również aby algorytm decyzyjny odpowiedzialny za klasyfikacje dźwięków pełnił funkcję automatycznej metody oceny algorytmów...
-
Systematic Literature Review for Emotion Recognition from EEG Signals
PublikacjaResearchers have recently become increasingly interested in recognizing emotions from electroencephalogram (EEG) signals and many studies utilizing different approaches have been conducted in this field. For the purposes of this work, we performed a systematic literature review including over 40 articles in order to identify the best set of methods for the emotion recognition problem. Our work collects information about the most...
-
Robust and Efficient Machine Learning Algorithms for Visual Recognition
PublikacjaIn visual recognition, the task is to identify and localize all objects of interest in the input image. With the ubiquitous presence of visual data in modern days, the role of object recognition algorithms is becoming more significant than ever and ranges from autonomous driving to computer-aided diagnosis in medicine. Current models for visual recognition are dominated by models based on Convolutional Neural Networks (CNNs), which...
-
Systematic Literature Review for Emotion Recognition from EEG Signals
PublikacjaResearchers have recently become increasingly interested in recognizing emotions from electroencephalogram (EEG) signals and many studies utilizing different approaches have been conducted in this field. For the purposes of this work, we performed a systematic literature review including over 40 articles in order to identify the best set of methods for the emotion recognition problem. Our work collects information about the most...
-
Broadening the scope of measurement and analysis of vibrations of an organ pipe employing intensity probe, simulations, and highspeed camera
PublikacjaThis paper shows an integrated approach to measure, analyze, and model phenomena occurring in an organ pipe driven by pressurized air. The aim of this paper is two-fold, i.e., to measure the pressure signal and the intensity field around the mouth by means of an intensity probe and to visualize and observe the motion of the air jet, which represents the excitation mechanism of the system. This is realized through two techniques,...
-
Klasyfikacja emocji w muzyce filmowej z wykorzystaniem uczenia głębokiego
PublikacjaPraca przedstawia zagadnienia związane z klasyfikacją emocji w muzyce filmowej. W artykule zaproponowano model emocji zawierający dziewięć stanów emocjonalnych, do których przypisany jest kolor zgodnie z teorią koloru w filmie. Kolejne kroki eksperymentu obejmowały wybór muzyki filmowej do testów (baza Epidemic Sound), przygotowanie założeń ankiety oraz modelu emocji wykorzystywanych w testach odsłuchowych, a także konstrukcję...
-
Subjective tests for gathering konwledge for applaying color grading to video clips automatically
PublikacjaThe analysis of film music concerning caused emotions may allow for a more accurate adaptation of the color of the film in the context of color grading. Therefore, this paper aims to gather knowledge on the correlation between the applied color palette to a video clip, music associated with a particular shot,and emotions evoked. For that purpose, subjective tests are prepared in which several video clips are presented with...
-
Adaptive traffic optimization using Variable Speed Limits; Adaptacyjna optymalizacja ruchu drogowego przy pomocy zmiennych ograniczeń prędkości
PublikacjaVariable speed limits (VSL) is an intelligent transportation system (ITS) solution for traffic management. The speed limits can be changed dynamically in order to adapt to traffic, weather, or road surface conditions. This paper presents an approach for such an adaptive traffic control where the primary goal is to ensure traffic safety and efficiency of the traffic control system (fast response to dynamically changing traffic,...
-
Constructing a Dataset of Speech Recordingswith Lombard Effect
PublikacjaThepurpose of therecordings was to create a speech corpus based on the ISLEdataset, extended with video and Lombard speech. Selected from a set of 165sentences, 10, evaluatedas having thehighest possibility to occur in the context ofthe Lombard effect,were repeated in the presence of the so-called babble speech to obtain Lombard speech features. Altogether,15speakers were recorded, and speech parameterswere...
-
Chór wirtualny
PublikacjaWiosna roku 2020 została zapisana emocjami, które należy zaliczać do tych niepożądanych. Praca on-line stała się jedyną możliwą formą pracy z zespołem. Prekursorem pomysłu wirtualnego chóru był amerykański kompozytor i dyrygent Eric Whitacre. Eric wybrał do wykonania przez chór wirtualny utwory posiadające wspólne cechy. Kolejnym poruszanym zagadnieniem jest stworzenie przestrzennego dźwięku. Technologia na której opiera się dźwięk...