Wyszukiwarka
Katedra Systemów Multimedialnych
Publikacje
Filtry
wszystkich: 890
Katalog Publikacji
-
Processing of musical data employing rough sets and artificial neural networks
PublikacjaArtykuł opisuje założenia systemu automatycznej identyfikacji muzyki i dźwięków muzycznych. Dokonano przeglądu standardu MPEG-7, ze szczególnym naciskiem na parametry opisowe dźwięku. Przedyskutowano problemy analizy danych audio, związane z zastosowaniami wykorzystującymi MPEG-7. W oparciu o eksperymenty przedstawiono efektywność deskryptorów niskiego poziomu w automatycznym rozpoznawaniu dźwięków instrumentów muzycznych. Przedyskutowano...
-
Comparison of effectiveness of musical sound separation algorithms employing neural networks.
PublikacjaNiniejszy referat przedstawia kilka algorytmów służących do separacji dźwięków instrumentów muzycznych. Zaproponowane podejście do dekompozycji miksów dźwiękowych opiera się na założeniu, że wysokość dźwięków w miksie jest znana, tzn. wejściem dla algorytmów jest przebieg zmian wysokości dźwięków składowych miksu. Proces estymacji fazy i amplitudy składowych harmonicznych wykorzystuje dopasowywanie zespolonych przebiegów harmonicznych...
-
Estimation of musical sound separation algorithm effectiveness employing neural networks.
PublikacjaŚlepa separacja dźwięków sygnałów muzycznych zawartych w zmiksowanym materiale jest trudnym zadaniem. Jest to spowodowane tym, że dźwięki znajdujące się w relacjach harmonicznych mogą zawierać kolidujące składowe sinusoidalne (składowe harmoniczne). Ewaluacja wyników separacji jest również problematyczna, gdyż analiza błędu energetycznego często nie odzwierciedla subiektywnej jakości odseparowanych sygnałów. W tej publikacji zostały...
-
Automatic evaluation of sound separation quality
PublikacjaW publikacji tej opisano problem oceny efektywności algorytmów separacji dźwięków muzycznych. Standardowa procedure służąca do takiej oceny nie istnieje. Najbardziej uzasadnionym podejściem wydają się być odsłuchowe testy subiektywne. Niemniej, aby taka ocena była wartościowa, niezbędna jest porządna walidacja statystyczna wyników, co oznacza iż grupa ekspertów powinna być duża oraz właściwości akustyczne pomieszczenia. Ponadto...
-
Akustyka sali widowiskowej z zainstalowanym systemem elektroakustycznym
PublikacjaW referacie przedstawiono i omówiono wyniki pomiarów podstawowych parametrów akustycznych sali widowiskowej w Domu Kultury. Sala, w obrysie prostokątna, posiada 250 miejsc. W szczególności skonfrontowano wyniki pomiarów uzyskane przy pobudzeniu poprzez zainstalowany w niej system system elektroakustyczny z wynikami uzyskanymi przy klasycznej metodzie z pobudzeniem pojedynczym źródłem impulsu - strzałami z pistoletu startowego....
-
A commonly-accessible toolchain for live streaming music events with higher-order ambisonic audio and 4k 360 vision
PublikacjaAn immersive live stream is especially interesting in the ongoing development of telepresence tools, especially in the virtual reality (VR) or mixed reality (MR) domain. This paper explores the remote and immersive way of enabling telepresence for the audience to high-fidelity music performance using freely-available and easily-accessible tools. A functional VR live-streaming toolchain, comprising 360 vision and higher-order ambisonic...
-
Cross-Lingual Knowledge Distillation via Flow-Based Voice Conversion for Robust Polyglot Text-to-Speech
PublikacjaIn this work, we introduce a framework for cross-lingual speech synthesis, which involves an upstream Voice Conversion (VC) model and a downstream Text-To-Speech (TTS) model. The proposed framework consists of 4 stages. In the first two stages, we use a VC model to convert utterances in the target locale to the voice of the target speaker. In the third stage, the converted data is combined with the linguistic features and durations...
-
Reverberation divergence in VR applications
PublikacjaThe aim of this project was to investigate the correlation between virtual reality (VR) imagery and ambisonic sound. With the increasing popularity of VR applications, understanding how sound is perceived in virtual environments is crucial for enhancing the immersiveness of the experience. By examining the relationship between visual scenes and sound scenes, this research attempts to explore how the interaction between vision and...
-
A survey of automatic speech recognition deep models performance for Polish medical terms
PublikacjaAmong the numerous applications of speech-to-text technology is the support of documentation created by medical personnel. There are many available speech recognition systems for doctors. Their effectiveness in languages such as Polish should be verified. In connection with our project in this field, we decided to check how well the popular speech recognition systems work, employing models trained for the general Polish language....
-
Driver’s Condition Detection System Using Multimodal Imaging and Machine Learning Algorithms
PublikacjaTo this day, driver fatigue remains one of the most significant causes of road accidents. In this paper, a novel way of detecting and monitoring a driver’s physical state has been proposed. The goal of the system was to make use of multimodal imaging from RGB and thermal cameras working simultaneously to monitor the driver’s current condition. A custom dataset was created consisting of thermal and RGB video samples. Acquired data...
-
Comparison of the Ability of Neural Network Model and Humans to Detect a Cloned Voice
PublikacjaThe vulnerability of the speaker identity verification system to attacks using voice cloning was examined. The research project assumed creating a model for verifying the speaker’s identity based on voice biometrics and then testing its resistance to potential attacks using voice cloning. The Deep Speaker Neural Speaker Embedding System was trained, and the Real-Time Voice Cloning system was employed based on the SV2TTS, Tacotron,...
-
Bimodal Emotion Recognition Based on Vocal and Facial Features
PublikacjaEmotion recognition is a crucial aspect of human communication, with applications in fields such as psychology, education, and healthcare. Identifying emotions accurately is challenging, as people use a variety of signals to express and perceive emotions. In this study, we address the problem of multimodal emotion recognition using both audio and video signals, to develop a robust and reliable system that can recognize emotions...
-
Detection of Water on Road Surface with Acoustic Vector Sensor
PublikacjaThis paper presents a new approach to detecting the presence of water on a road surface, employing an acoustic vector sensor. The proposed method is based on sound intensity analysis in the frequency domain. Acoustic events, representing road vehicles, are detected in the sound intensity signals. The direction of the incoming sound is calculated for the individual spectral components of the intensity signal, and the components...
-
An automated, low-latency environment for studying the neural basis of behavior in freely moving rats
PublikacjaBackground Behavior consists of the interaction between an organism and its environment, and is controlled by the brain. Brain activity varies at sub-second time scales, but behavioral measures are usually coarse (often consisting of only binary trial outcomes). Results To overcome this mismatch, we developed the Rat Interactive Foraging Facility (RIFF): a programmable interactive arena for freely moving rats with multiple feeding...
-
Applying the Lombard Effect to Speech-in-Noise Communication
PublikacjaThis study explored how the Lombard effect, a natural or artificial increase in speech loudness in noisy environments, can improve speech-in-noise communication. This study consisted of several experiments that measured the impact of different types of noise on synthesizing the Lombard effect. The main steps were as follows: first, a dataset of speech samples with and without the Lombard effect was collected in a controlled setting;...
-
Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning
PublikacjaIn this work, we investigate exemplar-free class incremental learning (CIL) with knowledge distillation (KD) as a regularization strategy, aiming to prevent forgetting. KDbased methods are successfully used in CIL, but they often struggle to regularize the model without access to exemplars of the training data from previous tasks. Our analysis reveals that this issue originates from substantial representation shifts in the teacher...
-
Selective monitoring of noise emitted by vehicles involved in road traffic
PublikacjaAn acoustic intensity probe was developed measures the sound intensity in three orthogonal directions, making possible to calculate the azimuth and elevation angles, describing the sound source position. The acoustic sensor is made in the form of a cube with a side of 10 mm, on the inner surfaces of which the digital MEMS microphones are mounted. The algorithm works in two stages. The first stage is based on the analysis of sound...
-
Techniki wielokanałowe wykorzystywane w koncertach i nagraniach muzycznych na odległość
PublikacjaW czasie pandemii koronawirusa COVID-19 nowego znaczenia nabrały możliwości transmisji dźwięku z obrazem – zwłaszcza do pracy zdalnej, która w przypadku muzyków jest szczególnym wyzwaniem zarówno w kontekście wspólnych ćwiczeń i prób, jak i koncertów. Wynikła konieczność wieloźródłowego połączenia ujawniła potrzebę uprzestrzennienia dźwięku w celu łatwiejszej lokalizacji źródeł dźwięku. Tworzenie zdalnych nagrań muzycznych stało...
-
Robust Object Detection with Multi-input Multi-output Faster R-CNN
PublikacjaRecent years have seen impressive progress in visual recognition on many benchmarks, however, generalization to the out-of-distribution setting remains a significant challenge. A state-of-the-art method for robust visual recognition is model ensembling. However, recently it was shown that similarly competitive results could be achieved with a much smaller cost, by using multi-input multi-output architecture (MIMO). In this work,...
-
Production of six-degrees-of-freedom (6DoF) navigable audio using 30 Ambisonic microphones
PublikacjaThis paper describes a method for planning, recording, and post-production of six-degrees-of-freedom audio recorded with multiple 3rd order Ambisonic microphone arrays. The description is based on the example of recordings conducted in August 2020 with the Poznan Philharmonic Orchestra using 30 units of Zylia ZM-1S. A convenient way to prepare and organize such a big project is proposed – this involves details of stage planning,...
-
Ambisoniczna mapa wybranych miejsc w Trójmieście
PublikacjaProjekt miał na celu stworzenie ambisonicznej mapy Trójmiasta w formie aplikacji internetowej. Materiały wideo w technologii 360 z dźwiękiem w postaci sygnału ambisonicznego zostały zarejestrowane w lokalizacjach Trójmiasta, które uznano za charakterystyczne dla tej aglomeracji. Celem badawczym projektu było porównanie dostępnych algorytmów miksowania sygnałów ambisonicznych poprzez przeprowadzenie testów odsłuchowych. Przeprowadzono...
-
Automatic Marking of Allophone Boundaries in Isolated English spoken Words
PublikacjaThe work presents a method that allows delimiting the borders of allophones in isolated English words. The described method is based on the DTW algorithm combining two signals, a reference signal and an analyzed one. As the reference signal, recordings from the MODALITY database were used, from which the words were extracted. This database was also used for tests, which were described. Test results show that the automatic determination...
-
O nadjeżdżającej rewolucji w transporcie
Publikacja1,3 miliona – tyle osób rocznie na świecie ginie w wypadkach drogowych. Ponad 20 milionów zostaje rannych! 4 miliardy złotych – prawie tyle rocznie tracą kierowcy w 7 największych miastach w Polsce z powodu korków (a są to jedynie szacowane koszty straconego czasu i paliwa, bez uwzględnienia np. negatywnego wpływu na środowisko). Czy możemy coś z tym zrobić?
-
Akustyczna analiza parametrów ruchu drogowego z wykorzystaniem informacji o hałasie oraz uczenia maszynowego
PublikacjaCelem rozprawy było opracowanie akustycznej metody analizy parametrów ruchu drogowego. Zasada działania akustycznej analizy ruchu drogowego zapewnia pasywną metodę monitorowania natężenia ruchu. W pracy przedstawiono wybrane metody uczenia maszynowego w kontekście analizy dźwięku (ang.Machine Hearing). Przedstawiono metodologię klasyfikacji zdarzeń w ruchu drogowym z wykorzystaniem uczenia maszynowego. Przybliżono podstawowe...
-
Metoda i system adaptacyjnego sterowania parametrami algorytmu syntezy niskich częstotliwości dźwięków muzycznych
PublikacjaW ostatnich latach można zaobserwować bardzo wyraźny i systematyczny wzrost wykorzystywania urządzeń mobilnych jako środka do odtwarzania muzyki, czy odtwarzania filmów w dowolnych warunkach akustycznych. Ich użytkownicy oczekują przy tym jak najlepszych walorów brzmieniowych dźwięku. W niniejszej rozprawie zostały zaproponowane metody, mające na celu poprawę brzmienia urządzeń mobilnych w zakresie niskich częstotliwości i korekcji...
-
Wind Turbines Modeling as the Tool for Developing Algorithms of Processing their Video Recordings
PublikacjaIn the real world, many factors exist disturbing observation of the examined phenomena and causing various noises and distortions in recorded signals. It very often makes it difficult or even impossible to optimize various signal processing algorithms, through finding appropriate parameters. In this paper, we show an application, that retrieves wind turbine rotor speed from recorded video. Next, we describe the process of reduction...
-
Music signal equalization in a changing environment
PublikacjaThe paper presents the concept of an automatic system for music signal correction, considering room frequency response and music genre being played. The proposed algorithm, based on the room frequency response, compensates acoustic conditions surrounding the sound source. Additionally, the compensation process considers the signal content by recognizing music genre. As part of the described research, a series of subjective tests...
-
A Concept of Automatic Film Color Grading Based on Music Recognition and Evoked Emotions
PublikacjaThe article presents the aspects of the final selection of the color of shots in film production based on the psychology of color. First of all, the elements of color processing, contrast, saturation or white balance in the film shots were presented and the definition of color grading was given. In the second part of the article the analysis of film music was conducted in the context of stimulating appropriate emotions while watching...
-
Recovering Sound Produced by Wind Turbine Structures Employing Video Motion Magnification
PublikacjaThe recordings were made with a fast video camera and with a microphone. Using fast cameras allowed for observation of the micro vibrations of the object structure. Motion-magnified video recordings of wind turbines on a wind farm were made for the purpose of building a damage prediction system. An idea was to use video to recover sound & vibrations in order to obtain a contactless diagnostic method for wind turbines. The recovered signals...
-
Real and Virtual Instruments in Machine Learning – Training and Comparison of Classification Results
PublikacjaThe continuous growth of the computing power of processors, as well as the fact that computational clusters can be created from combined machines, allows for increasing the complexity of algorithms that can be trained. The process, however, requires expanding the basis of the training sets. One of the main obstacles in music classification is the lack of high-quality, real-life recording database for every instrument with a variety...
-
Style Transfer for Detecting Vehicles with Thermal Camera
PublikacjaIn this work we focus on nighttime vehicle detection for intelligent traffic monitoring from the thermal camera. To train a Convolutional Neural Network (CNN) detector we create a stylized version of COCO (Common Objects in Context) dataset using Style Transfer technique that imitates images obtained from thermal cameras. This new dataset is further used for fine-tuning of the model and as a result detection accuracy on images...
-
Automatic labeling of traffic sound recordings using autoencoder-derived features
PublikacjaAn approach to detection of events occurring in road traffic using autoencoders is presented. Extensions of existing algorithms of acoustic road events detection employing Mel Frequency Cepstral Coefficients combined with classifiers based on k nearest neighbors, Support Vector Machines, and random forests are used. In our research, the acoustic signal gathered from the microphone placed near the road is split into frames and converted...
-
The influence of sound track on the viewer’s emotions and correction of the color in the film
PublikacjaThe article presents the aspects of the final selection of colors in film production based on the emotions caused by the soundtrack of the film. First, the processing of colors, contrast, saturation and white balance of shots in the film was presented. The definition of color grading is also described, i.e. the color changes in the film's views. In the second part of the article, the soundtracks of the film were analyzed, in particular...
-
Relationship between album cover design and music genres.
PublikacjaThe aim of the study is to find out whether there exists a relationship between typographic, compositional and coloristic elements of the music album cover design and music contained in the album. The research study involves basic statistical analysis of the manually extracted data coming from the worldwide album covers. The samples represent 34 different music genres, coming from nine countries from around the world. There are...
-
Automatic audio signal mixing system based on one-dimensional Wave-U-Net autoencoders
PublikacjaThe purpose of this dissertation is to develop an automatic song mixing system that is capable of automatically mixing a song with good quality in any music genre. This work recalls first the audio signal processing methods used in audio mixing, and it describes selected methods for automatic audio mixing. Then, a novel architecture built based on one-dimensional Wave-U-Net autoencoders is proposed for automatic music mixing. Models...
-
Facilitating free travel in the Schengen area—A position paper by the European Association for Biometrics
PublikacjaDue to migration, terror-threats and the viral pandemic, various EU member states have re-established internal border control or even closed their borders. European Association for Biometrics (EAB), a non-profit organisation, solicited the views of its members on ways which biometric technologies and services may be used to help with re-establishing open borders within the Schengen area while at the same time mitigating any adverse...
-
Usability study of various biometric techniques in bank branches
PublikacjaThe purpose of the presented research was to evaluate the performance of the prepared biometric algorithms and obtain information on the opinions and preferences of their users in bank branches. The study aimed to determine users' attitudes towards particular modalities and preferences on how to use biometrics after the bank customers had practical experience with the operation of the prototype solutions. The research results...
-
Usuwanie niejednolitego tła z obrazów tekstu przy użyciu zmodyfikowanego algorytmu wyostrzania i filtracji nieliniowej
PublikacjaCelem referatu jest przedstawienie algorytmu poprawy jakości obrazów zawierających tekst na niejednolitym tle. Pierwsza faza realizacji algorytmu obejmuje usunięcie tła poprzez wykorzystanie zmodyfikowanej operacji wyostrzania, w której od oryginalnego obrazu odejmowany jest wynik filtracji dolnoprzepustowej. W tym celu zaproponowano metodę wyznaczenia optymalnej wielkości maski filtru dolnoprzepustowego. W drugiej fazie działania...
-
Accidental wow evaluation based on sinusoidal modeling and neural nets prediction
PublikacjaReferat przedstawia opis algorytmu do określenia charakterystyki zniekształcenia kołysania dźwięku. Prezentowane podejście wykorzystuje sinusoidalną analizę dźwięku bazującą zarówno na amplitudowym jak i fazowym widmie sygnału fonicznego. Trajektorie poszczególnych składowych tonalnych, obrazujące zniekształcenie kołysania, określane są na podstawie analizy ich chwilowych amplitud, częstotliwości i faz. Dodatkowo referat przedstawia...
-
Musical instrument sound separation methods supported by artificial nueural network decision system
PublikacjaRozprawa doktorska (27 czerwica 2006).Celem prowadzonych prac badawczych było opracowanie algorytmów separacji dźwięków instrumentów muzycznych. Dodatkowo dobrano zestaw parametrów tak aby możliwe było wytrenowanie sztucznej sieci neuronowej w celu automatycznego rozpoznawania odseparowanych sygnałów. Zaproponowano również aby algorytm decyzyjny odpowiedzialny za klasyfikacje dźwięków pełnił funkcję automatycznej metody oceny algorytmów...