Wyszukiwarka
mgr inż. Szymon Zaporowski
Zatrudnienie
- Specjalista informatyk w Katedra Systemów Multimedialnych
- Asystent w Katedra Systemów Multimedialnych
Publikacje
Filtry
wszystkich: 27
Katalog Publikacji
Rok 2023
-
Bimodal Emotion Recognition Based on Vocal and Facial Features
PublikacjaEmotion recognition is a crucial aspect of human communication, with applications in fields such as psychology, education, and healthcare. Identifying emotions accurately is challenging, as people use a variety of signals to express and perceive emotions. In this study, we address the problem of multimodal emotion recognition using both audio and video signals, to develop a robust and reliable system that can recognize emotions...
-
Comparison of the Ability of Neural Network Model and Humans to Detect a Cloned Voice
PublikacjaThe vulnerability of the speaker identity verification system to attacks using voice cloning was examined. The research project assumed creating a model for verifying the speaker’s identity based on voice biometrics and then testing its resistance to potential attacks using voice cloning. The Deep Speaker Neural Speaker Embedding System was trained, and the Real-Time Voice Cloning system was employed based on the SV2TTS, Tacotron,...
Rok 2022
-
Examining Impact of Speed Recommendation Algorithm Operating in Autonomous Road Signs on Minimum Distance between Vehicles
PublikacjaAn approach to a new kind of recommendation system design that suggests safe speed on the road is presented. Real data obtained on roads were used for the simulations. As part of a project related to autonomous road sign development, a number of measurements were carried out on both local roads and expressways. A speed recommendation model was created based on gathered traffic data employing the traffic simulator. Depending on...
Rok 2021
-
Detection of Lexical Stress Errors in Non-Native (L2) English with Data Augmentation and Attention
PublikacjaThis paper describes two novel complementary techniques that improve the detection of lexical stress errors in non-native (L2) English speech: attention-based feature extraction and data augmentation based on Neural Text-To-Speech (TTS). In a classical approach, audio features are usually extracted from fixed regions of speech such as the syllable nucleus. We propose an attention-based deep learning model that automatically de...
-
Mispronunciation Detection in Non-Native (L2) English with Uncertainty Modeling
PublikacjaA common approach to the automatic detection of mispronunciation in language learning is to recognize the phonemes produced by a student and compare it to the expected pronunciation of a native speaker. This approach makes two simplifying assumptions: a) phonemes can be recognized from speech with high accuracy, b) there is a single correct way for a sentence to be pronounced. These assumptions do not always hold, which can result...
Rok 2020
-
1D convolutional context-aware architectures for acoustic sensing and recognition of passing vehicle type
PublikacjaA network architecture that may be employed to sensing and recognition of a type of vehicle on the basis of audio recordings made in the proximity of a road is proposed in the paper. The analyzed road traffic consists of both passenger cars and heavier vehicles. Excerpts from recordings that do not contain vehicles passing sounds are also taken into account and marked as ones containing silence....
-
Audio Feature Analysis for Precise Vocalic Segments Classification in English
PublikacjaAn approach to identifying the most meaningful Mel-Frequency Cepstral Coefficients representing selected allophones and vocalic segments for their classification is presented in the paper. For this purpose, experiments were carried out using algorithms such as Principal Component Analysis, Feature Importance, and Recursive Parameter Elimination. The data used were recordings made within the ALOFON corpus containing audio signal...
-
Constructing a Dataset of Speech Recordingswith Lombard Effect
PublikacjaThepurpose of therecordings was to create a speech corpus based on the ISLEdataset, extended with video and Lombard speech. Selected from a set of 165sentences, 10, evaluatedas having thehighest possibility to occur in the context ofthe Lombard effect,were repeated in the presence of the so-called babble speech to obtain Lombard speech features. Altogether,15speakers were recorded, and speech parameterswere...
-
Ranking Speech Features for Their Usage in Singing Emotion Classification
PublikacjaThis paper aims to retrieve speech descriptors that may be useful for the classification of emotions in singing. For this purpose, Mel Frequency Cepstral Coefficients (MFCC) and selected Low-Level MPEG 7 descriptors were calculated based on the RAVDESS dataset. The database contains recordings of emotional speech and singing of professional actors presenting six different emotions. Employing the algorithm of Feature Selection based...
Rok 2019
-
ANALIZA PARAMETRÓW SYGNAŁU MOWY W KONTEKŚCIE ICH PRZYDATNOŚCI W AUTOMATYCZNEJ OCENIE JAKOŚCI EKSPRESJI ŚPIEWU
PublikacjaPraca dotyczy podejścia do parametryzacji w przypadku klasyfikacji emocji w śpiewie oraz porównania z klasyfikacją emocji w mowie. Do tego celu wykorzystano bazę mowy i śpiewu nacechowanego emocjonalnie RAVDESS (Ryerson Audio-Visual Database of Emotional Speech and Song), zawierającą nagrania profesjonalnych aktorów prezentujących sześć różnych emocji. Następnie obliczono współczynniki mel-cepstralne (MFCC) oraz wybrane deskryptory...
-
Application of autoencoder to traffic noise analysis
PublikacjaThe aim of an autoencoder neural network is to transform the input data into a lower-dimensional code and then to reconstruct the output from this code representation. Applications of autoencoders to classifying sound events in the road traffic have not been found in the literature. The presented research aims to determine whether such an unsupervised learning method may be used for deploying classification algorithms applied to...
-
Automatic labeling of traffic sound recordings using autoencoder-derived features
PublikacjaAn approach to detection of events occurring in road traffic using autoencoders is presented. Extensions of existing algorithms of acoustic road events detection employing Mel Frequency Cepstral Coefficients combined with classifiers based on k nearest neighbors, Support Vector Machines, and random forests are used. In our research, the acoustic signal gathered from the microphone placed near the road is split into frames and converted...
-
Influence of the Delay in Monitor System on the Motor Coordination of Musicians while Performing
PublikacjaThis paper provides a description and results of measurements of the maximum acceptable value of delay tolerated by a musician, while playing an instrument, that does not cause de-synchronization and discomfort. First, methodology of measurements comprising audio recording and a fast camera is described. Then, themeasurement procedure for acquiring the maximum value of delay conditioning...
-
Real and Virtual Instruments in Machine Learning – Training and Comparison of Classification Results
PublikacjaThe continuous growth of the computing power of processors, as well as the fact that computational clusters can be created from combined machines, allows for increasing the complexity of algorithms that can be trained. The process, however, requires expanding the basis of the training sets. One of the main obstacles in music classification is the lack of high-quality, real-life recording database for every instrument with a variety...
-
Wykorzystanie sieci neuronowych do syntezy mowy wyrażającej emocje
PublikacjaW niniejszym artykule przedstawiono analizę rozwiązań do rozpoznawania emocji opratych na mowie i możliwości ich wykprzystania w syntezie mowy z emocjami stosując do tego celu sieci neuronowe. Wskazano również przydatnośc parametrów typowo stosowanych do rozpoznawania mowy w detekcji emocji w śpiewie i rozróżnianiu tych emocji w obu przypadkach. Przedstawiono aktualne rozwiązania dotyczące rozpoznawania emocji w mowie i metod syntezy...
Rok 2018
-
Analiza Nagrań Ruchu Drogowego w Kontekście Akustycznej Klasyfikacji Typu Pojazdu
PublikacjaCelem niniejszej pracy jest przeprowadzenie analizy sygnału fonicznego w kontekście klasyfikacji typu pojazdu. Część teoretyczna zawiera krytyczny przegląd systemów monitorowania ruchu drogowego, w szczególności systemów ITS (Intelginet Transport System). Część praktyczna przedstawia założenia dotyczące przygotowania bazy nagrań testowych, uwzględniających różne scenariusze ruchu drogowego. Zarejestrowane sesje nagraniowe przetworzono,...
-
Audio-visual aspect of the Lombard effect and comparison with recordings depicting emotional states.
PublikacjaIn this paper an analysis of audio-visual recordings of the Lombard effect is shown. First, audio signal is analyzed indicating the presence of this phenomenon in the recorded sessions. The principal aim, however, was to discuss problems related to extracting differences caused by the Lombard effect, present in the video , i.e. visible as tension and work of facial muscles aligned to an increase in the intensity of the articulated...
-
Bimodal classification of English allophones employing acoustic speech signal and facial motion capture
PublikacjaA method for automatic transcription of English speech into International Phonetic Alphabet (IPA) system is developed and studied. The principal objective of the study is to evaluate to what extent the visual data related to lip reading can enhance recognition accuracy of the transcription of English consonantal and vocalic allophones. To this end, motion capture markers were placed on the faces of seven speakers to obtain lip...
-
Measurement of Latency in the Android Audio Path
PublikacjaThis paper provides a description of experimental investigations concerning comparison between the audio path characteristics of various Android versions. First, information about the changes in each system version in the context of latency caused by them is presented. Then, a measurement procedure employing available applications to measure latency is described comparing to results contained in the Internet. Finally, a comparison...
-
Pomiary wartości opóźnień w torze audio urządzeń z systemem Android
PublikacjaPoniższy artykuł opisuje metody pomiarów wartości opóźnienia w torze fonicznym urządzeń pracujących na różnych wersjach systemu Android. W pierwszej części artykułu podano krótką charakterystykę środowiska Android w kontekście opóźnień w torze fonicznym. Następnie przedstawiono sposób pomiaru opóźnienia w torze fonicznym za pomocą aplikacji SuperPowered Latency oraz Dr. Rick O’Rang Loopback. W końcowej...
-
REJESTRACJA, PARAMETRYZACJA I KLASYFIKACJA ALOFONÓW Z WYKORZYSTANIEM BIMODALNOŚCI
PublikacjaPraca dotyczy rejestracji i parametryzacji alofonów w języku angielskim z wykorzystaniem dwóch modalności. W badaniach dokonano rejestracji wypowiedzi w języku angielskim mówców, których znajomość tego języka odpowiada poziomowi rodowitego mówcy. W kolejnym etapie wyodrębnione zostały alofony z nagrań fonicznych i odpowiadające im sygnały wizyjne. W procesie tworzenia wektorów cech wykorzystano odrębne systemy parametryzacji,...
-
Selection of Features for Multimodal Vocalic Segments Classification
PublikacjaEnglish speech recognition experiments are presented employing both: audio signal and Facial Motion Capture (FMC) recordings. The principal aim of the study was to evaluate the influence of feature vector dimension reduction for the accuracy of vocalic segments classification employing neural networks. Several parameter reduction strategies were adopted, namely: Extremely Randomized Trees, Principal Component Analysis and Recursive...
-
Vocalic Segments Classification Assisted by Mouth Motion Capture
PublikacjaVisual features convey important information for automatic speech recognition (ASR), especially in noisy environment. The purpose of this study is to evaluate to what extent visual data (i.e. lip reading) can enhance recognition accuracy in the multi-modal approach. For that purpose motion capture markers were placed on speakers' faces to obtain lips tracking data during speaking. Different parameterizations strategies were tested...
-
WYKORZYSTANIE SIECI NEURONOWYCH DO SYNTEZY MOWY WYRAŻAJĄCEJ EMOCJE
PublikacjaW niniejszym artykule przedstawiono analizę rozwiązań do rozpoznawania emocji opartych na mowie i możliwości ich wykorzystania w syntezie mowy z emocjami, wykorzystując do tego celu sieci neuronowe. Przedstawiono aktualne rozwiązania dotyczące rozpoznawania emocji w mowie i metod syntezy mowy za pomocą sieci neuronowych. Obecnie obserwuje się znaczny wzrost zainteresowania i wykorzystania uczenia głębokiego w aplikacjach związanych...
-
Zastosowanie sieci neuronowych w cyfrowej syntezie dźwięku
PublikacjaRozwój technik związanych z uczeniem maszynowym umożliwia nowe podejście i nowe definiowanie wielu dotychczasowych problemów. Heurystyczne algorytmy stosowane do problemów takich jak klasyfikacja danych w postaci wektorów cech, czy wyróżnianie grup obiektów o podobnych własnościach mogą znaleźć także zastosowanie w takich dziedzinach jak analiza i synteza dźwięków muzycznych. W referacie przybliżone zostały podstawowe zasady projektowania...
Rok 2016
-
Procesor efektów dźwiękowych do gitary na urządzenia mobilne
PublikacjaW rozdziale przedstawiono sposób działania procesora efektów dźwiękowych do gitary, składającego się z układu elektronicznego i aplikacji pracującej w czasie rzeczywistym na urządzeniach mobilnych z systemem Android. W pierwszej części zaprezentowano układ (przejściówkę) w postaci przedwzmacniacza zasilanego z baterii, do którego podłącza się gitarę oraz urządzenie mobilne. W drugiej części referatu przedstawiono zaś proces przetwarzania...
-
Procesor efektów dźwiękowych do gitary na urządzenia oparte na systemie Android
PublikacjaW artykule przedstawiono procesor efektów dźwiękowych do gitary, składający się z układu elektronicznego i aplikacji pracującej w czasie rzeczywistym na urządzeniach mobilnych z systemem Android. W pierwszej części referatu przedstawiono proces przetwarzania dźwięku w aplikacji oraz interfejs użytkownika. Interfejs użytkownika napisany został w języku Java, wspartym językiem znaczników XML, zaś przetwarzanie dźwięku, ze względu...
wyświetlono 1439 razy