Filters
total: 438
filtered: 243
Search results for: AUDIO ENGINEERING, SEMANTIC AUDIO
-
An Approach to Bass Enhancement in Portable Computers Employing Smart Virtual Bass Synthesis Algorithms
PublicationThe aim of this paper is to present a novel approach to the Virtual Bass Synthesis (VBS) algorithms applied to portable computers. The developed algorithms are related to intelligent, rule-based setting of synthesis parameters according to music genre of an audio excerpt and to the type of a portable device in use. To find optimum synthesis parameters of the VBS algorithms, subjective listening tests based on a parametric procedure...
-
Sparse autoregressive modeling
PublicationIn the paper the comparison of the popular pitch determination (PD) algorithms for thepurpose of elimination of clicks from archive audio signals using sparse autoregressive (SAR)modeling is presented. The SAR signal representation has been widely used in code-excitedlinear prediction (CELP) systems. The appropriate construction of the SAR model is requiredto guarantee model stability. For this reason the signal representation...
-
Innovative method of localization airplanes in VCS (VCS-MLAT) distributed system
PublicationThe article presents the concept and the structure of the localization module. The prototype module is the part of the VCS (VCS-MLAT) localization distributed system. The device receives the audio signal transmitted in airplanes band (118 MHz – 136 MHz). Received data with the timestamps are send to the main server. The data from multiple devices estimates the localization of the airplane. The main aim of the project is the analysis...
-
Cross-domain applications of multimodal human-computer interfaces
PublicationDeveloped multimodal interfaces for education applications and for disabled people are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with mouth gestures and audio interface for speech stretching for hearing impaired and stuttering people and intelligent pen allowing for diagnosing and ameliorating developmental dyslexia. The eye-gaze tracking system named...
-
Subjective and Objective Comparative Study of DAB+ Broadcast System
PublicationBroadcasting services seek to optimize their use of bandwidth in order to maximize user’s quality of experience. They aim to transmit high-quality digital speech and music signals at the lowest bitrate. They intend to offer the best quality under available conditions. Due to bandwidth limitations, audio quality is in conflict with the number of transmitted radio programs. This paper analyzes whether the quality of real-time digital...
-
Detection of Lexical Stress Errors in Non-Native (L2) English with Data Augmentation and Attention
PublicationThis paper describes two novel complementary techniques that improve the detection of lexical stress errors in non-native (L2) English speech: attention-based feature extraction and data augmentation based on Neural Text-To-Speech (TTS). In a classical approach, audio features are usually extracted from fixed regions of speech such as the syllable nucleus. We propose an attention-based deep learning model that automatically de...
-
Dynamic Bayesian Networks for Symbolic Polyphonic Pitch Modeling
PublicationSymbolic pitch modeling is a way of incorporating knowledge about relations between pitches into the process of an- alyzing musical information or signals. In this paper, we propose a family of probabilistic symbolic polyphonic pitch models, which account for both the “horizontal” and the “vertical” pitch struc- ture. These models are formulated as linear or log-linear interpo- lations of up to fi ve sub-models, each of which is...
-
Methodology and technology for the polymodal allophonic speech transcription
PublicationA method for automatic audiovisual transcription of speech employing: acoustic, electromagnetical articulography and visual speech representations is developed. It adopts a combining of audio and visual modalities, which provide a synergy effect in terms of speech recognition accuracy. To establish a robust solution, basic research concerning the relation between the allophonic variation of speech, i.e., the changes in the articulatory...
-
Methodology and technology for the polymodal allophonic speech transcription
PublicationA method for automatic audiovisual transcription of speech employing: acoustic and visual speech representations is developed. It adopts a combining of audio and visual modalities, which provide a synergy effect in terms of speech recognition accuracy. To establish a robust solution, basic research concerning the relation between the allophonic variation of speech, i.e. the changes in the articulatory setting of speech organs for...
-
Measurements of OF QoS/QoE parameters for media streaming in a PMIPv6 TESTBED WITH 802.11 b/g/n WLANs
PublicationA growing number of mobile devices and the increasing popularity of multimedia services result in a new challenge of providing mobility in access networks. The paper describes experimental research on media (audio and video) streaming in a mobile IEEE 802.11 b/g/n environment realizing network-based mobility. It is an approach to mobility that requires little or no modification of the mobile terminal. Assessment of relevant parameters...
-
Data Analysis in Bridge of Data
PublicationThe chapter presents the data analysis aspects of the Bridge of Data project. The software framework used, Jupyter, and its configuration are presented. The solution’s architecture, including the TRYTON supercomputer as the underlying infrastructure, is described. The use case templates provided by the Stat-reducer application are presented, including data analysis related to spatial points’ cloud-, audio- and wind-related research.
-
On the Consumption of Multimedia Content Using Mobile Devices: a Year to Year User Case Study
PublicationIn the early days, consumption of multimedia content related with audio signals was only possible in a stationary manner. The music player was located at home, with a necessary physical drive. An alternative way for an individual was to attend a live performance at a concert hall or host a private concert at home. To sum up, audio-visual effects were only reserved for a narrow group of recipients. Today, thanks to portable players,...
-
Subiektywny pomiar jakości sygnałów mowy i muzyki w lokalnych multipleksach radiofonii DAB+ w Gdańsku i Wrocławiu
PublicationRadiofonia cyfrowa DAB+ (Digital Audio Broadcasting plus) dostępna jest dla słuchaczy w Polsce od 2013 r. Standard ten oferuje szerokie możliwości konfiguracji multipleksów lokalnych nie tylko pod względem liczby, lecz także jakości nadawanych programów radiowych. Dzięki temu możliwe jest dostosowanie parametrów emitowanych sygnałów w celu sprostania oczekiwaniom odbiorców końcowych. W przeciwieństwie do radiofonii analogowej FM...
-
Sample Rate Conversion with Fluctuating Resampling Ratio
PublicationIn this paper a sample rate conversion with continuouslychanging resampling ratio has been presented. The proposed implementation is based on variable fractional delay filter implemented using a Farrow structure. It have been demonstrated that using the proposed approach instantaneous resampling ratio can be freely changed. This allows for simulation of audio recored on magnetic tape with nonuniform velocity as well as removal...
-
Online Sound Restoration for Digital Library Applications
PublicationA system for sound restoration was conceived and engineered having the following features: no special sound restoration software is needed to perform audio restoration by the user, the process of restoration employs automatic reduction of noise, wow and impulse distortions performed in the online mode, no skills in digital signal processing from the user are needed. The principles of the created system and its features as well...
-
Sample Rate Conversion with Fluctuating Resampling Ratio
PublicationIn this paper a sample rate conversion with continuously changing resampling ratio has been presented. The proposed implementation is based on variable fractional delay filter implemented using a Farrow structure. It have been demonstrated that using the proposed approach instantaneous resampling ratio can be freely changed. This allows for simulation of audio recored on magnetic tape with nonuniform velocity as well as removal...
-
Visualization of events using various kinds of synchronized data for the Border Guard
PublicationSTRADAR project is dedicated to streaming real-time data in a distributed dispatcher and teleinfor-mation system of the Border Guard. The Events Visualization Post is a software designed for simultaneous visualization of data of different types in BG headquarters. The software allows the operator to visualize files, images, SMS, SDS, video, audio, and current or archival data on naval situation on digital maps. All the visualized...
-
Rozproszone przechowywanie zapasowych kopii danych
PublicationPokazano metodę wykorzystania systemu przetwarzania rozproszonego do zabezpieczenia instytucji przed skutkami ataku hakerskiego połączonego ze zniszczeniem bazy danych tej instytucji. Metoda ta polega na wplataniu pakietów danych do materiałów audio-video ściąganych przez internautów korzystających z serwisów filmowych Video-on-Demand i przechowywaniu danych w rozproszeniu na setki lub nawet tysiące komputerów.
-
Scenariusze przepływu pracy sprzężone z automatyczną akwizycją danych
PublicationPrzedstawiono tematykę inteligentnych przepływów pracy (smart workflow). Przedstawiono aplikacje oparte o inteligentne scenariusz przepływu pracy: sterowanie systemem audio, monitorowanie warunków środowiskowych pomieszczenia i dynamiczną kontekstową listę zadań. Opisano komponentową architekturę systemu. Opisano etapy poszerzające proces projektowania i implementacji. Wskazano na problemy występujące podczas wykonywania tych aplikacji...
-
Verification of the Parameterization Methods in the Context of Automatic Recognition of Sounds Related to Danger
PublicationW artykule opisano aplikację, która automatycznie wykrywa zdarzenia dźwiękowe takie jak: rozbita szyba, wystrzał, wybuch i krzyk. Opisany system składa się z bloku parametryzacji i klasyfikatora. W artykule dokonano porównania parametrów dedykowanych dla tego zastosowania oraz standardowych deskryptorów MPEG-7. Porównano też dwa klasyfikatory: Jeden oparty o Percetron (sieci neuronowe) i drugi oparty o Maszynę wektorów wspierających....
-
Discovering Rule-Based Learning Systems for the Purpose of Music Analysis
PublicationMusic analysis and processing aims at understanding information retrieved from music (Music Information Retrieval). For the purpose of music data mining, machine learning (ML) methods or statistical approach are employed. Their primary task is recognition of musical instrument sounds, music genre or emotion contained in music, identification of audio, assessment of audio content, etc. In terms of computational approach, music databases...
-
Gesture-controlled Sound Mixing System With a Sonified Interface
PublicationIn this paper the Authors present a novel approach to sound mixing. It is materialized in a system that enables to mix sound with hand gestures recognized in a video stream. The system has been developed in such a way that mixing operations can be performed both with or without visual support. To check the hypothesis that the mixing process needs only an auditory display, the influence of audio information visualization on sound...
-
Implementation Of The Innovative Radiolocalization System VCS-MLAT (Voice Communication System Multilateration)
PublicationIn the article the concept of the radiolocalization subsystem of the VHF communication for aviation VCS-MLAT (Voice Communication System – Multilateration) is presented. The distributed localization system can estimate the position of the aircraft using the audio signals from aircraft transmitters in the VHF band (118-136 MHz). This paper shows initial verification of the possibility to use voice airband communication to estimate...
-
Nauka w świecie cyfrowym okiem młodego inżyniera - strumieniowanie muzyki w sieci
PublicationNa początku konsumpcja treści multimedialnych, związanych początkowo z sygnałami audio, była możliwa tylko w sposób stacjonarny. Odtwarzacz muzyczny znajdował się w domu, wraz z niezbędnym nośnikiem fizycznym. Alternatywnym sposobem dla jednostki był udział w występie na żywo w sali koncertowej lub zorganizowanie prywatnego koncertu w domu. Podsumowując, efekty audiowizualne były zarezerwowane tylko dla wąskiego grona odbiorców.
-
Acceleration of decision making in sound event recognition employing supercomputing cluster
PublicationParallel processing of audio data streams is introduced to shorten the decision making time in hazardous sound event recognition. A supercomputing cluster environment with a framework dedicated to processing multimedia data streams in real time is used. The sound event recognition algorithms employed are based on detecting foreground events, calculating their features in short time frames, and classifying the events with Support...
-
BADANIE JAKOŚCI TRANSMISJI W SYSTEMACH RADIOFONII CYFROWEJ DAB I DAB+
PublicationW dobie mediów cyfrowych kluczowym elementem jest dostarczanie treści wysokiej jakości. Wśród systemów radiofonii cyfrowej do najpopularniejszych należą standardy DAB i DAB+ (Digital Audio Broadcasting). Przy konfiguracji multipleksu ważne jest właściwe zarządzanie zasobami w ramach pojedynczego kanału radiowego. W artykule przedstawiono wyniki badań subiektywnych, dotyczących jakości transmisji w systemach DAB i DAB+, przeprowadzonych...
-
Selection of Features for Multimodal Vocalic Segments Classification
PublicationEnglish speech recognition experiments are presented employing both: audio signal and Facial Motion Capture (FMC) recordings. The principal aim of the study was to evaluate the influence of feature vector dimension reduction for the accuracy of vocalic segments classification employing neural networks. Several parameter reduction strategies were adopted, namely: Extremely Randomized Trees, Principal Component Analysis and Recursive...
-
Reception of Terrestrial DAB+ and FM Radio with a Mobile Device: A Subjective Quality Evaluation
PublicationNowadays, terrestrial broadcasting enables to receive content anytime and everywhere. People can obtain information both with a portable or desktop receiver, which include pocket-sized devices as well as high-end Hi-Fi equipment, not to mention car audio systems. Numerous manufacturers include FM-compatible chipsets in a variety of user equipment (UE), including mobile phones. However, digital radio signal processing modules, such...
-
Music Information Retrieval – Soft Computing versus Statistics . Wyszukiwanie informacji muzycznej - algorytmy uczące versus metody statystyczne
PublicationMusic Information Retrieval (MIR) is an interdisciplinary research area that covers automated extraction of information from audio signals, music databases and services enabling the indexed information searching. In the early stages the primary focus of MIR was on music information through Query-by-Humming (QBH) applications, i.e. on identifying a piece of music by singing (singing/whistling), while more advanced implementations...
-
Digital Transformation of Terrestrial Radio: An Analysis of Simulcasted Broadcasts in FM and DAB+ for a Smart and Successful Switchover
PublicationThe process of digitizing radio is far from over. It is an important interdisciplinary aspect, involving Big Data and AI (Artificial Intelligence) when it comes to classifying and handling content, and an organizational challenge in the Industry 4.0 concept. There exist several methods for delivering audio signals, including terrestrial broadcasting and internet streaming. Among them, the DAB+ (Digital Audio Broadcasting plus)...
-
Moving object detection and tracking for the purpose of multimodal surveillance system in urban areas
PublicationBackground subtraction method based on mixture of Gaussians was employed to detect all regions in a video frame denoting moving objects. Kalman filters were used for establishing relations between the regions and real moving objects in a scene and for tracking them continuously. The objects were represented by rectangles. The objects coupling with adequate regions including the relation of many-to-many was studied experimentally...
-
Metody udostępniania materiałów multimedialnych w sieciach LAN i WAN.
PublicationW referacie przedstawiono możliwości wzbogacania treści edukacyjnych dzięki wykorzystaniu technik multimedialnych. Uzupełnienie materiału edukacyjnego w postaci plików audio oraz wideo daje zupełnie nową jakość . Opisano jak stworzyć taki materiał, jaki jest potrzebny do realizacji oraz jak bardzo czasochłonny jest ten proces. Wnioski i spostrzeżenia zostały przedstawione na podstawie praktycznej realizacji wykładu dot. Systemu...
-
Using Physiological Signals for Emotion Recognition
PublicationRecognizing user’s emotions is the promising area of research in a field of human-computer interaction. It is possible to recognize emotions using facial expression, audio signals, body poses, gestures etc. but physiological signals are very useful in this field because they are spontaneous and not controllable. In this paper a problem of using physiological signals for emotion recognition is presented. The kinds of physiological...
-
Koncepcja oraz budowa modułu lokalizacyjnego w projekcie „Innowacyjna metoda lokalizowania statków powietrznych w rozproszonym systemie VCS (VCS-MLAT)”
PublicationArtykuł zawiera koncepcję, schemat oraz opis modułu lokalizacyjnego demonstratora technologicznego systemu lokalizacyjnego statków powietrznych w rozproszonym systemie VCS (VCS-MLAT). Urządzenie ma za zadanie odebrać sygnał audio nadawany w paśmie lotniczym 118 MHz – 136 MHz i wraz ze znacznikami czasu oraz dodatkowymi parametrami przesyłane są do serwera systemu VCS. Dane odebrane z wielu modułów lokalizacyjnych pozwolą estymować...
-
Reprezentacja danych dźwiękowych w kontekście metod uczenia maszynowego
PublicationDźwięk odgrywa kluczową rolę w przekazywaniu informacji lub ostrzeganiu o niebezpieczeństwie. Do opracowania wydajnego cyfrowego asystenta głosowego zdolnego do efektywnej współpracy z człowiekiem niezbędne jest użycie algorytmów opisujących sygnał dźwiękowy w formie cyfrowej. W poniższej pracy skategoryzowano i opisano najpowszechniejsze metody opisu sygnałów audio używanych jako wejścia dla algorytmów uczenia maszynowego. Wskazano...
-
Performance of Watermarking-based DTD Algorithm Under Time-varying Echo Path Conditions
PublicationA novel double-talk detection (DTD) algorithm based on techniques similar to those used for audio signal watermarking was introduced by the authors. The application of the described DTD algorithm within acoustic echo cancellation system is presented. The problem of DTD robustness to time-varying conditions of acoustic echo path is discussed and explanation as to why such conditions occur in practical situations is provided. The...
-
Robustness analysis of watermarking-based dtd algorithm under time-variable echo conditions
PublicationA novel double-talk detection (DTD) algorithm based on techniques similar to those used for audio signal watermarking was introduced by the authors. The application of the described DTD algorithm within acoustic echo cancellation system is presented. The problem of DTD robustness to time-varying conditions of acoustic echo path is discussed and explanation as to why such conditions occur in practical situations is provided. The...
-
Evaluation of Sound Enhancement in Mobile Device Using Virtual Bass Synthesiss Algorithm
PublicationAn experiment conducted to validate possibility of use virtual bass synthesis (VBS) algorithm in a portable computer is presented. The subjective listening tests based on the procedure of pairwise comparison between VBS, based on the so-called missing fundamental phenomenon, and standard bass boost technique are employed. The evaluation was carried out in two types of conditions: in a professional listening room and employing an...
-
Badanie efektywności kodeków źródłowych w radiofonii cyfrowej DAB+
PublicationW Polsce radiofonia cyfrowa jest dostępna dla słuchaczy już od 2013 roku. Jednakże brakuje ogólnodostępnych publikacji naukowych lub też raportów badawczych uzasadniających przyjęte przepływności dla strumieni audio. W artykule przedstawiono badania sprawności kodowania oraz subiektywnej oceny jakości kodeka MPEG-4 HE-AAC v2, wykorzystywanego w standardzie DAB+. Testy prze-prowadzono wg. techniki porównawczej MUSHRA na dwóch grupach,...
-
Intelligent equalizer solution employing music genre and the room characteristics analysis
PublicationThe paper presents an intelligent equalizer solution based on room acoustic conditions and music genre analysis. A series of acoustic characteristic measurements are performed for checking the concept proposed. White noise (reference signal) and audio excerpts belonging to six music genres are utilized as excitation signals in measurements. This results in registration of frequency responses of rooms and reverberation times. Signals...
-
SUBIEKTYWNA OCENA MULTIPLEKSU RADIOFONII LOKALNEJ DAB+ DZIAŁAJĄCEJ W GDAŃSKU I WROCŁAWIU
PublicationStandard DAB+ (Digital Audio Broadcasting plus) jest wiodącym systemem naziemnej radiofonii cyfrowej. W porównaniu do analogowej radiofonii FM wszystkie usługi, obejmujące tradycyjne programy radiowe oraz usługi transmisji danych, grupowane są w zbiór (ensemble). Praca ta przedstawia proces rekonfiguracji polskiego multipleksu na przykładzie lokalnej radiofonii DAB+ w Gdańsku i Wrocławiu. Opisuje wyniki badań subiektywnych dotyczących...
-
Influence of the Delay in Monitor System on the Motor Coordination of Musicians while Performing
PublicationThis paper provides a description and results of measurements of the maximum acceptable value of delay tolerated by a musician, while playing an instrument, that does not cause de-synchronization and discomfort. First, methodology of measurements comprising audio recording and a fast camera is described. Then, themeasurement procedure for acquiring the maximum value of delay conditioning...
-
TRANSMISJA GŁOSOWYCH KOMUNIKATÓW DROGOWYCH W RADIOFONII CYFROWEJ DAB+
PublicationProces cyfryzacji radia jest nowym rozdziałem w historii radiofonii. Wiele rekomendacji i badań naukowych wskazuje na standard DAB+ (Digital Audio Broadcasting plus), który w niedalekiej przyszłości ma zastąpić analogową radiofonię FM. Ten system cyfrowy wprowadza wiele zmian, oferując przy tym lepszą jakość dźwięku oraz szereg usług dodatkowych. W pracy postanowiono zbadać minimalną wymaganą przepływność bitową potrzebną do transmisji...
-
Multimodal English corpus for automatic speech recognition
PublicationA multimodal corpus developed for research of speech recognition based on audio-visual data is presented. Besides usual video and sound excerpts, the prepared database contains also thermovision images and depth maps. All streams were recorded simultaneously, therefore the corpus enables to examine the importance of the information provided by different modalities. Based on the recordings, it is also possible to develop a speech...
-
Porównanie detekcji obwiedni i detekcji synchronicznej w radioodbiornikach lotniczych VHF
PublicationArtykuł przedstawia porównanie detekcji obwiedniowej oraz detekcji koherentnej dla sygnałów audio zmodulowa-nych amplitudowo (A3E) w paśmie lotniczym VHF [118 MHz - 136 MHz]. Wykonane badania miały na celu porównanie metod detekcji oraz wskazanie, która z nich charakteryzuje się wyższą jakością estymacji czasów nadejścia sygnałów. Dokonano pomiarów opóźnień sygnałów wyjściowych dla dwóch radiostacji lotniczych stosując korelację...
-
Subiektywny pomiar jakości programów radiowych strumieniowanych w sieci metodą crowdsourcingu
PublicationObecnie słuchacze mają dostęp do swoich ulubionych programów i audycji radiowych za pośrednictwem naziemnego standardu analogowego FM (Frequency Modulation) oraz cyfrowego DAB+ (Digital Audio Broadcasting plus). Należy podkreślić, że ten sam materiał nadawany jest jednocześnie w kilku technikach (tzw. simulcast), a znaczna większość rozgłośni udostępnia swoje programy także online. Niniejsza praca przedstawia wyniki badań dotyczących...
-
Akustyczna analiza parametrów ruchu drogowego z wykorzystaniem informacji o hałasie oraz uczenia maszynowego
PublicationCelem rozprawy było opracowanie akustycznej metody analizy parametrów ruchu drogowego. Zasada działania akustycznej analizy ruchu drogowego zapewnia pasywną metodę monitorowania natężenia ruchu. W pracy przedstawiono wybrane metody uczenia maszynowego w kontekście analizy dźwięku (ang.Machine Hearing). Przedstawiono metodologię klasyfikacji zdarzeń w ruchu drogowym z wykorzystaniem uczenia maszynowego. Przybliżono podstawowe...
-
Application of gaze tracking technology to quality of experience domain
PublicationA new methodological approach to study subjective assessment results employing gaze tracking technology is shown. Notions of Human-Computer Interaction (HCI) and Quality of Experience (QoE) are shortly introduced in the context of their common application. Then, the gaze tracking system developed at the Multimedia Systems Department (MSD) of Gdansk University of Technology (GUT) is presented. A series of audio-visual subjective...
-
Recognition of hazardous acoustic events employing parallel processing on a supercomputing cluster . Rozpoznawanie niebezpiecznych zdarzeń dźwiękowych z wykorzystaniem równoległego przetwarzania na klastrze superkomputerowym
PublicationA method for automatic recognition of hazardous acoustic events operating on a super computing cluster is introduced. The methods employed for detecting and classifying the acoustic events are outlined. The evaluation of the recognition engine is provided: both on the training set and using real-life signals. The algorithms yield sufficient performance in practical conditions to be employed in security surveillance systems. The...
-
Auto adaptation of mobile device characteristics to various acoustic conditions
PublicationThe proposed methodology of auto adaptation of the mobile device characteristics to various acoustic conditions is presented in the paper. The first goal of this study was to determine the parameters of the acoustic path of the mobile device, for both transmitting (speaker) and receiver (microphone). Results of the measurement of characteristics of mobile devices were presented. Information about characteristics of individual parts...