Publications
Filters
total: 890
Catalog Publications
Year 2009
-
Postprodukcja nagrania wideo z dzwiekiem dookolnym
PublicationOne of the aims of this paper is to present issues related to audio-video correlation. This is presented on the basis of a short film realization employing surround microphone techniques. First, some related works in the domain of sound and vision correlation are presented. Then assumptions concerning scene creation related to both audio and video are shortly described. Another objective is to discuss results of subjective tests...
-
Realizacja specjalnych filtrów cyfrowych o strukturze Farrowa
PublicationRozprawa doktorska jest wynikiem pracy nad projektowaniem i implementacją cyfrowych filtrów specjalnych z opóźnieniem ułamkowym za pomocą jednostopniowego przestrajalnego, nierekursywnego filtru o strukturze Farrowa. Założone cele pracy, sformułowane na str. 2, zostały osiągnięte. Wszystkie opisane w pracy filtry zaimplementowano w środowisku obliczeniowym MATLAB i przebadano w celu weryfikacji ich właściwości. Pokazano, że wszystkie...
-
Rozpoznawanie kategorii ruchu ludzkiego na podstawie analizy sygnałów pochodzących z trójosiowych czujników przyspieszenia
PublicationW artykule przedstawiono procedurę rejestracjisygnałów przyspieszenia pochodzących z czujnikówbiomedycznych Shimmer, sposób ich rozmieszczenia na ciele orazopisano klasyfikator pozwalający na rozpoznawanie wybranychkategorii ruchu ludzkiego. W części eksperymentalnej artykułuzbadano wpływ filtracji dolnoprzepustowej sygnałów naskuteczność rozpoznawania typu aktywności ruchowej.
-
Software for calculation of noise maps implemented on the supercomputer
PublicationThis paper presents investigation results relevant to the implementation of the algorithms for the calculation of noise maps. The aim of the implementation of the algorithms on the computer cluster is explained. Selected implementation details of the software called the noise propagation model are described. The interaction of the software with the data acquisition system is presented. Noise maps obtained by exploitation of the...
-
SPS-S - nowa metoda stymulacji słuchowej
PublicationIstotnym założeniem metody SPS-S jest możliwość stosowania treningu słuchowego w warunkach życia codziennego, a więc także poza gabinetami placówek terapeutycznych. Mobilne urządzenie - stymulator słuchu jest oparte na najnowszej technologii mikroelektronicznej, Oferuje on możliwość wykorzystywania wielu programów terapii, które przebiegają z zastosowaniem algorytmów cyfrowego przetwarzania dźwięku. Algorytmy te można podzielić...
-
State of Deliverable D1.1 of INDECT Project
Publication -
Surveillance camera tracking of GEO positioned objects
PublicationRozdział opisuje system sterowania kamerami ruchomymi PTZ realizujący śledzenie poruszającego się obiektu o znanej pozycji GPS. Przedstawione są idea systemu oraz możliwości jego wykorzystania. Opisane są: procedura kalibracji pola widzenia kamery i sposób powiązania z danymi o lokalizacji, procedura predykcji ruchu w celu kompensacji opóźnień czasowych. Omówiony jest zaimplementowany system modułowy, w którego skład wchodzą: terminale...
-
System monitorujący stopień koncentracji uwagi uczniów
PublicationSystem śledzenia punktu fiksacji wzroku pozwala śledzić miejsce na ekranie monitora, na które patrzy użytkownik. W niniejszym artykule opisano system śledzenia punktu fiksacji wzroku w kontekście nowoczesnego zastosowania - w badaniu stopnia koncentracji uwagi u dzieci. W części pierwszej artykułu przedstawiono konfigurację sprzętową systemu oraz scharakteryzowano zagadnienie koncentracji uwagi. W drugiej, właściwej części, opisano...
-
The project MAYDAY EURO 2012. Overview and relation to INDECT
Publication -
Time-scale modification of speech signals for supporting hearing impaired schoolchildren
PublicationA study of time scale modification algorithmsapplied to hearing impaired schoolchildren supporting ispresented. Variety of algorithms are considered, namely:overlap and add, two variations of synchronized overlapand add, and the phase vocoder. Their effectiveness as wellas real-time processing capabilities are examined.
-
Tonality Estimation and Frequency Tracking of Modulated Tonal Components
PublicationA novel method for tonality estimation and frequency tracking of tonal components modulated in frequency and amplitude is presented. The algorithm detects the local maxima of magnitude spectra corresponding to three contiguous frames of a signal and matches them into the tonal track candidates. The magnitude-based and phase-based methods are used to estimate the frequency jumps between spectrum maxima belonging to the tonal track...
-
Ustomysz
Publication -
WP1: Intelligent Monitoring and Automatic Detection of Threats - partners cooperation
Publication -
WP1: Intelligent monitoring and automatic detection of threats -introduction to the WP1
Publication -
WP1 of INDECT Project: Intelligent Monitoring and Automatic Detection of Threats
Publication -
WP7 Applications proposed by GUT. Use Cases and Benchmarks
Publication -
Zastosowanie reguł rozmytych w komputerowej animacji postaci - wybrane zagadnienia
PublicationCelem badawczym rozprawy było wykazanie możliwości wykorzystania inteligentnych metod obliczeniowych, głównie logiki rozmytej, w animacji komputerowych postaci. Powstał system pozwalający w sposób półautomatyczny tworzyć animacje płynne i nacechowane stylistycznie. Poprawność wykorzystanego podejścia została zweryfikowana w toku testów oceny z udziałem dużej liczby widzów-ekspertów.
-
Zastosowanie sieci Mobile WiMAX w aglomeracji
Publication -
Zastosowanie spowalniania wypowiedzi w celu poprawy rozumienia mowy przez dzieci w szkole
PublicationThis paper presents a time-scale modification algorithms that could be used for hearing impairment therapy supported by real-time speech stretching. In this paper the OLA based algorithms and Phase Vocoder were described. In the experimental part usability of those algorithms for real-time speech stretching was discussed
Year 2010
-
3D Morphable Models Application for Expanding Face Database Limited to Single Frontal Face Per Person
Publication1. Zaprezentowany materiał dotyczył badań nad rozszerzeniem dysponowanej bazy wzorców wizerunków twarzy, o dodatkowe wzorce z wariacją w ustawieniu. Dodatkowe wzorce były usyskiwane poprzez przejście z wizerunku twarzy 2D na model 3D, zasymulowanie zadanego ustawienia i powrót do dziedziny 2D (poprzez rzutowanie 3D->2D). W fazie konstrukcji modelu 3D, z wizerunku 2D była ściągana zarówno tekstura twarzy jak i siatka punktów charakterystycznych....
-
A framework for automatic detection of abandoned luggage in airport terminal
PublicationA framework for automatic detection of events in a video stream transmitted from a monitoring system is presented. The framework is based on the widely used background subtraction and object tracking algorithms. The authors elaborated an algorithm for detection of left and removed objects based on mor-phological processing and edge detection. The event detection algorithm collects and analyzes data of all the moving objects in...
-
Acoustic radar employing particle velocity sensors
PublicationA concept, practical realization and applications of a passive acoustic radar to automatic localization, tracking of sound sources were presented in the paper. The device consist of the new kind of multichannel miniature sound intensity sensors and a group of digital signal processing algorithms. Contrary to active radars, it does not emit the scanning beam but after receiving surroundings sounds it provide information about the...
-
Advanced surveillance and operational communication system employing mobile terminals
PublicationDistributed surveillance and operational communications system based on XMPP protocol is presented. Its architecture and assumptions leading to the depicted design are shown. Features of XMPP protocol are portrayed with the emphasis on those most important in the context of the application. Real-time multimedia transmission with the use of Jingle/XMPP extension is discussed. The use of PDA-class computers as mobile terminals is...
-
Algorytm ekstrakcji cech biometrycznych twarzy
PublicationW referacie zawarto opis metody automatycznej lokalizacji oraz parametryzacji punktów charakterystycznych w obrazie twarzy. Do lokalizacji punktów charakterystycznych wykorzystano zmodyfikowany algorytm EBGM (ang. Elastic Bunch Graph Matching). Algorytm ten pozwala lokalizować punkty w obrazie przy założeniu niezmienności topologii grafu połączeń między nimi.W referacie przedstawiono podstawy teoretyczne metody oraz zaimplementowany...
-
Analiza zachowań tłumu w multimedialnym systemie bezpieczeństwa
PublicationW niniejszym referacie zawarto opis metody detekcji zachowań tłumu na podstawie analizy obrazu. Koncepcja docelowego wykorzystania to wspomaganie pracy operatorów w systemach monitoringu, w szczególności podczas imprez masowych, np. na stadionach wyposażonych w wiele kamer. Celem opracowanej metody jest wykrywanie normalnych oraz potencjalnie niebezpiecznych zachowań tłumu, takich jak: panika, kierunkowy ruch masy ludzi, czy gromadzenie...
-
Application of gaze tracking technology to quality of experience domain
PublicationA new methodological approach to study subjective assessment results employing gaze tracking technology is shown. Notions of Human-Computer Interaction (HCI) and Quality of Experience (QoE) are shortly introduced in the context of their common application. Then, the gaze tracking system developed at the Multimedia Systems Department (MSD) of Gdansk University of Technology (GUT) is presented. A series of audio-visual subjective...
-
Application of passive acoustic radar to automatic localization, tracking and classification of sound sources
PublicationA concept, practical realization and applications of the passive acoustic radar to automatic localization, tracking and classification of sound sources were presented in the paper. The device consists of a new kind of multichannel miniature sound intensity sensors and a group of digital signal processing algorithms. Contrary to active radars, it does not emit the scanning beam but after receiving surrounding sounds it provides...
-
Audio content analysis in the urban area telemonitoring system
PublicationArtykuł przedstawia możliwości rozwinięcie monitoringu miejskiego o automatyczną analizę dźwięku. Przedstawiono metody parametryzacji dźwięku, które możliwe są do zastosowania w takim systemie oraz omówiono aspekty techniczne implementacji. W kolejnej części przedstawiono system decyzyjny oparty na drzewach zastosowany w systemie. System ten rozpoznaje dźwięki niebezpieczne (strzał, rozbita szyba, krzyk) wśród dźwięków zarejestrowanych...
-
Automatic audio-visual threat detection
PublicationThe concept, practical realization and application of a system for detection and classification of hazardous situations based on multimodal sound and vision analysis are presented. The device consists of new kind multichannel miniature sound intensity sensors, digital Pan Tilt Zoom and fixed cameras and a bundle of signal processing algorithms. The simultaneous analysis of multimodal signals can significantly improve the accuracy...
-
Automatic detection of abandoned luggage employing a dual camera system
PublicationA system for automatic detection of events using a system of fixed and PTZ (pan-tilt-zoom) cameras is described. Images from the fixed camera are analyzed by means of object detection and tracking. Event detection system uses a set of rules to analyze data on the tracked moving objects and to detect defined events. A PTZ camera is used to obtain a detailed view of a selected object. A procedure for conversion between the pixel...
-
Automatic localization and continous tracking of mobile sound source using passive acoustic radar
PublicationA concept, practical realization and applications of the passive acoustic radar for localization and continuous tracking of fixed and mobile sound sources such as: cars, trucks, aircrafts and sources of shooting, explosions were presented in the paper. The device consists of the new kind of multi-channel miniature three dimensional sound intensity sensors invented by the Microflown company and a group of digital signal processing...
-
Automatyczna klasyfikacja gatunków muzycznych
PublicationCelem referatu jest dokonanie krótkiego przeglądu stanu badań w dziedzinie wyszukiwania i klasyfikacji gatunków muzycznych. Ponadto przedstawiony zostanie eksperyment polegający na klasyfikacji wybranych gatunków muzycznych z wykorzystaniem przykładowego klasyfikatora. W pierwszej kolejności zaprezentowano proces selekcji cech dystynktywnych. Opracowany wektor cech został następnie poddany testom klasyfikacji na zamkniętym zbiorze...
-
Automatyczna lokalizacja źródła dźwięku w obecności zakłóceń z wykorzystaniem wektorowych czujników akustycznych
PublicationW referacie przedstawiono pomysł i praktyczną realizację pasywnego radaru akustycznego do automatycznego lokalizowania i śledzenia źródeł dźwięku w warunkach zakłóceń. Urządzenie składa się z nowego typu wielokanałowych miniaturowych czujników natężeniowych oraz algorytmów cyfrowego przetwarzania sygnałów. Czułość radaru akustycznego została zbadana w warunkach pola swobodnego. Użyto sygnałów testowych takich jak: sygnały tonalne...
-
Badanie i terapia zaburzeń widzenia obuocznego wspomagana przez bezkontaktowy system śledzenia punktu fiksacji wzroku
PublicationNa rynku znajduje się klika systemów pozwalających na badanie lub trening syndromu leniwego oka z użyciem komputera PC. Niewiele z nich bazuje na wirtualnej rzeczywistości. Większość jedynie skupia się na terapii niedowidzenia bez mierzenia jakichkolwiek parametrów lub wykonuje tylko same pomiary. Proponowane rozwiązanie to kompletny system diagnostyczno - terapeutyczny do detekcji i terapii zaburzeń widzenia obuocznego - zwłaszcza...
-
Badanie rozkładów parametrów sygnału mowy w zastosowaniach do prognozowania prawdopodobieństwa popełnienia błędów w systemach identyfikacji mówców = Examining distribution of speech signal parameters for the prognosis of error probability in speaker verification systems
PublicationPrzedmiotem pracy jest system identyfikacji mówców w sposób zależny od tekstu ("text dependent''). Dokonano analizy wielu różnych wypowiedzi kilkudziesięciu mówców. Zastosowana metoda parametryzacji to metoda oparta na wynikach analizy cepstralnej sygnału mowy. Zdefiniowane zostały nowe parametry skojarzone z elementarnymi zdarzeniami w procesie weryfikacji mówców. Na tej podstawie dokonano estymacji funkcji gęstości prawdopodobieństwa...
-
Binocular Vision Impairments Therapy Supported By Contactless Eye-gaze Tracking System
PublicationBinocular vision impairments often result in partial or total loss of stereoscopic vision. The lack of binocular vision is a serious vision impairment that deserves more attention. Very important result of the binocular vision impairments is a binocular depth perception. This paper describes also a concept of a measurement and therapy system for the binocular vision impairments by using eye-gaze tracking system.
-
Camera angle invariant shape recognition in surveillance systems
PublicationA method for human action recognition in surveillance systems is described. Problems within this task are discussed and a solution based on 3D object models is proposed. The idea is shown and some of its limitations are talked over. Shape description methods are introduced along with their main features. Utilized parameterization algorithm is presented. Classification problem, restricted to bi-nary cases is discussed. Support vector...
-
Computer animation system based on rough sets and fuzzy logic
PublicationA fuzzy logic inference system was created, based on the analysis of animated motion features. The objective of the system is to facilitate the creation of high quality animation by analyzing personalized styles contained in numerous animations. Sequences portraying a virtual character acting with a differentiating personalized style (natural or exaggerated) and various levels of fluidity were prepared and subjectively evaluated....
-
Controlling computer by lip gestures employing neural network
PublicationResults of experiments regarding lip gesture recognition with an artificial neural network are discussed. The neural network module forms the core element of a multimodal human-computer interface called LipMouse. This solution allows a user to work on a computer using lip movements and gestures. A user face is detected in a video stream from a standard web camera using a cascade of boosted classifiers working with Haar-like features....
-
Corrupted speech intelligibility improvement using adaptive filter based algorithm
PublicationA technique for improving the quality of speech signals recorded in strong noise is presented. The proposed algorithmemploying adaptive filtration is described and additional possibilities of speech intelligibility improvement arediscussed. Results of the tests are presented.
-
CPS w multimediach
PublicationW artykule omówiono działalność badawczą Katedry Systemów Multimedialnych (KSM) w tematach: CPS, technologii multimedialnych, technologii studyjnych i wizyjnych, w zastosowaniach metod soft-computingu w inżynierii dźwięku i obrazu, akustyki muzycznej, psychofizjologii słuchu i wytwarzania mowy, syntezy dźwięku i obrazu oraz akustyki architektonicznej, i techniki nagłaśniania. Przedstawiono wyniki naukowe Katedry - liczbę publikacji,...
-
Dangerous sound event recognition using Support Vector Machine classifiers
PublicationA method of recognizing events connected to danger based on their acoustic representation through Support Vector Machine classification is presented. The method proposed is particularly useful in an automatic surveillance system. The set of 28 parameters used in the classifier consists of dedicated parameters and MPEG-7 features. Methods for parameter calculation are presented, as well as a design of SVM model used for classification....
-
Evaluation of the separation algorithm performance employing ANNs
PublicationCelem niniejszego rozdziału jest przedstawienie metodyki separacji dźwięków muzycznych bez informacji a priori o dźwiękach zawartych w muzycznym miksie. W pracy pokazano, że prawidłowo wytrenowana sztuczna sieć neuronowa (SNN)jest w stanie w sposób automatyczny poprawnie sklasyfikować dźwięki zawarte w zmiksowanym sygnale. Skuteczność klasyfikacji SNN jest porównywalna z oceną subiektywną ekspertów.
-
Exploiting audio-visual correlation by means of gaze tracking
PublicationThis paper presents a novel means for increasing audio-visual correlation analysis reliability. This is done based on gaze tracking technology engineered at the Multimedia Systems Department of the Gdansk University of Technology, Poland. In the paper, the past history and current research in the area of audio-visual perception analysis are shortly reviewed. Then the methodology employing gaze tracking is presented along with the...
-
Face recognition by humans with gaze-tracking system Cyber-Eye
PublicationW celu dokładniejszego zrozumienia sposobu rozpoznawania i zapamiętywania twarzy przez człowieka przeprowadzono doświadczenie na grupie 20 osób z wykorzystaniem wcześniej opracowanego systemu śledzenia fiksacji wzroku Cyber-Oko [3]. Wykorzystując diody i kamerę podczerwieni wraz z dedykowanym oprogramowaniem Cyber-Oko, które pozwala na śledzenie punktu skupienia wzroku na ekranie. Każdej osobie biorącej udział w doświadczeniu pokazano...
-
Frequency based criterion for distinguishing tonal and noisy spectral components
PublicationA frequency-based criterion for distinguishing tonal and noisy spectral components is proposed. For considered spectral local maximum two instantaneous frequency estimates are determined and the difference between them is used in order to verify whether component is noisy or tonal. Since one of the estimators was invented specially for this application its properties are deeply examined. The proposed criterion is applied to the...
-
Fuzzy rule-based dynamic gesture recognition employing camera & multimedia projector
PublicationIn the paper the system based on camera and multimedia projector enabling a user to control computer applications by dynamic hand gestures is presented. The main objective is to present the gesture recognition methodology which bases on representing hand movement trajectory by motion vectors analyzed using fuzzy rule-based inference. The approach was engineered in the system developed with J2SE and C++ / OpenCV technology. OpenCV...
-
Gaze-tracking and acoustic vector sensors technologies for PTZ camera steering and acoustic event detection
Publication...
-
Gaze-tracking based audio-visual correlation analysis employing quality of experience methodology
PublicationThis paper investigates a new approach to audio-visual correlation assessment based on the gaze-tracking system developed at the Multimedia Systems Department (MSD) of Gdansk University of Technology (GUT). The gaze-tracking methodology, having roots in Human-Computer Interaction borrows the relevance feedback through gaze-tracking and applies it to the new area of interests, which is Quality of Experience. Results of subjective...
-
Gesture-based computer control system
PublicationIn the paper a system for controlling computer applications by hand gestures is presented. First, selected methods used for gesture recognition are described. The system hardware and a way of controlling a computer by gestures are described. The architecture of the software along with hand gesture recognition methods and algorithms used are presented. Examples of basic and complex gestures recognized by the system are given.
-
Gesture-based computer control system applied to the interactive whiteboard
PublicationIn the paper the gesture-based computer control system coupled with the dedicated touchless interactive whiteboard is presented. The system engineered enables a user to control any top-most computer application by using one or both hands gestures. First, a review of gesture recognition applications with a focus on methods and algorithms applied is given. Hardware and software solution of the system consisting of a PC, camera, multimedia...
-
Gesture-based computer control system applied to the interactive whiteboard
PublicationIn the paper the gesture-based computer control system coupled with the dedicated touchless interactive whiteboard is presented. The system engineered enables a user to control any top-most computer application by using one or both hands gestures. First, a review of gesture recognition applications with a focus on methods and algorithms applied is given. Hardware and software solution of the system consisting of a PC, camera, multimedia...
-
Human voice modification using instantaneous complex frequency
PublicationThe paper presents the possibilities of changing human voice by modifying instantaneous complex frequency (ICF) of the speech signal. The proposed method provides a flexible way of altering voice without the necessity of finding fundamental frequency and formants' positions or detecting voiced and unvoiced fragments of speech. The algorithm is simple and fast. Apart from ICF it uses signal factorization into two factors: one fully...
-
Human-Computer Interface Based on Visual Lip Movement and Gesture Recognition
PublicationThe multimodal human-computer interface (HCI) called LipMouse is presented, allowing a user to work on a computer using movements and gestures made with his/her mouth only. Algorithms for lip movement tracking and lip gesture recognition are presented in details. User face images are captured with a standard webcam. Face detection is based on a cascade of boosted classifiers using Haar-like features. A mouth region is located in...
-
Identity verification using complex representations of handwritten signature
PublicationThis paper is devoted to handwritten signature verification using the cross-correlation approach (adopted by the authors from telecommunications) and dynamic time warping. The following invariants of the handwritten signature: the net signature, the instantaneous complex frequency and the complex cepstrum are analyzed. The problem of setting the threshold for deciding whether the current signature is authentic or forged is discussed....
-
Improving automatic surveillance by sound analysis
PublicationAn automatic surveillance system, based on event detection in the video image can be improved by implementing algorithms for audio analysis. Dangerous or illegal actions are often connected with distinctive sound events like screams or sudden bursts of energy. A method for detection and classification of alarming sound events is presented. Detection is based on the observation of sudden changes in sound level in distinctive sub-bands...
-
Influence of accelerometer signal pre-processing and classification method on human activity recognition
PublicationA study of data pre-processing influence on accelerometer-based human activity recognition algorithms is presented. The frequency band used to filter-out the accelerometer signals and the number of accelerometers involved were considered in terms of their influence on the recognition accuracy. In the test four methods of classification were used: support vector machine, decision trees, neural network, k-nearest neighbor.
-
Instantaneous complex frequency for pipeline pitch estimation
PublicationIn the paper a pipeline algorithm for estimating the pitch of speech signal is proposed. The algorithm uses instantaneous complex frequencies estimated for four waveforms obtained by filtering the original speech signal through four bandpass complex Hilbert filters. The imaginary parts of ICFs from each channel give four candidates for pitch estimates. The decision regarding the final estimate is made based on the real parts of...
-
Long-term comparative evaluation of an acoustic climate in selected schools before and after the acoustic treatment
PublicationThe results of long-term continuous noise measurements in two selected schools are presented in the paper. Noise characteristics were measured continuously there for approximately 16 months. Measurements started eight months prior to the acoustic treatment of the school corridors of both schools. An evaluation of the acoustic climates in both schools, before and after the acoustic treatment, was performed based on comparison of...
-
Monitoring Parkinson's disease patients employing biometric sensors and rule-based data processing
PublicationArtykuł prezentuje automatyczny system wykrywania pogorszenia zdrowia pacjentów z chorobą Parkinsona opracowany w ramach projektu PERFORM.The paper presents how rule-based processing can be applied to automatically evaluate the motor state of Parkinson's Disease patients. Automatic monitoring of patients by using biometric sensors can provide assessment of the Parkinson's Disease symptoms. All data on PD patients' state are compared...
-
Moving object tracking algorithm evaluation in autonomous surveillance system
PublicationResults of evaluation of video object tracking algorithm being a part of an autonomous surveillance system are presented. The algorithm was investigated employing a set of benchmarks recorded locally. The precision of object detection, evaluated with such metrics as fragmentation, object area recall and object precision, is in focus. The experiments aimed at examining the detection quality using various object detection algorithm...
-
Multimedialny system monitorowania hałasu
PublicationCelem projektu Multimedialny System Monitorowania Hałasu zrealizowanego w Politechnice Gdańskiej było opracowanie teleinformatycznego systemu monitorowania klimatu akustycznego, uwzględniając w szczególnym stopniu obrazowanie wpływu zagrożeń hałasowych na słuch. Rozwiązania wcześniej dostępne na rynku cechują wysokie koszty oraz ograniczone możliwości rozbudowy o nowe funkcje analizy sygnału akustycznego, ograniczenia technologiczne...
-
Musical recording in a stereo surround system
PublicationCelem niniejszego artykułu jest omówienie realizacji nagrania chóru gospelowego wraz z towarzyszącym mu zespołem w systemie stereofonii dookólnej 5.1. W pierwszej kolejności przedstawiono techniki mikrofonowe użyte podczas nagrania. Następnie omówiono szczegóły związane z jego realizacją w studiu Radia Gdańsk. Ponadto przeprowadzono testy subiektywne z udziałem grupy ekspertów i na tej podstawie wybrano najlepiej ocenianą technikę...
-
Objectivization of audio-video correlation assessment experiments
PublicationThe purpose of this paper is to present a new method of conducting an audio-visual correlation analysis employing a head-motion-free gaze tracking system. First, a review of related works in the domain of sound and vision correlation is presented. Then assumptions concerning audio-visual scene creation are shortly described. The objectivization process of carrying out correlation tests employing gaze-tracking system is outlined....
-
Optymalizacja procedur dyskryminacyjnych w procesie weryfikacji mówców - metodyka doboru wag parametrów = Optimization of discriminative procedures in speaker verification process - a method for selecting parameter weights
PublicationPoddano testowaniu system weryfikacji mówców, działający w sposób zależny od tekstu, oparty na parametrach cepstralnych. Wstępnie przyjęto wagi wyrównane przypisane do zdefiniowanego w ten sposób wektora wag, właściwego dla obranego systemu parametryzacyjnego. Uzyskane wyniki przedstawiono w postaci macierzy pomyłek (''confusion matrix''). Dobór wartości wektora wag odbywał się w oparciu o część treningową bazy danych przy użyciu...
-
Paremetrization of sounds for recognizing hazarodus events
PublicationNowoczesne systemy monitoringu działają na zasadzie automatycznego wykrywania niebezpiecznych zdarzeń na podstawie analizy obrazu z kamer i dźwięku z mikrofonów. W niniejszej publikacji skupiono się na pierwszym etapie rozpoznawania zdarzeń dźwiękowych, jakim jest parametryzacja dźwięku. Podstawą do skutecznego działania systemu jest znalezienie parametrów, których zmienność najlepiej odzwierciedla cechy charakterystyczne dźwięku...
-
Performance evaluation of video object tracking algorithm in autonomous surveillance system
PublicationResults of performance evaluation of a video object tracking algorithm are presented. The method of moving objects detection and tracking is based on background modelling with mixtures of Gaussians and Kalman filters. An emphasis is put on algorithm's efficiency with regards to its settings. Utilized methods of performance evaluation based on comparison of algorithm output to manually prepared reference data are introduced. The...
-
Performance evaulation of video object tracking algorithm in autonomous surveillance system
PublicationResults of performance evaluation of a video object tracking algorithm are presented. The method of moving objects detection and tracking is based on background modelling with mixtures of Gaussians and Kalman filters. An emphasis is put on algorithm's efficiency with regards to its settings. Utilized methods of performance evaluation based on comparison of algorithm output to manually prepared reference data are introduced. The...
-
Performance of Watermarking-based DTD Algorithm Under Time-varying Echo Path Conditions
PublicationA novel double-talk detection (DTD) algorithm based on techniques similar to those used for audio signal watermarking was introduced by the authors. The application of the described DTD algorithm within acoustic echo cancellation system is presented. The problem of DTD robustness to time-varying conditions of acoustic echo path is discussed and explanation as to why such conditions occur in practical situations is provided. The...
-
Railway noise problems in Poland
PublicationCelem referatu jest przedstawienie zagadnień związanych z hałasem kolejowym. W pierwszej kolejności podano przegląd badań związanych z hałasem kolejowym, które są prowadzone w polskich ośrodkach i instytucjach naukowych. Przytoczono również główne modele hałasu kolejowego zawarte w dyrektywach europejskich (projekty HARMONOISE i IMAGINE). Dodatkowo zaimplementowano wybrane modele hałasu kolejowego dla warunków polskiego taboru...
-
Real-time speech streching for supporting hearing impaired schoolchildren
PublicationA study of time scale modification algorithms applied to support hearing impaired schoolchildren is presented. Variety of algorithms are considered, namely: overlap-and add, two variations of synchronous overlapand- add, and the phase vocoder. Their effectiveness as well as real-time processing capabilities are examined.
-
Real-time speech-rate modification experiments
PublicationAn algorithm designed for real-time speech time scale modification (stretching) is proposed, providing a combination of typical synchronous overlap and add based time scale modification algorithm and signal redundancy detection algorithms that allow to remove parts of the speech signal and replace them with the stretched speech signal fragments. Effectiveness of signal processing algorithms are examined experimentally together...
-
Reduction of parasitic pitch variations in archival musical recordings
PublicationA new method for reducing parasitic pitch variations in archival audio recordings is presented. The method is intended for analyzing movie soundtracks recorded in optical films. It utilizes image processing for calculating and reducing effects of tape shrinkage being one of the main reasons for parasitic pitch variations in audio accompanying moving images. As long as the film tape characteristics are known the new method can be...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublicationW referacie przedstawiono algorytm rozwiązywania konfliktów w śledzeniu obiektów ruchomych. Proponowana metoda wykorzystuje predykcję stanu obiektu obliczaną przez filtry Kalmana oraz dopasowuje wykryte obiekty do struktur śledzących ich ruch na podstawie deskryptorów koloru i tekstury. Omówiono specyficzne sytuacje powodujące konflikty, takie jak rozdzielanie obiektów. Przedstawiono wyniki testów. Algorytm może być zastosowany...
-
Robustness analysis of watermarking-based dtd algorithm under time-variable echo conditions
PublicationA novel double-talk detection (DTD) algorithm based on techniques similar to those used for audio signal watermarking was introduced by the authors. The application of the described DTD algorithm within acoustic echo cancellation system is presented. The problem of DTD robustness to time-varying conditions of acoustic echo path is discussed and explanation as to why such conditions occur in practical situations is provided. The...
-
Rozpoznawanie ruchu rąk oraz chodu pacjentów na podstawie analizy sygnałów pochodzących z trójosiowych czujników przyspieszenia
PublicationW pracy przedstawiono eksperymenty związane z automatyczną klasyfikacją i rozpoznawaniem aktywności pacjentów z chorobą Parkinsona. W szczególności opisano algorytmy, mające na celu rozpoznawanie dwóch kategorii ruchu: ruchu rąk oraz chodu. Aktywności te wykrywane są na podstawie analizy sygnałów pochodzących z trójosiowych akcelerometrów umieszczonych na ciele osoby badanej.
-
Scent emitting multimodal computer interface for learning enhancement
PublicationKomputerowy interfejs aromatyczny stanowi ważne uzupełnienie procesu stymulacji polisensorycznej. Stymulacja ta odgrywa kluczową rolę w terapii i kształceniu dzieci z zaburzeniami rozwoju (np. w przypadku autyzmu czy ADHD). Opracowany interfejs może stać się elementem wyposażenia tzw. sal doświadczania świata, ale może być także stosowany niezależnie stanowiąc znaczące wzbogacenie komputerowych programów edukacyjnych. Dzięki możliwości...
-
Smart Pen - new multimodal computer control tool for graphomotorical therapy
PublicationW sytuacji, gdy około 15% populacji uczniów wykazuje cechy dyslektyczne, koniecznością staje się wyposażenie szkół w efektywne narzędzia do diagnozy i terapii tego rodzaju zaburzeń. Dzięki wykorzystaniu tabletu i specjalnie skonstruowanego długopisu wyposażonego w czujniki nacisku uzyskano możliwość monitorowania wielu parametrów, które do tej pory były dla terapeutów całkowicie niedostępne (np. pomiar nacisku na podłoże czy ścisku...
-
Speech synthesis controlled by eye gazing
PublicationA method of communication based on eye gaze controlling is presented. Investigations of using gaze tracking have been carried out in various context applications. The solution proposed in the paper could be referred to as ''talking by eyes'' providing an innovative approach in the domain of speech synthesis. The application proposed is dedicated to disabled people, especially to persons in a so-called locked-in syndrome who cannot...
-
Superresolution algorithm to video surveillance system
PublicationAn application of a multiframe SR (superresolution) algorithm applied to video monitoring is described. The video signal generated by various types of video cameras with different parameters and signal distortions which may be very problematic for superresolution algorithms. The paper focuses on disadvantages in video signal which occur in video surveillance systems. Especially motion estimation and its influence on superresolution...
-
Synchronizacja półkul mózgowych z wykorzystaniem mechanizmu biofeedback
PublicationW niniejszej pracy zaproponowane zostały dwa indywidualne podejścia do budowy systemu wspomagającego synchronizację półkul mózgowych przy pomocy mechanizmu biofeedback. Dla obu rozwiązań wykorzystane zostało urządzenie wykorzystujące bezprzewodowy system rejestracji sygnałów EEG. W pierwszym podejściu sprawdzono wpływ dudnień różnicowych na stan synchronizacji z zastosowaniem statystycznych metod analizy. W drugiej metodzie zbadane...
-
Time-domain prosodic modifications for text-to-speech synthesizer
PublicationAn application of prosodic speech processing algorithms to Text-To-Speech synthesis is presented. Prosodic modifications that improve the naturalness of the synthesized signal are discussed. The applied method is based on the TD-PSOLA algorithm. The developed Text-To-Speech Synthesizer is used in applications employing multimodal computer interfaces.
-
UPDRS tests for diagnosis of Parkinson's disease employing virtual-touchpad
PublicationThis paper presents a new approach to diagnosing Parkinson's disease. The progression of the disease can be measured by the UPDRS (Unified Parkinson Disease Rating Scale) scale which is used to evaluate motor and behavioral symptoms of Parkinson's disease. Hitherto the evaluation of the advancement of the disease in the UPDRS scale was made by a specialist through medical observation. The authors suggest a partial automation of...
-
Utilization of fuzzy rules in computer character animation
PublicationThe chapter presents a method for automatic enhancement of computer character animation utilizing fuzzy inference. First the user designs a prototype version of animation, with keyframes only for important poses, roughly describing the action. Then animation is enriched with new motion phases calculated by the fuzzy inference system using descriptors given by the user. Various degrees of motion fluency and naturalness are possible...
-
Vehicle classification based on soft computing algorithms
PublicationExperiments and results regarding vehicle type classification are presented. Three classes of vehicles are recognized: sedans, vans and trucks. The system uses a non-calibrated traffic camera, therefore no direct vehicle dimensions are used. Various vehicle descriptors are tested, including those based on vehicle mask only and those based on vehicle images. The latter ones employ Speeded Up Robust Features (SURF) and gradient images...
-
Verification of the Parameterization Methods in the Context of Automatic Recognition of Sounds Related to Danger
PublicationW artykule opisano aplikację, która automatycznie wykrywa zdarzenia dźwiękowe takie jak: rozbita szyba, wystrzał, wybuch i krzyk. Opisany system składa się z bloku parametryzacji i klasyfikatora. W artykule dokonano porównania parametrów dedykowanych dla tego zastosowania oraz standardowych deskryptorów MPEG-7. Porównano też dwa klasyfikatory: Jeden oparty o Percetron (sieci neuronowe) i drugi oparty o Maszynę wektorów wspierających....
-
Video content analysis in the urban area telemonitoring system
PublicationThe task of constant monitoring of video streams from a large number of cameras and reviewing the recordings in order to find a specified event requires a considerable amount of time and effort from the system operators and it is prone to errors. A solution to this problem is an automatic system for constant analysis of camera images being able to raise an alarm if a predefined event is detected. The chapter presents various aspects...
-
Virtual keyboard controlled by eye gaze employing speech synthesis
PublicationThe article presents the speech synthesis integrated into the eye gaze tracking system. This approach can significantly improve the quality of life of physically disabled people who are unable to communicate. The virtual keyboard (QWERTY) is an interface which allows for entering the text for the speech synthesizer. First, this article describes a methodology of determining the fixation point on a computer screen. Then it presents...
-
Virtual touchpad - video-based multimodal interface
PublicationA new computer interface named Virtual-Touchpad (VTP) is presented. The Virtual-Touchpad provides a multimodal interface which enables controlling computer applications by hand gestures captured with a typical webcam. The video stream is processed in the software layer of the interface. Hitherto existing video-based interfaces analyzing frames of hand gestures are presented. Then, the hardware configuration and software features...
-
Wydajność środowisk J2SE i C++ / OpenCV w zagadnieniu sterowania komputerem za pomocą gestów
PublicationW rozdziale przedstawiono interfejs sterowania komputerem za pomocą gestów rąk, należący do grupy systemów czasu rzeczywistego o łagodnych granicach (ang. soft real-time). Komponentami systemu są: komputer klasy PC, kamera internetowa, rzutnik multimedialny i ekran dla rzutnika. Oprogramowanie interfejsu opracowano w oparciu o środowiska J2SE i Visual Studio C++ z użyciem biblioteki OpenCV. Moduł systemu realizujący interpretację...
-
Wykorzystanie analizy obrazu ruchów głowy w multimedialnym interfejsie komputerowym
PublicationOpracowany interfejs komputerowy umożliwia przeglądanie obrazów statycznych, materiału wizyjnego i fonicznego. Obrazy mogą być przeglądane i wyświetlane w trybie pełnoekranowym. Pliki multimedialne są ułożone w hierarchicznej, wielopoziomowej strukturze. Użytkownik nawiguje po tej strukturze i wyświetla poszczególne elementy poprzez ruch głową w górę, dół, lewo i prawo. Akcja wykonywana przez system zależy od typu zawartości, którą...
-
Zastosowanie XMPP w roli protokołu komunikacji multimedialnej w rozproszonym systemie monitoringu
PublicationPrzedstawiono rozproszony system monitoringu bazujący na protokole XMPP, omówiono architekturę i założenia, na których opiera się projekt tego systemu. Przedstawiono cechy protokołu XMPP ze zwróceniem uwagi na te najbardziej istotne w kontekście omawianego zastosowania. Przedyskutowano zagadnienie transmisji multimediów w czasie rzeczywistym z wykorzystaniem rozszerzenia Jingle/XMPP. Zwrócono także uwagę na techniczne aspekty związane...
Year 2011
-
3D Hand Shape Modeling for Automatic Assessing Motor Performance in Parkinson's Disease
PublicationIn this paper a method for hand pattern processing to create a 3D hand model is presented. By applying a complete hand armature to the model obtained, an interpolation of three motor tests for an individual Parkinson's disease patient can be performed. To obtain the 3D hand model the top view of the hand from a web cam is analyzed. The hand contour is examined to find characteristic points that allows for dividing hand image into...
-
A new approach for an automatic assessment of a neurological condition employing hand gesture classification
Publication.
-
A non-uniform real-time speech time-scale stretching method
PublicationAn algorithm for non-uniform real-time speech stretching is presented. It provides a combination of typical SOLA algorithm (Synchronous Overlap and Add ) with the vowels, consonants and silence detectors. Based on the information about the content and the estimated value of the rate of speech (ROS), the algorithm adapts the scaling factor value. The ability of real-time speech stretching and the resultant quality of voice were...
-
Algorytm automatycznego rozpoznawania treści tablicy rejestracyjnej i wyszukiwania pojazdów w bazie danych
PublicationReferat opisuje algorytm rozpoznawania znaków zawartych w tablicy rejestracyjnej oraz współpracę algorytmu z bazą danych tablic rejestracyjnych. Przedstawiono metodę rozpoznawania znaków wykorzystującą obraz ze zlokalizowaną wcześniej tablicą rejestracyjną. Obraz tablicy jest poddawany przetwarzaniu wstępnemu. Wykonywane są operacje automatycznego wykrywania rotacji tablicy, normalizowania histogramu, dostosowania współczynnika...
-
An approach to determining tinnitus acoustical characteristic
PublicationFor many treatment methods, accurate estimation of Tinnitus(ringing in ears) concerning sound type, level, and bandwidth or frequency is inevitable. The proposed way of obtaining Tinnitus parameters is described in this paper. The method employs sound synthesis, aimed at obtaining sound which is closest to perceived Tinnitus. The proposed method assumes running a designed application on a multimedia PC provided with a special graphical...
-
Ankieta intuicyjności gestów rąk zastosowanych od obsługi operacji miksowania dźwięku
PublicationW niniejszym raporcie przedstawiono wyniki prac realizowanych przez studentów specjalności Inżynieria Dźwięku i Obrazu Katedry Systemów Multimedialnych w ramach projektu grupowego. Celem projektu było stworzenie grafiki dla aplikacji komputerowej symulującej wybrane operacje możliwe do zrealizowania przy pomocy konsolety fonicznej (stołu mikserskiego). Ów system miksowania ścieżek nagrania muzycznego sterowany jest za pomocą gestów....
-
Application of Vector Sensors to Acoustic Surveillance of a Public Interior Space
PublicationPrzedstawiono metodę precyzyjnej detekcji i lokalizacji źródeł dźwięku w pomieszczeniach. Wykorzystano wektorowe czujniki akustyczne, dostarczające sygnałów ciśnienia akustycznego i prędkości cząsteczek powietrza. Zaprezentowano metodę lokalizacji źródeł dźwięku na widowni wydarzenia publicznego. Przedstawiono demonstracyjny system zainstalowany w sali wykładowej. System poddano ocenie dokładności na podstawie przeprowadzonych...
-
Automatic prosodic modification in a Text-To-Speech synthesizer of Polish language
PublicationPrzedstawiono system syntezy mowy polskiej z funkcją automatycznej modyfikacji prozodii wypowiedzi. Opisane zostały metody automatycznego wyznaczania akcentu i intonacji wypowiedzi. Przedstawiono zastosowanie algorytmów przetwarzania sygnału mowy w procesie kształtowania prozodii. Omówiono wpływ zastosowanych modyfikacji na naturalność brzmienia syntezowanego sygnału. Zastosowana metoda oparta jest na algorytmie TD-PSOLA. Opracowany...