Publications
Filters
total: 892
Catalog Publications
-
Parallel Background Subtraction in Video Streams Using OpenCL on GPU Platforms
PublicationImplementation of the background subtraction algorithm using OpenCL platform is presented. The algorithm processes live stream of video frames from the surveillance camera in on-line mode. Processing is performed using a host machine and a parallel computing device. The work focuses on optimizing an OpenCL algorithm implementation for GPU devices by taking into account specific features of the GPU architecture, such as memory access,...
-
Performance evaluation of the parallel object tracking algorithm employing the particle filter
PublicationAn algorithm based on particle filters is employed to track moving objects in video streams from fixed and non-fixed cameras. Particle weighting is based on color histograms computed in the iHLS color space. Particle computations are parallelized with CUDA framework. The algorithm was tested on various GPU devices: a desktop GPU card, a mobile chipset and two embedded GPU platforms. The processing speed depending on the number...
-
Analysis of soundscape recordings in close proximity to the road in changeable wather conditions
PublicationThe acoustic vehicle sensing is the least invasive type of traffic detection. Also, acoustic-based vehicle detection technology is insensitive to precipitation and can operate in low light level. Therefore, this kind of method may be used for automatic detection of the vehicle passage events. It can also be employed for measurements of a vehicle speed and the vehicle assignment to the particular category. In this paper the results...
-
KORPUS MOWY ANGIELSKIEJ DO CELÓW MULTIMODALNEGO AUTOMATYCZNEGO ROZPOZNAWANIA MOWY
PublicationW referacie zaprezentowano audiowizualny korpus mowy zawierający 31 godzin nagrań mowy w języku angielskim. Korpus dedykowany jest do celów automatycznego audiowizualnego rozpoznawania mowy. Korpus zawiera nagrania wideo pochodzące z szybkoklatkowej kamery stereowizyjnej oraz dźwięk zarejestrowany przez matrycę mikrofonową i mikrofon komputera przenośnego. Dzięki uwzględnieniu nagrań zarejestrowanych w warunkach szumowych korpus...
-
System Weryfikacji Autentyczności Podpisu Odręcznego
PublicationW referacie przedstawiono system statycznej i dynamicznej weryfikacji autentyczności podpisu odręcznego, składanego piórem biometrycznym, wyposażonym w 2 akcelerometry, 2 żyroskopy i 3 czujniki ścisku, na rezystancyjnej powierzchni dotykowej, łączącym się bezprzewodowo z urządzeniami komputerowymi. We wstępie przedstawiono architekturę sieciową wielomodalnego systemu biometrii. Przedstawiono warstwę sprzętową systemu weryfikacji...
-
Pomiar rozkładu wektora natężenia dźwięku w pobliżu dyfuzora akustycznego weryfikowany symulacją komputerową
PublicationProjektowanie adaptacji akustycznej pomieszczeń jest złożonym procesem, który wymaga możliwości przewidywania wpływu zastosowanych ustrojów akustycznych na sposób propagacji fal akustycznym w pomieszczeniu. Przykładem ustroju stosowanego do korekcji akustyki pomieszczeń jest dyfuzor akustyczny. Niniejsza praca opisuje proces pomiaru oraz numerycznej symulacji rozkładu wektora natężenia dźwięku w pobliżu dyfuzora. Analiza tego rozkładu...
-
METODY BADANIA ODDZIAŁYWANIA PRZYDROŻNYCH REKLAM NA KIEROWCÓW Z ZASTOSOWANIEM TECHNOLOGII MULTIMEDIALNEJ
PublicationIstotnym problemem z punktu widzenia bezpieczeństwa ruchu drogowego jest właściwa lokalizacja reklam statycznych i dynamicznych w otoczeniu pasa drogowego. Celem niniejszej publikacji, nakierowanym na wspomaganie rozwiązywania wynikających z tego tytułu problemów, jest przedstawienie zakresu możliwych do wykonania, szeroko zakrojonych, wielopłaszczyznowych badań, wykorzystują- cych nowoczesne rozwiązania technologiczne, pozwalające...
-
Zastosowania elektroencefalograficznych interfejsów mózg-komputer do diagnozy i stymulacji osób po urazach mózgu
PublicationPrzeanalizowano i opisano nowe rozwiązania kasków EEG, dostępne w laboratorium Katedry Systemów Multimedialnych Politechniki Gdańskiej. Opisano koncepcje prowadzenia z ich użyciem testów diagnostycznych i sesji terapeutycznych, polegających na stymulacji polisensorycznej, z podkreśleniem roli tego typu metod w ocenie świadomości stanu pacjentów pourazowych i usprawniania komunikacji osobami po urazach mózgu. Przedstawiono także...
-
Multimodalne stanowisko do polisensorycznej diagnozy i stymulacji osób z zaburzeniami komunikacji
PublicationCelem komunikatu plakatowego jest prezentacja eksperymentalnego zintegrowanego systemu multimodalnego, przeznaczonego do wykorzystania w diagnozowaniu i stymulacji polisensorycznej osób niekomunikujących się, w szczególności osób z ciężkimi urazami mózgu. Interfejs użytkownika wykorzystuje śledzenie wzroku i monitorowanie elektroencefalograficzne. Ponadto elementami tego stanowiska są: emiter bodźców zapachowych oraz urządzenie...
-
Guitar String Sound Retrieved from Moving Pixels
PublicationThe aim of this study was to develop a method of visual recording and analyzing the vibrations of guitar strings using high-speed cameras and dedicated video processing algorithms. The recording of a plucked string reveals the way in which the deformations propagate, composing the standing and travelling wave. The paper compares the results for a few selected models of classical and acoustic guitars, and it involves processing...
-
ZASTOSOWANIA DRONÓW I SENSORÓW WIZYJNYCH I AKUSTYCZNYCH DO ZDALNEJ DETEKCJI I LOKALIZACJI OBIEKTÓW I ZDARZEŃ
PublicationW referacie przedstawiono wybrane sensory akustyczne i wizyjne i propozycje ich zastosowania do wykrywania i lokalizacji obiektów i zdarzeń z pokładu drona. Opisano pokrótce zastosowane algorytmy analizy strumieni, przedstawiono wyniki badań stworzonych prototypów i metod, zaimplementowanych na wydajnych układach GPU
-
Multimodal Attention Stimulator
PublicationMultimodal attention stimulator was proposed and tested for improving auditory and visual attention, including pupils with developmental dyslexia. Results of the conducted experiments shown that the designed stimulator can be used in order to improve comprehension during reading tasks. The changes in the visual attention, observed in reading test results, translate into the overall reading performance.
-
Algorytm automatycznego rozpoznawania treści tablicy rejestracyjnej i wyszukiwania pojazdów w bazie danych
PublicationReferat opisuje algorytm rozpoznawania znaków zawartych w tablicy rejestracyjnej oraz współpracę algorytmu z bazą danych tablic rejestracyjnych. Przedstawiono metodę rozpoznawania znaków wykorzystującą obraz ze zlokalizowaną wcześniej tablicą rejestracyjną. Obraz tablicy jest poddawany przetwarzaniu wstępnemu. Wykonywane są operacje automatycznego wykrywania rotacji tablicy, normalizowania histogramu, dostosowania współczynnika...
-
Camera Orientation-Independent Parking Events Detection
PublicationThe paper describes the method for detecting precise position and time of vehicles parking in a parking lot. This task is trivial in case of favorable camera orientation but gets much more complex when an angle between the camera viewing axis and the ground is small. The method utilizes background subtraction and object tracking algorithms for detecting moving objects in a video stream. Objects are classified into vehicles and...
-
Music Mixing Process Controlled by Hand Gestures
PublicationW referacie przedstawiono system umożliwiający sterowanie procesami miksowania śladów nagrania muzycznego za pomocą gestów rąk. Przybliżono podstawy wielomodalnej percepcji argumentujące potrzebę powstania tego typu systemu oraz założenia przyjęte w trakcie jego tworzenia. Część sprzętowa systemu składa się z rzutnika multimedialnego, kamery internetowej, komputera klasy PC z zainstalowanym oprogramowaniem systemu oraz ekranu dla...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublicationAn algorithm for resolving conflicts in tracking of moving objects is presented. The proposed approach utilizes predicted states calculated by Kalman filters for estimation of trackers position, then it uses color and texture descriptors in order to match moving objects with trackers. Problematic situations, such as splitting objects, are addressed. Test results are presented and discussed. The algorithm may be used in the system...
-
Badanie rozpoznawania twarzy przez człowieka z wykorzystaniem systemu śledzenia fiksacji wzroku Cyber-Oko
PublicationW celu dokładniejszego zrozumienia sposobu rozpoznawania i zapamiętywania twarzy przez człowieka przeprowadzono doświadczenie na grupie 20 osób z wykorzystaniem wcześniej opracowanego systemu śledzenia fiksacji wzroku Cyber-Oko. Wykorzystując diody i kamerę podczerwieni wraz z dedykowanym oprogramowaniem Cyber-Oko, które pozwala na śledzenie punktu skupienia wzroku na ekranie. Każdej osobie biorącej udział w doświadczeniu pokazano...
-
A non-uniform real-time speech time-scale stretching method
PublicationAn algorithm for non-uniform real-time speech stretching is presented. It provides a combination of typical SOLA algorithm (Synchronous Overlap and Add ) with the vowels, consonants and silence detectors. Based on the information about the content and the estimated value of the rate of speech (ROS), the algorithm adapts the scaling factor value. The ability of real-time speech stretching and the resultant quality of voice were...
-
Rozpoznawanie dynamicznych i statycznych gestów rąk w zastosowaniu do sterowania aplikacjami komputerowymi
PublicationW referacie przedstawiono interfejs, metody oraz algorytmy sterowania komputerem za pomocą dynamicznych i statycznych gestów rąk. Komponentami opracowanego rozwiązania są komputer klasy PC wraz z opracowanym interfejsem i oprogramowaniem, kamera internetowa oraz projektor multimedialny. Gesty rozpoznawane są w procesie analizy obrazu wizyjnego pozyskanego z kamery internetowej przymocowanej do projektora oraz analizy obrazu wyświetlanego...
-
Ankieta intuicyjności gestów rąk zastosowanych od obsługi operacji miksowania dźwięku
PublicationW niniejszym raporcie przedstawiono wyniki prac realizowanych przez studentów specjalności Inżynieria Dźwięku i Obrazu Katedry Systemów Multimedialnych w ramach projektu grupowego. Celem projektu było stworzenie grafiki dla aplikacji komputerowej symulującej wybrane operacje możliwe do zrealizowania przy pomocy konsolety fonicznej (stołu mikserskiego). Ów system miksowania ścieżek nagrania muzycznego sterowany jest za pomocą gestów....
-
Intelligent multimedia solutions supporting special education needs.
PublicationThe role of computers in school education is briefly discussed. Multimodal interfaces development history is shortly reviewed. Examples of applications of multimodal interfaces for learners with special educational needs are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with facial expression and speech stretching audio interface representing audio modality....
-
Report of the ISMIS 2011 Contest : Music Information Retrieval
PublicationThis report presents an overview of the data mining contestorganized in conjunction with the 19th International Symposiumon Methodologies for Intelligent Systems (ISMIS 2011), in days betweenJan 10 and Mar 21, 2011, on TunedIT competition platform. The contestconsisted of two independent tasks, both related to music information retrieval:recognition of music genres and recognition of instruments, for agiven music sample represented...
-
Quality Evaluation of Novel DTD Algorithm Based on Audio Watermarking
PublicationEcho cancellers typically employ a doubletalk detection (DTD) algorithm in order to keep the adaptive filter from diverging in the presence of near-end speech signal or other disruptive sounds in the microphone signal. A novel doubletalk detection algorithm based on techniques similar to those used for audio signal watermarking was introduced by the authors. The application of the described DTD algorithm within acoustic echo cancellation...
-
Online pitch estimation using instantaneous complex frequency
PublicationW pracy opisano nowe wyniki dotyczące skuteczności algorytmu potokowego estymującego częstotliwość podstawową sygnału mowy. Algorytm wykorzystuje zespoloną pulsację chwilową dla klasyfikacji mowy na dźwięczną i bezdźwięczną oraz estymacji częstotliwości podstawowej dla każdej próbki sygnału. Skuteczność klasyfikacji oraz dokładność estymacji zostały ocenione eksperymentalnie z wykorzystaniem dwóch baz nagrań, zawierających wypowiedzi...
-
Performance Measurements of Real Time Video Transmission from Car Patrol
PublicationThe HSUPA technology application to video streaming from moving vehicle to the central server is presented in the paper. A dedicated software for transmission control in case of non public IP address is employed. Quality of video streaming in urban area was measured. Several car routes were investigated in the area of the Polish Tricity. Measurements pointed out that the real time streaming quality during vehicle movement is sufficient...
-
Automatic prosodic modification in a Text-To-Speech synthesizer of Polish language
PublicationPrzedstawiono system syntezy mowy polskiej z funkcją automatycznej modyfikacji prozodii wypowiedzi. Opisane zostały metody automatycznego wyznaczania akcentu i intonacji wypowiedzi. Przedstawiono zastosowanie algorytmów przetwarzania sygnału mowy w procesie kształtowania prozodii. Omówiono wpływ zastosowanych modyfikacji na naturalność brzmienia syntezowanego sygnału. Zastosowana metoda oparta jest na algorytmie TD-PSOLA. Opracowany...
-
Layered background modeling for automatic detection of unattended objects in camera images
PublicationAn algorithm for automatic detection of unattended objects in video camera images is presented. First, background subtraction is performed, using an approach based on the codebook method. Results of the detection are then processed by assigning the background pixels to time slots, based on the codeword age. Using this data, moving objects detected during a chosen period may be extracted from the background model. The proposed approach...
-
Multi-Stage Video Analysis Framework
PublicationThe chapter is organized as follows. Section 2 presents the general structure of the proposed framework and a method of data exchange between system elements. Section 3 is describing the low-level analysis modules for detection and tracking of moving objects. In Section 4 we present the object classification module. Sections 5 and 6 describe specialized modules for detection and recognition of faces and license plates, respectively....
-
Projektowanie i analiza rekursywnych cyfrowych oscylatorów sygnałów sinusoidalnych i świergotowych
PublicationPrzedmiotem badań w rozprawie są rzeczywiste liniowe filtry cyfrowe rekursywne stacjonarne rzędu drugiego i wyższych, o dwu, trzech i więcej wyjściach - generujące, po pobudzeniu ich warunkami początkowymi, drgania niegasnące sinusoidalne lub przebiegi świergotowe na każdym wyjściu. Informacja o parametrach generowanych sygnałów jest zadawana w postaci warunków początkowych i współczynników struktury filtru. W rozprawie dokonano...
-
Problems of Railway Noise-A Case Study
PublicationUnder Directive 2002/49/EC relating to the assessment and management of environmental noise, all European countries are obliged to model their environmental noise levels in heavily populated areas. Some countries have their own national method, to predict noise but most have not created one yet. The recommendation for countries that do not have their own model is to use an interim method. The Dutch SRM II scheme is suggested for...
-
Virtual Keyboard controlled by eye gaze employing speech synthesis
PublicationThe article presents the speech synthesis integrated into the eye gaze tracking system. This approach can significantly improve the quality of life of physically disabled people who are unable to communicate. The virtual keyboard (QWERTY) is an interface which allows for entering the text for the speech synthesizer. First, this article describes a methodology of determining the fixation point on a computer screen. Then it presents...
-
Viewpoint independent shape-based object classification for video surveillance
PublicationA method for shape based object classification is presented.Unlike object dimension based methods it does not require any system calibration techniques. A number of 3D object models are utilized as a source of training dataset for a specified camera orientation. Usage of the 3D models allows to perform the dataset creation process semiautomatically. The background subtraction method is used for the purpose of detecting moving objects...
-
Comparison of various speech time-scale modificartion methods
PublicationThe objective of this work is to investigate the influence of the different time-scale modification (TSM) methods on the quality of the speech stretched up using the designed non-uniform real-time speech time-scale modification algorithm (NU-RTSM). The algorithm provides a combination of the typical TSM algorithm with the vowels, consonants, stutter, transients and silence detectors. Based on the information about the content and...
-
Communication Platform for Evaluation of Transmitted Speech Quality
PublicationA voice communication system designed and implemented is described. The purpose of the presented platform was to enable a series of experiments related to the quality assessment of algorithms used in the coding and transmitting of speech. The system is equipped with tools for recording signals at each stage of processing, making it possible to subject them to subjective assessments by listening tests or, objective evaluation employing...
-
Repozytorium nagrań testowych i algorytmy wspomagania systemów monitoringu przestrzeni publicznej
PublicationW referacie przedstawiono założenia i realizację repozytorium nagrań testowych dla potrzeb oceny algorytmów analizy obrazu. Celem wykonanej pracy jest zgromadzenie materiałów audiowizualnych zawierających różne rodzaje zachowań tłumu wraz z opisem służących do weryfikacji algorytmów analizy obrazu. Omówiono szczegółowo treść nagrań wprowadzonych do repozytorium, wśród których wyróżnić można zachowania typowe jak i nietypowe. Przedstawiono...
-
Automatic sound source localization in disturbing conditions using acoustic vector sensors
PublicationA concept, practical realization and applications of a passive acoustic radar to automatic localization and tracking of sound sources in disturbing conditions were presented in the paper. The device consists of the new kind of multichannel miniature sound intensity sensors and a group of digital signal processing algorithms. The sensitivity of the realized acoustic radar was examined in free sound field. Several kinds of sound...
-
Hałas w szkole - czy warto się nim przejmować?
PublicationSzkoła to nie tylko miejsce. w którym dzieci zdobywają wiedzę o otaczającym świecie, lecz także miejsce. w którym kształtuje się osobowość i charakter młodego człowieka. Nabyte umiejętności i utrwalone nawyki procentują później w dorosłym życiu, przesądzając niekiedy o życiowych wyborach. sukcesach lub porażkach.
-
Budowa repozytorium trójwymiarowych póz postaci i metoda estymacji pozy na podstawie obserwacji 2D
PublicationW referacie przedstawiono metodykę badania algorytmów estymacji układu ciała człowieka w przestrzeni trójwymiarowej na podstawie pojedynczej obserwacji dwuwymiarowej - zdjęcia lub obrazu z kamery. Opisano sposób tworzenia danych odniesienia, zorganizowanych w formie bazy danych zsynchronizowanych nagrań wizyjnych oraz trójwymiarowych danych ruchu. W celu badania algorytmów estymacji pozy wykorzystano trójwymiarowy model ciała ludzkiego...
-
Music query and annotation processes supported by gaze fixation tracking
PublicationCelem referatu jest przegląd kluczowych zagadnień związanych z automatycznym wyszukiwaniem informacji muzycznej MIR - Music Information Retrieval. W pierwszej kolejności przedstawiono aktualne kierunki badań i rozwiązań systemowych związane z wyszukiwaniem i rekomendacją muzyki. Następnie zaprezentowano eksperymenty przeprowadzone na skonstruowanej bazie muzycznej. Pokazano również propozycję wspomagania procesu wyszukiwania i...
-
Multimedialny system wspomagania wykładowcy i prelegenta
PublicationW referacie przedstawiono multimedialny system wspomagania wykładowcy i prelegenta, zainstalowany w wybranych salach audytoryjnych w nowym gmachu Wydziału Elektroniki Telekomunikacji i Informatyki Politechniki Gdańskiej. System ten tworzą: wektorowe czujniki akustyczne, kamery stacjonarne oraz kamery obrotowe z możliwością regulacji ogniskowej. Opracowywany system akustyczno wizyjny stanowi część infrastruktury technicznej budowanej...
-
Hierarchical Estimation of Human Upper Body Based on 2D Observation Utilizing Evolutionary Programming and 'Genetic Memory'
PublicationNew method of the human body pose estimation based on single camera 2D observation is presented. It employs 3D model of the human body, and genetic algorithm combined with annealed particle filter for searching the global optimum of model state, best matching the object's 2D observation. Additionally, motion cost metric is employed, considering current pose and history of the body movement, favouring the estimates with the lowest...
-
Instantaneous complex frequency for pipeline pitch estimation
PublicationIn the paper a pipeline algorithm for estimating the pitch of speech signal is proposed. The algorithm uses instantaneous complex frequencies estimated for four waveforms obtained by filtering the original speech signal through four bandpass complex Hilbert filters. The imaginary parts of ICFs from each channel give four candidates for pitch estimates. The decision regarding the final estimate is made based on the real parts of...
-
Camera angle invariant shape recognition in surveillance systems
PublicationA method for human action recognition in surveillance systems is described. Problems within this task are discussed and a solution based on 3D object models is proposed. The idea is shown and some of its limitations are talked over. Shape description methods are introduced along with their main features. Utilized parameterization algorithm is presented. Classification problem, restricted to bi-nary cases is discussed. Support vector...
-
Utilization of fuzzy rules in computer character animation
PublicationThe chapter presents a method for automatic enhancement of computer character animation utilizing fuzzy inference. First the user designs a prototype version of animation, with keyframes only for important poses, roughly describing the action. Then animation is enriched with new motion phases calculated by the fuzzy inference system using descriptors given by the user. Various degrees of motion fluency and naturalness are possible...
-
Musical recording in a stereo surround system
PublicationCelem niniejszego artykułu jest omówienie realizacji nagrania chóru gospelowego wraz z towarzyszącym mu zespołem w systemie stereofonii dookólnej 5.1. W pierwszej kolejności przedstawiono techniki mikrofonowe użyte podczas nagrania. Następnie omówiono szczegóły związane z jego realizacją w studiu Radia Gdańsk. Ponadto przeprowadzono testy subiektywne z udziałem grupy ekspertów i na tej podstawie wybrano najlepiej ocenianą technikę...
-
Optymalizacja procedur dyskryminacyjnych w procesie weryfikacji mówców - metodyka doboru wag parametrów = Optimization of discriminative procedures in speaker verification process - a method for selecting parameter weights
PublicationPoddano testowaniu system weryfikacji mówców, działający w sposób zależny od tekstu, oparty na parametrach cepstralnych. Wstępnie przyjęto wagi wyrównane przypisane do zdefiniowanego w ten sposób wektora wag, właściwego dla obranego systemu parametryzacyjnego. Uzyskane wyniki przedstawiono w postaci macierzy pomyłek (''confusion matrix''). Dobór wartości wektora wag odbywał się w oparciu o część treningową bazy danych przy użyciu...
-
Controlling computer by lip gestures employing neural network
PublicationResults of experiments regarding lip gesture recognition with an artificial neural network are discussed. The neural network module forms the core element of a multimodal human-computer interface called LipMouse. This solution allows a user to work on a computer using lip movements and gestures. A user face is detected in a video stream from a standard web camera using a cascade of boosted classifiers working with Haar-like features....
-
Moving object tracking algorithm evaluation in autonomous surveillance system
PublicationResults of evaluation of video object tracking algorithm being a part of an autonomous surveillance system are presented. The algorithm was investigated employing a set of benchmarks recorded locally. The precision of object detection, evaluated with such metrics as fragmentation, object area recall and object precision, is in focus. The experiments aimed at examining the detection quality using various object detection algorithm...
-
Human-Computer Interface Based on Visual Lip Movement and Gesture Recognition
PublicationThe multimodal human-computer interface (HCI) called LipMouse is presented, allowing a user to work on a computer using movements and gestures made with his/her mouth only. Algorithms for lip movement tracking and lip gesture recognition are presented in details. User face images are captured with a standard webcam. Face detection is based on a cascade of boosted classifiers using Haar-like features. A mouth region is located in...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublicationW referacie przedstawiono algorytm rozwiązywania konfliktów w śledzeniu obiektów ruchomych. Proponowana metoda wykorzystuje predykcję stanu obiektu obliczaną przez filtry Kalmana oraz dopasowuje wykryte obiekty do struktur śledzących ich ruch na podstawie deskryptorów koloru i tekstury. Omówiono specyficzne sytuacje powodujące konflikty, takie jak rozdzielanie obiektów. Przedstawiono wyniki testów. Algorytm może być zastosowany...