mgr inż. Piotr Dalka
Publikacje
Filtry
wszystkich: 63
Katalog Publikacji
-
Multimedialny system monitorowania hałasu
PublikacjaCelem projektu Multimedialny System Monitorowania Hałasu zrealizowanego w Politechnice Gdańskiej było opracowanie teleinformatycznego systemu monitorowania klimatu akustycznego, uwzględniając w szczególnym stopniu obrazowanie wpływu zagrożeń hałasowych na słuch. Rozwiązania wcześniej dostępne na rynku cechują wysokie koszty oraz ograniczone możliwości rozbudowy o nowe funkcje analizy sygnału akustycznego, ograniczenia technologiczne...
-
Controlling computer by lip gestures employing neural network
PublikacjaResults of experiments regarding lip gesture recognition with an artificial neural network are discussed. The neural network module forms the core element of a multimodal human-computer interface called LipMouse. This solution allows a user to work on a computer using lip movements and gestures. A user face is detected in a video stream from a standard web camera using a cascade of boosted classifiers working with Haar-like features....
-
Moving object tracking algorithm evaluation in autonomous surveillance system
PublikacjaResults of evaluation of video object tracking algorithm being a part of an autonomous surveillance system are presented. The algorithm was investigated employing a set of benchmarks recorded locally. The precision of object detection, evaluated with such metrics as fragmentation, object area recall and object precision, is in focus. The experiments aimed at examining the detection quality using various object detection algorithm...
-
Human-Computer Interface Based on Visual Lip Movement and Gesture Recognition
PublikacjaThe multimodal human-computer interface (HCI) called LipMouse is presented, allowing a user to work on a computer using movements and gestures made with his/her mouth only. Algorithms for lip movement tracking and lip gesture recognition are presented in details. User face images are captured with a standard webcam. Face detection is based on a cascade of boosted classifiers using Haar-like features. A mouth region is located in...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublikacjaW referacie przedstawiono algorytm rozwiązywania konfliktów w śledzeniu obiektów ruchomych. Proponowana metoda wykorzystuje predykcję stanu obiektu obliczaną przez filtry Kalmana oraz dopasowuje wykryte obiekty do struktur śledzących ich ruch na podstawie deskryptorów koloru i tekstury. Omówiono specyficzne sytuacje powodujące konflikty, takie jak rozdzielanie obiektów. Przedstawiono wyniki testów. Algorytm może być zastosowany...
-
Performance evaulation of video object tracking algorithm in autonomous surveillance system
PublikacjaResults of performance evaluation of a video object tracking algorithm are presented. The method of moving objects detection and tracking is based on background modelling with mixtures of Gaussians and Kalman filters. An emphasis is put on algorithm's efficiency with regards to its settings. Utilized methods of performance evaluation based on comparison of algorithm output to manually prepared reference data are introduced. The...
-
Wykorzystanie analizy obrazu ruchów głowy w multimedialnym interfejsie komputerowym
PublikacjaOpracowany interfejs komputerowy umożliwia przeglądanie obrazów statycznych, materiału wizyjnego i fonicznego. Obrazy mogą być przeglądane i wyświetlane w trybie pełnoekranowym. Pliki multimedialne są ułożone w hierarchicznej, wielopoziomowej strukturze. Użytkownik nawiguje po tej strukturze i wyświetla poszczególne elementy poprzez ruch głową w górę, dół, lewo i prawo. Akcja wykonywana przez system zależy od typu zawartości, którą...
-
Performance evaluation of video object tracking algorithm in autonomous surveillance system
PublikacjaResults of performance evaluation of a video object tracking algorithm are presented. The method of moving objects detection and tracking is based on background modelling with mixtures of Gaussians and Kalman filters. An emphasis is put on algorithm's efficiency with regards to its settings. Utilized methods of performance evaluation based on comparison of algorithm output to manually prepared reference data are introduced. The...
-
Automatic detection of abandoned luggage employing a dual camera system
PublikacjaA system for automatic detection of events using a system of fixed and PTZ (pan-tilt-zoom) cameras is described. Images from the fixed camera are analyzed by means of object detection and tracking. Event detection system uses a set of rules to analyze data on the tracked moving objects and to detect defined events. A PTZ camera is used to obtain a detailed view of a selected object. A procedure for conversion between the pixel...
-
MPEG-7-based low level descriptor effectiveness in the automatic musical sound classification.
PublikacjaCelem referatu jest określenie, które z parametrów opisowych MPEG-7 są najbardziej przydatne w klasyfikacji dźwięków instrumentów muzycznych. Określana jest wysokość dźwięku a następnie wyznaczane są wartości parametrów zawartych w standardzie MPEG-7. Otrzymany wektor parametrów poddawany jest analizie statystycznej w celu wyeliminowania danych nadmiarowych. Do celów automatycznej klasyfikacji i testów zaprojektowano dwa systemy...
-
Comparison of effectiveness of musical sound separation algorithms employing neural networks.
PublikacjaNiniejszy referat przedstawia kilka algorytmów służących do separacji dźwięków instrumentów muzycznych. Zaproponowane podejście do dekompozycji miksów dźwiękowych opiera się na założeniu, że wysokość dźwięków w miksie jest znana, tzn. wejściem dla algorytmów jest przebieg zmian wysokości dźwięków składowych miksu. Proces estymacji fazy i amplitudy składowych harmonicznych wykorzystuje dopasowywanie zespolonych przebiegów harmonicznych...
-
System rozpoznawania dźwięków instrumentów muzycznych.
PublikacjaNiniejszy referat przedstawia działanie systemu automatycznego rozpoznawania pojedynczych dźwięków instrumentów muzycznych. System składa się z trzech bloków: detekcja częstotliwości podstawowej, parametryzacja dźwięków i klasyfikacja. W algorytmie detekcji wykorzystano zmodyfikowany algorytm Schroedera. Parametryzację przeprowadzono głównie w oparciu o parametry zdefiniowane w standardzie MPEG-7. Na potrzeby systemu zaimplementowano...
-
Processing of musical data employing rough sets and artificial neural networks
PublikacjaArtykuł opisuje założenia systemu automatycznej identyfikacji muzyki i dźwięków muzycznych. Dokonano przeglądu standardu MPEG-7, ze szczególnym naciskiem na parametry opisowe dźwięku. Przedyskutowano problemy analizy danych audio, związane z zastosowaniami wykorzystującymi MPEG-7. W oparciu o eksperymenty przedstawiono efektywność deskryptorów niskiego poziomu w automatycznym rozpoznawaniu dźwięków instrumentów muzycznych. Przedyskutowano...
-
Combining visual and acoustic modalities to ease speech recognition by hearing impaired people
PublikacjaArtykuł prezentuje system, którego celem działania jest ułatwienie procesu treningu poprawnej wymowy dla osób z poważnymi wadami słuchu. W analizie mowy wykorzystane zostały parametry akutyczne i wizualne. Do wyznaczenia parametrów wizualnych na podstawie kształtu i ruchu ust zostały wykorzystane modele Active Shape Models. Parametry akustyczne bazują na współczynnikach melcepstralnych. Do klasyfikacji wypowiadanych głosek została...
-
Estimation of musical sound separation algorithm effectiveness employing neural networks.
PublikacjaŚlepa separacja dźwięków sygnałów muzycznych zawartych w zmiksowanym materiale jest trudnym zadaniem. Jest to spowodowane tym, że dźwięki znajdujące się w relacjach harmonicznych mogą zawierać kolidujące składowe sinusoidalne (składowe harmoniczne). Ewaluacja wyników separacji jest również problematyczna, gdyż analiza błędu energetycznego często nie odzwierciedla subiektywnej jakości odseparowanych sygnałów. W tej publikacji zostały...
-
Speech recognition system for hearing impaired people.
PublikacjaPraca przedstawia wyniki badań z zakresu rozpoznawania mowy. Tworzony system wykorzystujący dane wizualne i akustyczne będzie ułatwiał trening poprawnego mówienia dla osób po operacji transplantacji ślimaka i innych osób wykazujących poważne uszkodzenia słuchu. Active Shape models zostały wykorzystane do wyznaczania parametrów wizualnych na podstawie analizy kształtu i ruchu ust w nagraniach wideo. Parametry akustyczne bazują na...
-
Identification of regions of interest in video for a traffic monitoring system
PublikacjaA system for automatic event detection in the camera image is presented in this paper. A method of limiting a region of interest to relevant parts of the image using a set of processing procedures is proposed. Image processing includes object detection with shadow removal performed in the modified YCbCr color space instead of RGB. The proposed procedures help to reduce the complexity of image processing algorithm and result in...
-
Objects classification based on their physical sizes for detection of events in camera images
PublikacjaIn the paper, a method of estimation of the physical sizes of the objects tracked in the video surveillance system, and a simple module for object classification based on the estimated physical sizes, are presented. The results of object classification are then used for automatic detection of various types of events in the camera image.
-
Moving object detection and tracking for the purpose of multimodal surveillance system in urban areas
PublikacjaBackground subtraction method based on mixture of Gaussians was employed to detect all regions in a video frame denoting moving objects. Kalman filters were used for establishing relations between the regions and real moving objects in a scene and for tracking them continuously. The objects were represented by rectangles. The objects coupling with adequate regions including the relation of many-to-many was studied experimentally...
-
Contactless Hearing Aid for Infants Employing Signal Processing Algorithms. [Bezkontaktowy aparat słuchowy dla niemowląt wykorzystujący algorytmy przetwarzania sygnału]
PublikacjaZaprojektowany bezkontaktowy aparat słuchowy umiejscawiany jest w łóżeczku niemowlęcia. Aparat składający się z matrycy 4 mikrofonów oraz prototypowej karty z procesorem DSP pracuje w polu swobodnym. Przetworzony sygnał mowy emitowany jest z wykorzystaniem miniaturowych głośników. Opracowane algorytmy pozwalają na elminację akustycznych sprzężeń zwrotnych, które mogą wystepować ze względu na niewielką odległość mikrofonów od głośników...
-
Detekcja obrazu pojazdów w nagraniach wideo oraz eliminacja pasożytniczych sprzężeń akustycznych
PublikacjaReferat prezentuje dwa niezależne rozwiązania z dziedziny inżynierii dźwięku i obrazu. Pierwsze z nich dotyczy wykrywania obrazu ruchomych pojazdów w nagraniach wideo dla zastosowań w monitoringu ruchu drogowego. Detekcja pojazdów odbywa się poprzez porównanie bieżącej ramki obrazu z modelem tła tworzonym w oparciu o sumę ważoną funkcji Gaussowskich. Zbadano skuteczność tej metody w oparciu o przykładowe nagrania ruchu ulicznego....
-
Audiovisual speech recognition for training hearing impaired patients
PublikacjaPraca przedstawia system rozpoznawania izolowanych głosek mowy wykorzystujący dane wizualne i akustyczne. Modele Active Shape Models zostały wykorzystane do wyznaczania parametrów wizualnych na podstawie analizy kształtu i ruchu ust w nagraniach wideo. Parametry akustyczne bazują na współczynnikach melcepstralnych. Sieć neuronowa została użyta do rozpoznawania wymawianych głosek na podstawie wektora cech zawierającego oba typy...
-
Contactless hearing aid designed for infants
PublikacjaIt is a well known fact that language development through home intervention for a hearing-impaired infant should start in the early months of a newborn baby's life. The aim of this paper is to present a concept of a contactless digital hearing aid designed especially for infants. In contrast to all typical wearable hearing aid solutions (ITC, ITE, BTE), the proposed device is mounted in the infant's bed with any parts of its set-up...
-
Vowel recognition based on acoustic and visual features
PublikacjaW artykule zaprezentowano metodę, która może ułatwić naukę mowy dla osób z wadami słuchu. Opracowany system rozpoznawania samogłosek wykorzystuje łączną analizę parametrów akustycznych i wizualnych sygnału mowy. Parametry akustyczne bazują na współczynnikach mel-cepstralnych. Do wyznaczenia parametrów wizualnych z kształtu i ruchu ust zastosowano Active Shape Models. Jako klasyfikator użyto sztuczną sieć neuronową. Działanie systemu...
-
System rozpoznawania mowy wykorzystujący cechy wizualne
PublikacjaNiniejszy artykuł przedstawia metodę rozpoznawania głosek na podstawie analizy ruchu ust, która może znaleźć zastosowanie w terapii logopedycznej osób z wadami słuchu. W pracy opisano algorytm wyznaczana i śledzenia położenia ust oraz zbadano efektywność jego działania. Sztuczna sieć neuronowa została wykorzystana jako klasyfikator rozpoznający sześć wypowiadanych samogłosek w oparciu o wizualne parametry mowy. Dodatkowo przeprowadzono...
-
Visual Traffic Noise Monitoring in Urban Areas
PublikacjaThe paper presents an advanced system for railway and road traffic noise monitoring in metropolitan areas. This system is a functional part of a more complex solution designed for environmental monitoring in cities utilizing analyses of sound, vision and air pollution, based on a ubiquitous computing approach. The system consists of many autonomous, universal measuring units and a multimedia server, which gathers, processes and...
-
Teleinformatyczna akwizycja i przetwarzanie danych dla potrzeb diagnostyki środowiska aglomeracji miejskich
PublikacjaRozdział przedstawia koncepcję aktualnie opracowywanego systemu służącego do monitorowania hałasu i ruchu drogowego w aglomeracjach miejskich, stanowiącego funkcjonalną część szerszego rozwiązania dotyczącego monitorowania środowiska w miastach. System taki składa się z rozmieszczonych w mieście autonomicznych i uniwersalnych stacji monitorujących oraz serwera gromadzącego, przetwarzającego i prezentującego wyniki z wykorzystaniem...
-
Detection and segmentation of moving vehicles and trains using Gaussian mixtures, shadow detection and morphological processing
PublikacjaSolution presented in this paper combines background modelling, shadow detection and morphological and temporal processing into one system responsible for detection and segmentation of moving objects recorded with a static camera. Vehicles and trains are detected based on their pixellevel difference from the continually updated background model utilizing a Gaussian mixture calculated separately for every pixel. The shadow detection...
-
SYSTEM ZDALNEJ OBSERWACJI AKUSTYCZNO-WIZYJNEJ
PublikacjaUmożliwia niejawną analizę pola akustycznego dla celów detekcji, klasyfikacji, lokalizacji i jednoczesnego śledzenia ruchu wielu źródeł dźwięku. Składa się z wektorowych czujników akustycznych oraz algorytmów cyfrowego przetwarzania sygnałów. W połączeniu z zestawem kamer umożliwia: nakierowanie kamery obrotowej na wykryte źródło dźwięku, wskazanie źródła dźwięku w obrazie z kamery tradycyjnej lub termowizyjnej, odsłuch dźwięków...
-
Multimodal Surveillance Based Personal Protection System
PublikacjaA novel, multimodal approach for automatic detection of abduction of a protected individual, employing dedicated personal protection device and a city monitoring system is proposed and overviewed. The solution is based on combining four modalities (signals coming from: Bluetooth, fixed and PTZ cameras, thermal camera, acoustic sensors). The Bluetooth signal is used continuously to monitor the protected person presence, and in case...
-
Open standards-based communication system for distributed intelligent surveillance solution
PublikacjaThe paper presents an open standards-based communication system being a part of a distributed surveillance solution. The paradigm of “intelligent” surveillance approach is introduced, and employed video processing is discussed briefly. Requirements analysis toward the design of communication subsystem architecture is presented. Special attention is paid to the multimedia streaming functionality of presented solution, which is based...
-
Rozpoznawanie ruchów i gestów wykonywanych ustami w obrazie wizyjnym z użyciem sieci neuronowych
PublikacjaUstomysz jest interfejsem komputerowym, umożliwiającym sterowanie kursorem ekranowym za pomocą ruchów ust i gestów wykonywanych ustami. Główną grupą docelową użytkowników interfejsu są osoby, które z dowolnego powodu nie mogą lub nie chcą posługiwać się tradycyjną klawiaturą i myszką komputerową. W związku z tym, może on umożliwić osobom niepełnosprawnym ruchowo, np. z niedowładem kończyn posługiwanie się komputerem, a przez to...
-
Detection of vehicles stopping in restricted zones in video from surveillance cameras
PublikacjaAn algorithm for detection of vehicles that stop in restricted areas, e.g. excluded by traffic rules, is proposed. Classic approaches based on object tracking are inefficient in high traffic scenes because of tracking errors caused by frequent object merging and splitting. The proposed algorithm uses the background subtraction results for detection of moving objects, then pixels belonging to moving objects are tested for stability....
-
Resolving conflicts in object tracking for automatic detection of events in video
PublikacjaAn algorithm for resolving conflicts in tracking of moving objects is presented. The proposed approach utilizes predicted states calculated by Kalman filters for estimation of trackers position, then it uses color and texture descriptors in order to match moving objects with trackers. Problematic situations, such as splitting objects, are addressed. Test results are presented and discussed. The algorithm may be used in the system...
-
Layered background modeling for automatic detection of unattended objects in camera images
PublikacjaAn algorithm for automatic detection of unattended objects in video camera images is presented. First, background subtraction is performed, using an approach based on the codebook method. Results of the detection are then processed by assigning the background pixels to time slots, based on the codeword age. Using this data, moving objects detected during a chosen period may be extracted from the background model. The proposed approach...
-
Multi-Stage Video Analysis Framework
PublikacjaThe chapter is organized as follows. Section 2 presents the general structure of the proposed framework and a method of data exchange between system elements. Section 3 is describing the low-level analysis modules for detection and tracking of moving objects. In Section 4 we present the object classification module. Sections 5 and 6 describe specialized modules for detection and recognition of faces and license plates, respectively....
-
Metody algorytmicznej analizy obrazu wizyjnego do zastosowań w monitorowaniu ruchu drogowego
PublikacjaPrzedmiotem badań rozprawy jest opracowanie nowych i rozwinięcie istniejących metod przetwarzania obrazu z kamer wizyjnych systemów monitoringu mających na celu wykrywanie wybranych zdarzeń w ruchu ulicznym. Oznacza to konieczność opracowania, zbadania, implementacji i dostosowania do pracy w określonych warunkach wszystkich niezbędnych do tego celu algorytmów. Obejmują one detekcję i śledzenie obiektów w polu widzenia kamer, reidentyfikację...
-
Estimation of object size in the calibrated camera image = Estymacja rozmiaru obiektów w obrazach ze skalibrowanej kamery
PublikacjaIn the paper, a method of estimation of the physical sizes of the objects tracked by the camera is presented. First, the camera is calibrated, then the proposed algorithm is used to estimate the real width and height of the tracked moving objects. The results of size estimation are then used for classification of the moving objects. Two methods of camera calibration are compared, test results are presented and discussed. The proposed...
-
Multimedialny system wspomagający identyfikację i zwalczanie przestępczości oraz terroryzmu
PublikacjaArtykuł zawiera przegląd zakresu prac badawczych, które prowadzone są w Politechnice Gdańskiej w ramach realizowanego projektu badawczo-rozwojowego. Opisany jest rozproszony system monitoringu i komunikacji multimedialnej, realizujący kompleksowe zarządzanie zasobami mobilnymi i komunikację multimedialną w czasie rzeczywistym pomiędzy elementami systemu. System realizuje równoczesną analizę obrazu, dźwięku i sygnałów pochodzących...
-
Multimedialny system monitorowania aglomeracji miejskich
Publikacja -
Indect input to image processing
Publikacja -
Automatic Tracking with PTZ Cameras
Publikacja -
Ustomysz
Publikacja -
Camera Orientation-Independent Parking Events Detection
PublikacjaThe paper describes the method for detecting precise position and time of vehicles parking in a parking lot. This task is trivial in case of favorable camera orientation but gets much more complex when an angle between the camera viewing axis and the ground is small. The method utilizes background subtraction and object tracking algorithms for detecting moving objects in a video stream. Objects are classified into vehicles and...
-
Multimodal English corpus for automatic speech recognition
PublikacjaA multimodal corpus developed for research of speech recognition based on audio-visual data is presented. Besides usual video and sound excerpts, the prepared database contains also thermovision images and depth maps. All streams were recorded simultaneously, therefore the corpus enables to examine the importance of the information provided by different modalities. Based on the recordings, it is also possible to develop a speech...
-
Wykorzystanie analizy obrazu w rozpoznawaniu mowy
PublikacjaNiniejszy referat przedstawia metodę rozpoznawania mowy na podstawie analizy ruchu ust. W pracy opisano algorytm wyznaczana i śledzenia położenia ust wykorzystujący modele Active Shape Models oraz zbadano efektywność jego działania. Sztuczna sieć neuronowa została wykorzystana jako klasyfikator rozpoznający sześć wypowiadanych samogłosek w oparciu o wizualne parametry mowy. W pracy umieszczono wyniki klasyfikacji oraz wnioski.
-
Multimedia interface using head movements tracking
PublikacjaThe presented solution supports innovative ways of manipulating computer multimedia content, such as: static images, videos and music clips and others that can be browsed subsequently. The system requires a standard web camera that captures images of the user face. The core of the system is formed by a head movement analyzing algorithm that finds a user face and tracks head movements in real time. Head movements are tracked with...
-
Examining Quality of Hand Segmentation Based on Gaussian Mixture Models
PublikacjaResults of examination of various implementations of Gaussian mix-ture models are presented in the paper. Two of the implementations belonged to the Intel’s OpenCV 2.4.3 library and utilized Background Subtractor MOG and Background Subtractor MOG2 classes. The third implementation presented in the paper was created by the authors and extended Background Subtractor MOG2 with the possibility of operating on the scaled version of...
-
Visual Detection of People Movement Rules Violation in Crowded Indoor Scenes
PublikacjaThe paper presents a camera-independent framework for detecting violations of two typical people movement rules that are in force in many public transit terminals: moving in the wrong direction or across designated lanes. Low-level image processing is based on object detection with Gaussian Mixture Models and employs Kalman filters with conflict resolving extensions for the object tracking. In order to allow an effective event...
-
Surveillance camera tracking of GEO positioned objects
PublikacjaRozdział opisuje system sterowania kamerami ruchomymi PTZ realizujący śledzenie poruszającego się obiektu o znanej pozycji GPS. Przedstawione są idea systemu oraz możliwości jego wykorzystania. Opisane są: procedura kalibracji pola widzenia kamery i sposób powiązania z danymi o lokalizacji, procedura predykcji ruchu w celu kompensacji opóźnień czasowych. Omówiony jest zaimplementowany system modułowy, w którego skład wchodzą: terminale...
wyświetlono 915 razy