Wyszukiwarka
mgr inż. Piotr Dalka
Publikacje
Filtry
wszystkich: 63
Katalog Publikacji
Rok 2010
-
A framework for automatic detection of abandoned luggage in airport terminal
PublikacjaA framework for automatic detection of events in a video stream transmitted from a monitoring system is presented. The framework is based on the widely used background subtraction and object tracking algorithms. The authors elaborated an algorithm for detection of left and removed objects based on mor-phological processing and edge detection. The event detection algorithm collects and analyzes data of all the moving objects in...
-
Automatic detection of abandoned luggage employing a dual camera system
PublikacjaA system for automatic detection of events using a system of fixed and PTZ (pan-tilt-zoom) cameras is described. Images from the fixed camera are analyzed by means of object detection and tracking. Event detection system uses a set of rules to analyze data on the tracked moving objects and to detect defined events. A PTZ camera is used to obtain a detailed view of a selected object. A procedure for conversion between the pixel...
-
Controlling computer by lip gestures employing neural network
PublikacjaResults of experiments regarding lip gesture recognition with an artificial neural network are discussed. The neural network module forms the core element of a multimodal human-computer interface called LipMouse. This solution allows a user to work on a computer using lip movements and gestures. A user face is detected in a video stream from a standard web camera using a cascade of boosted classifiers working with Haar-like features....
-
Gaze-tracking and acoustic vector sensors technologies for PTZ camera steering and acoustic event detection
Publikacja...
-
Human-Computer Interface Based on Visual Lip Movement and Gesture Recognition
PublikacjaThe multimodal human-computer interface (HCI) called LipMouse is presented, allowing a user to work on a computer using movements and gestures made with his/her mouth only. Algorithms for lip movement tracking and lip gesture recognition are presented in details. User face images are captured with a standard webcam. Face detection is based on a cascade of boosted classifiers using Haar-like features. A mouth region is located in...
-
Moving object tracking algorithm evaluation in autonomous surveillance system
PublikacjaResults of evaluation of video object tracking algorithm being a part of an autonomous surveillance system are presented. The algorithm was investigated employing a set of benchmarks recorded locally. The precision of object detection, evaluated with such metrics as fragmentation, object area recall and object precision, is in focus. The experiments aimed at examining the detection quality using various object detection algorithm...
-
Multimedialny system monitorowania hałasu
PublikacjaCelem projektu Multimedialny System Monitorowania Hałasu zrealizowanego w Politechnice Gdańskiej było opracowanie teleinformatycznego systemu monitorowania klimatu akustycznego, uwzględniając w szczególnym stopniu obrazowanie wpływu zagrożeń hałasowych na słuch. Rozwiązania wcześniej dostępne na rynku cechują wysokie koszty oraz ograniczone możliwości rozbudowy o nowe funkcje analizy sygnału akustycznego, ograniczenia technologiczne...
-
Performance evaluation of video object tracking algorithm in autonomous surveillance system
PublikacjaResults of performance evaluation of a video object tracking algorithm are presented. The method of moving objects detection and tracking is based on background modelling with mixtures of Gaussians and Kalman filters. An emphasis is put on algorithm's efficiency with regards to its settings. Utilized methods of performance evaluation based on comparison of algorithm output to manually prepared reference data are introduced. The...
-
Performance evaulation of video object tracking algorithm in autonomous surveillance system
PublikacjaResults of performance evaluation of a video object tracking algorithm are presented. The method of moving objects detection and tracking is based on background modelling with mixtures of Gaussians and Kalman filters. An emphasis is put on algorithm's efficiency with regards to its settings. Utilized methods of performance evaluation based on comparison of algorithm output to manually prepared reference data are introduced. The...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublikacjaW referacie przedstawiono algorytm rozwiązywania konfliktów w śledzeniu obiektów ruchomych. Proponowana metoda wykorzystuje predykcję stanu obiektu obliczaną przez filtry Kalmana oraz dopasowuje wykryte obiekty do struktur śledzących ich ruch na podstawie deskryptorów koloru i tekstury. Omówiono specyficzne sytuacje powodujące konflikty, takie jak rozdzielanie obiektów. Przedstawiono wyniki testów. Algorytm może być zastosowany...
Rok 2006
-
Audiovisual speech recognition for training hearing impaired patients
PublikacjaPraca przedstawia system rozpoznawania izolowanych głosek mowy wykorzystujący dane wizualne i akustyczne. Modele Active Shape Models zostały wykorzystane do wyznaczania parametrów wizualnych na podstawie analizy kształtu i ruchu ust w nagraniach wideo. Parametry akustyczne bazują na współczynnikach melcepstralnych. Sieć neuronowa została użyta do rozpoznawania wymawianych głosek na podstawie wektora cech zawierającego oba typy...
-
Contactless hearing aid designed for infants
PublikacjaIt is a well known fact that language development through home intervention for a hearing-impaired infant should start in the early months of a newborn baby's life. The aim of this paper is to present a concept of a contactless digital hearing aid designed especially for infants. In contrast to all typical wearable hearing aid solutions (ITC, ITE, BTE), the proposed device is mounted in the infant's bed with any parts of its set-up...
-
Contactless Hearing Aid for Infants Employing Signal Processing Algorithms. [Bezkontaktowy aparat słuchowy dla niemowląt wykorzystujący algorytmy przetwarzania sygnału]
PublikacjaZaprojektowany bezkontaktowy aparat słuchowy umiejscawiany jest w łóżeczku niemowlęcia. Aparat składający się z matrycy 4 mikrofonów oraz prototypowej karty z procesorem DSP pracuje w polu swobodnym. Przetworzony sygnał mowy emitowany jest z wykorzystaniem miniaturowych głośników. Opracowane algorytmy pozwalają na elminację akustycznych sprzężeń zwrotnych, które mogą wystepować ze względu na niewielką odległość mikrofonów od głośników...
-
Detection and segmentation of moving vehicles and trains using Gaussian mixtures, shadow detection and morphological processing
PublikacjaSolution presented in this paper combines background modelling, shadow detection and morphological and temporal processing into one system responsible for detection and segmentation of moving objects recorded with a static camera. Vehicles and trains are detected based on their pixellevel difference from the continually updated background model utilizing a Gaussian mixture calculated separately for every pixel. The shadow detection...
-
Detekcja obrazu pojazdów w nagraniach wideo oraz eliminacja pasożytniczych sprzężeń akustycznych
PublikacjaReferat prezentuje dwa niezależne rozwiązania z dziedziny inżynierii dźwięku i obrazu. Pierwsze z nich dotyczy wykrywania obrazu ruchomych pojazdów w nagraniach wideo dla zastosowań w monitoringu ruchu drogowego. Detekcja pojazdów odbywa się poprzez porównanie bieżącej ramki obrazu z modelem tła tworzonym w oparciu o sumę ważoną funkcji Gaussowskich. Zbadano skuteczność tej metody w oparciu o przykładowe nagrania ruchu ulicznego....
Rok 2009
-
Automatic Tracking with PTZ Cameras
Publikacja -
Estimation of object size in the calibrated camera image = Estymacja rozmiaru obiektów w obrazach ze skalibrowanej kamery
PublikacjaIn the paper, a method of estimation of the physical sizes of the objects tracked by the camera is presented. First, the camera is calibrated, then the proposed algorithm is used to estimate the real width and height of the tracked moving objects. The results of size estimation are then used for classification of the moving objects. Two methods of camera calibration are compared, test results are presented and discussed. The proposed...
-
Indect input to image processing
Publikacja -
Lip movement and gesture recognition for a multimodal human-computer interface
Publikacja -
Multimedialny system monitorowania aglomeracji miejskich
Publikacja -
Multimedialny system wspomagający identyfikację i zwalczanie przestępczości oraz terroryzmu
PublikacjaArtykuł zawiera przegląd zakresu prac badawczych, które prowadzone są w Politechnice Gdańskiej w ramach realizowanego projektu badawczo-rozwojowego. Opisany jest rozproszony system monitoringu i komunikacji multimedialnej, realizujący kompleksowe zarządzanie zasobami mobilnymi i komunikację multimedialną w czasie rzeczywistym pomiędzy elementami systemu. System realizuje równoczesną analizę obrazu, dźwięku i sygnałów pochodzących...
-
Surveillance camera tracking of GEO positioned objects
PublikacjaRozdział opisuje system sterowania kamerami ruchomymi PTZ realizujący śledzenie poruszającego się obiektu o znanej pozycji GPS. Przedstawione są idea systemu oraz możliwości jego wykorzystania. Opisane są: procedura kalibracji pola widzenia kamery i sposób powiązania z danymi o lokalizacji, procedura predykcji ruchu w celu kompensacji opóźnień czasowych. Omówiony jest zaimplementowany system modułowy, w którego skład wchodzą: terminale...
Rok 2011
-
Camera Orientation-Independent Parking Events Detection
PublikacjaThe paper describes the method for detecting precise position and time of vehicles parking in a parking lot. This task is trivial in case of favorable camera orientation but gets much more complex when an angle between the camera viewing axis and the ground is small. The method utilizes background subtraction and object tracking algorithms for detecting moving objects in a video stream. Objects are classified into vehicles and...
-
Distributed Framework for Visual Event Detection in Parking Lot Area
PublikacjaThe paper presents the framework for automatic detection of various events occurring in a parking lot basing on multiple camera video analysis. The framework is massively distributed, both in the logical and physical sense. It consists of several entities called node stations that use XMPP protocol for internal communication and SRTP protocol with Jingle extension for video streaming. Recognized events include detecting parking...
-
Layered background modeling for automatic detection of unattended objects in camera images
PublikacjaAn algorithm for automatic detection of unattended objects in video camera images is presented. First, background subtraction is performed, using an approach based on the codebook method. Results of the detection are then processed by assigning the background pixels to time slots, based on the codeword age. Using this data, moving objects detected during a chosen period may be extracted from the background model. The proposed approach...
-
Multimedia interface using head movements tracking
PublikacjaThe presented solution supports innovative ways of manipulating computer multimedia content, such as: static images, videos and music clips and others that can be browsed subsequently. The system requires a standard web camera that captures images of the user face. The core of the system is formed by a head movement analyzing algorithm that finds a user face and tracks head movements in real time. Head movements are tracked with...
-
Multi-Stage Video Analysis Framework
PublikacjaThe chapter is organized as follows. Section 2 presents the general structure of the proposed framework and a method of data exchange between system elements. Section 3 is describing the low-level analysis modules for detection and tracking of moving objects. In Section 4 we present the object classification module. Sections 5 and 6 describe specialized modules for detection and recognition of faces and license plates, respectively....
-
Resolving conflicts in object tracking for automatic detection of events in video
PublikacjaAn algorithm for resolving conflicts in tracking of moving objects is presented. The proposed approach utilizes predicted states calculated by Kalman filters for estimation of trackers position, then it uses color and texture descriptors in order to match moving objects with trackers. Problematic situations, such as splitting objects, are addressed. Test results are presented and discussed. The algorithm may be used in the system...
Rok 2005
-
Combining visual and acoustic modalities to ease speech recognition by hearing impaired people
PublikacjaArtykuł prezentuje system, którego celem działania jest ułatwienie procesu treningu poprawnej wymowy dla osób z poważnymi wadami słuchu. W analizie mowy wykorzystane zostały parametry akutyczne i wizualne. Do wyznaczenia parametrów wizualnych na podstawie kształtu i ruchu ust zostały wykorzystane modele Active Shape Models. Parametry akustyczne bazują na współczynnikach melcepstralnych. Do klasyfikacji wypowiadanych głosek została...
-
Estimation of musical sound separation algorithm effectiveness employing neural networks.
PublikacjaŚlepa separacja dźwięków sygnałów muzycznych zawartych w zmiksowanym materiale jest trudnym zadaniem. Jest to spowodowane tym, że dźwięki znajdujące się w relacjach harmonicznych mogą zawierać kolidujące składowe sinusoidalne (składowe harmoniczne). Ewaluacja wyników separacji jest również problematyczna, gdyż analiza błędu energetycznego często nie odzwierciedla subiektywnej jakości odseparowanych sygnałów. W tej publikacji zostały...
-
Processing of musical data employing rough sets and artificial neural networks
PublikacjaArtykuł opisuje założenia systemu automatycznej identyfikacji muzyki i dźwięków muzycznych. Dokonano przeglądu standardu MPEG-7, ze szczególnym naciskiem na parametry opisowe dźwięku. Przedyskutowano problemy analizy danych audio, związane z zastosowaniami wykorzystującymi MPEG-7. W oparciu o eksperymenty przedstawiono efektywność deskryptorów niskiego poziomu w automatycznym rozpoznawaniu dźwięków instrumentów muzycznych. Przedyskutowano...
-
Speech recognition system for hearing impaired people.
PublikacjaPraca przedstawia wyniki badań z zakresu rozpoznawania mowy. Tworzony system wykorzystujący dane wizualne i akustyczne będzie ułatwiał trening poprawnego mówienia dla osób po operacji transplantacji ślimaka i innych osób wykazujących poważne uszkodzenia słuchu. Active Shape models zostały wykorzystane do wyznaczania parametrów wizualnych na podstawie analizy kształtu i ruchu ust w nagraniach wideo. Parametry akustyczne bazują na...
Rok 2004
-
Comparison of effectiveness of musical sound separation algorithms employing neural networks.
PublikacjaNiniejszy referat przedstawia kilka algorytmów służących do separacji dźwięków instrumentów muzycznych. Zaproponowane podejście do dekompozycji miksów dźwiękowych opiera się na założeniu, że wysokość dźwięków w miksie jest znana, tzn. wejściem dla algorytmów jest przebieg zmian wysokości dźwięków składowych miksu. Proces estymacji fazy i amplitudy składowych harmonicznych wykorzystuje dopasowywanie zespolonych przebiegów harmonicznych...
-
MPEG-7-based low level descriptor effectiveness in the automatic musical sound classification.
PublikacjaCelem referatu jest określenie, które z parametrów opisowych MPEG-7 są najbardziej przydatne w klasyfikacji dźwięków instrumentów muzycznych. Określana jest wysokość dźwięku a następnie wyznaczane są wartości parametrów zawartych w standardzie MPEG-7. Otrzymany wektor parametrów poddawany jest analizie statystycznej w celu wyeliminowania danych nadmiarowych. Do celów automatycznej klasyfikacji i testów zaprojektowano dwa systemy...
-
System rozpoznawania dźwięków instrumentów muzycznych.
PublikacjaNiniejszy referat przedstawia działanie systemu automatycznego rozpoznawania pojedynczych dźwięków instrumentów muzycznych. System składa się z trzech bloków: detekcja częstotliwości podstawowej, parametryzacja dźwięków i klasyfikacja. W algorytmie detekcji wykorzystano zmodyfikowany algorytm Schroedera. Parametryzację przeprowadzono głównie w oparciu o parametry zdefiniowane w standardzie MPEG-7. Na potrzeby systemu zaimplementowano...
Rok 2014
-
Detection of vehicles stopping in restricted zones in video from surveillance cameras
PublikacjaAn algorithm for detection of vehicles that stop in restricted areas, e.g. excluded by traffic rules, is proposed. Classic approaches based on object tracking are inefficient in high traffic scenes because of tracking errors caused by frequent object merging and splitting. The proposed algorithm uses the background subtraction results for detection of moving objects, then pixels belonging to moving objects are tested for stability....
-
Examining Quality of Hand Segmentation Based on Gaussian Mixture Models
PublikacjaResults of examination of various implementations of Gaussian mix-ture models are presented in the paper. Two of the implementations belonged to the Intel’s OpenCV 2.4.3 library and utilized Background Subtractor MOG and Background Subtractor MOG2 classes. The third implementation presented in the paper was created by the authors and extended Background Subtractor MOG2 with the possibility of operating on the scaled version of...
-
Multimodal human-computer interfaces based on advanced video and audio analysis
PublikacjaMultimodal interfaces development history is reviewed briefly in the introduction. Some applications of multimodal interfaces to education software for disabled people are presented. One of them, the LipMouse is a novel, vision-based human-computer interface that tracks user’s lip movements and detect lips gestures. A new approach to diagnosing Parkinson’s disease is also shown. The progression of the disease can be measured employing...
-
Selection of Visual Descriptors for the Purpose of Multi-camera Object Re-identification
PublikacjaA comparative analysis of various visual descriptors is presented in this chapter. The descriptors utilize many aspects of image data: colour, texture, gradient, and statistical moments. The descriptor list is supplemented with local features calculated in close vicinity of key points found automatically in the image. The goal of the analysis is to find descriptors that are best suited for particular task, i.e. re-identification...
Rok 2008
-
Identification of regions of interest in video for a traffic monitoring system
PublikacjaA system for automatic event detection in the camera image is presented in this paper. A method of limiting a region of interest to relevant parts of the image using a set of processing procedures is proposed. Image processing includes object detection with shadow removal performed in the modified YCbCr color space instead of RGB. The proposed procedures help to reduce the complexity of image processing algorithm and result in...
-
Moving object detection and tracking for the purpose of multimodal surveillance system in urban areas
PublikacjaBackground subtraction method based on mixture of Gaussians was employed to detect all regions in a video frame denoting moving objects. Kalman filters were used for establishing relations between the regions and real moving objects in a scene and for tracking them continuously. The objects were represented by rectangles. The objects coupling with adequate regions including the relation of many-to-many was studied experimentally...
-
Objects classification based on their physical sizes for detection of events in camera images
PublikacjaIn the paper, a method of estimation of the physical sizes of the objects tracked in the video surveillance system, and a simple module for object classification based on the estimated physical sizes, are presented. The results of object classification are then used for automatic detection of various types of events in the camera image.
Rok 2015
-
Metody algorytmicznej analizy obrazu wizyjnego do zastosowań w monitorowaniu ruchu drogowego
PublikacjaPrzedmiotem badań rozprawy jest opracowanie nowych i rozwinięcie istniejących metod przetwarzania obrazu z kamer wizyjnych systemów monitoringu mających na celu wykrywanie wybranych zdarzeń w ruchu ulicznym. Oznacza to konieczność opracowania, zbadania, implementacji i dostosowania do pracy w określonych warunkach wszystkich niezbędnych do tego celu algorytmów. Obejmują one detekcję i śledzenie obiektów w polu widzenia kamer, reidentyfikację...
Rok 2012
-
Multi-Camera Vehicle Tracking Using Local Image Features and Neural Networks
PublikacjaA method for tracking moving objects crossing fields of view of multiple cameras is presented. The algorithm utilizes Artificial Neural Networks (ANNs). Each ANN is trained to recognize images of one moving object acquired by a single camera. Local image features calculated in the vicinity of automatically detected interest points are used as object image parameters. Next, ANNs are employed to identify the same objects captured...
Rok 2013
-
Multimodal English corpus for automatic speech recognition
PublikacjaA multimodal corpus developed for research of speech recognition based on audio-visual data is presented. Besides usual video and sound excerpts, the prepared database contains also thermovision images and depth maps. All streams were recorded simultaneously, therefore the corpus enables to examine the importance of the information provided by different modalities. Based on the recordings, it is also possible to develop a speech...
-
Multimodal human-computer interfaces based on advanced video and audio analysis
PublikacjaMultimodal interfaces development history is reviewed briefly in the introduction. Examples of applications of multimodal interfaces to education software and for the disabled people are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with mouth gestures and the audio interface for speech stretching for hearing impaired and stuttering people. The Smart...
-
Multimodal Surveillance Based Personal Protection System
PublikacjaA novel, multimodal approach for automatic detection of abduction of a protected individual, employing dedicated personal protection device and a city monitoring system is proposed and overviewed. The solution is based on combining four modalities (signals coming from: Bluetooth, fixed and PTZ cameras, thermal camera, acoustic sensors). The Bluetooth signal is used continuously to monitor the protected person presence, and in case...
-
Open standards-based communication system for distributed intelligent surveillance solution
PublikacjaThe paper presents an open standards-based communication system being a part of a distributed surveillance solution. The paradigm of “intelligent” surveillance approach is introduced, and employed video processing is discussed briefly. Requirements analysis toward the design of communication subsystem architecture is presented. Special attention is paid to the multimedia streaming functionality of presented solution, which is based...
-
Rozpoznawanie ruchów i gestów wykonywanych ustami w obrazie wizyjnym z użyciem sieci neuronowych
PublikacjaUstomysz jest interfejsem komputerowym, umożliwiającym sterowanie kursorem ekranowym za pomocą ruchów ust i gestów wykonywanych ustami. Główną grupą docelową użytkowników interfejsu są osoby, które z dowolnego powodu nie mogą lub nie chcą posługiwać się tradycyjną klawiaturą i myszką komputerową. W związku z tym, może on umożliwić osobom niepełnosprawnym ruchowo, np. z niedowładem kończyn posługiwanie się komputerem, a przez to...
-
Spatial Calibration of a Dual PTZ-Fixed Camera System for Tracking Moving Objects in Video
PublikacjaA dual camera setup is proposed, consisting of a fixed (stationary) camera and a pan-tilt-zoom (PTZ) camera, employed in an automatic video surveillance system. The PTZ camera is zoomed in on a selected point in the fixed camera view and it may automatically track a moving object. For this purpose, two camera spatial calibration procedures are proposed. The PTZ camera is calibrated in relation to the fixed camera image, using interpolated...
wyświetlono 912 razy