mgr inż. Piotr Dalka
Publications
Filters
total: 63
Catalog Publications
-
Visual Lip Contour Detection for the Purpose of Speech Recognition
PublicationA method for visual detection of lip contours in frontal recordings of speakers is described and evaluated. The purpose of the method is to facilitate speech recognition with visual features extracted from a mouth region. Different Active Appearance Models are employed for finding lips in video frames and for lip shape and texture statistical description. Search initialization procedure is proposed and error measure values are...
-
Vehicle classification based on soft computing algorithms
PublicationExperiments and results regarding vehicle type classification are presented. Three classes of vehicles are recognized: sedans, vans and trucks. The system uses a non-calibrated traffic camera, therefore no direct vehicle dimensions are used. Various vehicle descriptors are tested, including those based on vehicle mask only and those based on vehicle images. The latter ones employ Speeded Up Robust Features (SURF) and gradient images...
-
Gaze-tracking and acoustic vector sensors technologies for PTZ camera steering and acoustic event detection
Publication...
-
Lip movement and gesture recognition for a multimodal human-computer interface
Publication -
Video content analysis in the urban area telemonitoring system
PublicationThe task of constant monitoring of video streams from a large number of cameras and reviewing the recordings in order to find a specified event requires a considerable amount of time and effort from the system operators and it is prone to errors. A solution to this problem is an automatic system for constant analysis of camera images being able to raise an alarm if a predefined event is detected. The chapter presents various aspects...
-
Distributed Framework for Visual Event Detection in Parking Lot Area
PublicationThe paper presents the framework for automatic detection of various events occurring in a parking lot basing on multiple camera video analysis. The framework is massively distributed, both in the logical and physical sense. It consists of several entities called node stations that use XMPP protocol for internal communication and SRTP protocol with Jingle extension for video streaming. Recognized events include detecting parking...
-
Visual Object Tracking System Employing Fixed and PTZ Cameras
PublicationThe paper presents a video monitoring system utilizing fixed and PTZ cameras for tracking of moving objects. First type of camera provides image for background modelling, being employed for foreground objects localization. Estimated objects locations are then utilised for steering of PTZ cameras when observing targeted objects with high close-ups. Objects are classified into several classes, then basic event detection is being...
-
A framework for automatic detection of abandoned luggage in airport terminal
PublicationA framework for automatic detection of events in a video stream transmitted from a monitoring system is presented. The framework is based on the widely used background subtraction and object tracking algorithms. The authors elaborated an algorithm for detection of left and removed objects based on mor-phological processing and edge detection. The event detection algorithm collects and analyzes data of all the moving objects in...
-
Spatial Calibration of a Dual PTZ-Fixed Camera System for Tracking Moving Objects in Video
PublicationA dual camera setup is proposed, consisting of a fixed (stationary) camera and a pan-tilt-zoom (PTZ) camera, employed in an automatic video surveillance system. The PTZ camera is zoomed in on a selected point in the fixed camera view and it may automatically track a moving object. For this purpose, two camera spatial calibration procedures are proposed. The PTZ camera is calibrated in relation to the fixed camera image, using interpolated...
-
Multi-Camera Vehicle Tracking Using Local Image Features and Neural Networks
PublicationA method for tracking moving objects crossing fields of view of multiple cameras is presented. The algorithm utilizes Artificial Neural Networks (ANNs). Each ANN is trained to recognize images of one moving object acquired by a single camera. Local image features calculated in the vicinity of automatically detected interest points are used as object image parameters. Next, ANNs are employed to identify the same objects captured...
-
Selection of Visual Descriptors for the Purpose of Multi-camera Object Re-identification
PublicationA comparative analysis of various visual descriptors is presented in this chapter. The descriptors utilize many aspects of image data: colour, texture, gradient, and statistical moments. The descriptor list is supplemented with local features calculated in close vicinity of key points found automatically in the image. The goal of the analysis is to find descriptors that are best suited for particular task, i.e. re-identification...
-
Multimodal human-computer interfaces based on advanced video and audio analysis
PublicationMultimodal interfaces development history is reviewed briefly in the introduction. Examples of applications of multimodal interfaces to education software and for the disabled people are presented, including interactive electronic whiteboard based on video image analysis, application for controlling computers with mouth gestures and the audio interface for speech stretching for hearing impaired and stuttering people. The Smart...
-
Multimodal human-computer interfaces based on advanced video and audio analysis
PublicationMultimodal interfaces development history is reviewed briefly in the introduction. Some applications of multimodal interfaces to education software for disabled people are presented. One of them, the LipMouse is a novel, vision-based human-computer interface that tracks user’s lip movements and detect lips gestures. A new approach to diagnosing Parkinson’s disease is also shown. The progression of the disease can be measured employing...
-
Surveillance camera tracking of GEO positioned objects
PublicationRozdział opisuje system sterowania kamerami ruchomymi PTZ realizujący śledzenie poruszającego się obiektu o znanej pozycji GPS. Przedstawione są idea systemu oraz możliwości jego wykorzystania. Opisane są: procedura kalibracji pola widzenia kamery i sposób powiązania z danymi o lokalizacji, procedura predykcji ruchu w celu kompensacji opóźnień czasowych. Omówiony jest zaimplementowany system modułowy, w którego skład wchodzą: terminale...
-
Visual Detection of People Movement Rules Violation in Crowded Indoor Scenes
PublicationThe paper presents a camera-independent framework for detecting violations of two typical people movement rules that are in force in many public transit terminals: moving in the wrong direction or across designated lanes. Low-level image processing is based on object detection with Gaussian Mixture Models and employs Kalman filters with conflict resolving extensions for the object tracking. In order to allow an effective event...
-
Examining Quality of Hand Segmentation Based on Gaussian Mixture Models
PublicationResults of examination of various implementations of Gaussian mix-ture models are presented in the paper. Two of the implementations belonged to the Intel’s OpenCV 2.4.3 library and utilized Background Subtractor MOG and Background Subtractor MOG2 classes. The third implementation presented in the paper was created by the authors and extended Background Subtractor MOG2 with the possibility of operating on the scaled version of...
-
Multimedia interface using head movements tracking
PublicationThe presented solution supports innovative ways of manipulating computer multimedia content, such as: static images, videos and music clips and others that can be browsed subsequently. The system requires a standard web camera that captures images of the user face. The core of the system is formed by a head movement analyzing algorithm that finds a user face and tracks head movements in real time. Head movements are tracked with...
-
System rozpoznawania mowy wykorzystujący cechy wizualne
PublicationNiniejszy artykuł przedstawia metodę rozpoznawania głosek na podstawie analizy ruchu ust, która może znaleźć zastosowanie w terapii logopedycznej osób z wadami słuchu. W pracy opisano algorytm wyznaczana i śledzenia położenia ust oraz zbadano efektywność jego działania. Sztuczna sieć neuronowa została wykorzystana jako klasyfikator rozpoznający sześć wypowiadanych samogłosek w oparciu o wizualne parametry mowy. Dodatkowo przeprowadzono...
-
Visual Traffic Noise Monitoring in Urban Areas
PublicationThe paper presents an advanced system for railway and road traffic noise monitoring in metropolitan areas. This system is a functional part of a more complex solution designed for environmental monitoring in cities utilizing analyses of sound, vision and air pollution, based on a ubiquitous computing approach. The system consists of many autonomous, universal measuring units and a multimedia server, which gathers, processes and...
-
Teleinformatyczna akwizycja i przetwarzanie danych dla potrzeb diagnostyki środowiska aglomeracji miejskich
PublicationRozdział przedstawia koncepcję aktualnie opracowywanego systemu służącego do monitorowania hałasu i ruchu drogowego w aglomeracjach miejskich, stanowiącego funkcjonalną część szerszego rozwiązania dotyczącego monitorowania środowiska w miastach. System taki składa się z rozmieszczonych w mieście autonomicznych i uniwersalnych stacji monitorujących oraz serwera gromadzącego, przetwarzającego i prezentującego wyniki z wykorzystaniem...
-
Detection and segmentation of moving vehicles and trains using Gaussian mixtures, shadow detection and morphological processing
PublicationSolution presented in this paper combines background modelling, shadow detection and morphological and temporal processing into one system responsible for detection and segmentation of moving objects recorded with a static camera. Vehicles and trains are detected based on their pixellevel difference from the continually updated background model utilizing a Gaussian mixture calculated separately for every pixel. The shadow detection...
-
Contactless Hearing Aid for Infants Employing Signal Processing Algorithms. [Bezkontaktowy aparat słuchowy dla niemowląt wykorzystujący algorytmy przetwarzania sygnału]
PublicationZaprojektowany bezkontaktowy aparat słuchowy umiejscawiany jest w łóżeczku niemowlęcia. Aparat składający się z matrycy 4 mikrofonów oraz prototypowej karty z procesorem DSP pracuje w polu swobodnym. Przetworzony sygnał mowy emitowany jest z wykorzystaniem miniaturowych głośników. Opracowane algorytmy pozwalają na elminację akustycznych sprzężeń zwrotnych, które mogą wystepować ze względu na niewielką odległość mikrofonów od głośników...
-
Vowel recognition based on acoustic and visual features
PublicationW artykule zaprezentowano metodę, która może ułatwić naukę mowy dla osób z wadami słuchu. Opracowany system rozpoznawania samogłosek wykorzystuje łączną analizę parametrów akustycznych i wizualnych sygnału mowy. Parametry akustyczne bazują na współczynnikach mel-cepstralnych. Do wyznaczenia parametrów wizualnych z kształtu i ruchu ust zastosowano Active Shape Models. Jako klasyfikator użyto sztuczną sieć neuronową. Działanie systemu...
-
Detekcja obrazu pojazdów w nagraniach wideo oraz eliminacja pasożytniczych sprzężeń akustycznych
PublicationReferat prezentuje dwa niezależne rozwiązania z dziedziny inżynierii dźwięku i obrazu. Pierwsze z nich dotyczy wykrywania obrazu ruchomych pojazdów w nagraniach wideo dla zastosowań w monitoringu ruchu drogowego. Detekcja pojazdów odbywa się poprzez porównanie bieżącej ramki obrazu z modelem tła tworzonym w oparciu o sumę ważoną funkcji Gaussowskich. Zbadano skuteczność tej metody w oparciu o przykładowe nagrania ruchu ulicznego....
-
Audiovisual speech recognition for training hearing impaired patients
PublicationPraca przedstawia system rozpoznawania izolowanych głosek mowy wykorzystujący dane wizualne i akustyczne. Modele Active Shape Models zostały wykorzystane do wyznaczania parametrów wizualnych na podstawie analizy kształtu i ruchu ust w nagraniach wideo. Parametry akustyczne bazują na współczynnikach melcepstralnych. Sieć neuronowa została użyta do rozpoznawania wymawianych głosek na podstawie wektora cech zawierającego oba typy...
-
Contactless hearing aid designed for infants
PublicationIt is a well known fact that language development through home intervention for a hearing-impaired infant should start in the early months of a newborn baby's life. The aim of this paper is to present a concept of a contactless digital hearing aid designed especially for infants. In contrast to all typical wearable hearing aid solutions (ITC, ITE, BTE), the proposed device is mounted in the infant's bed with any parts of its set-up...
-
Estimation of object size in the calibrated camera image = Estymacja rozmiaru obiektów w obrazach ze skalibrowanej kamery
PublicationIn the paper, a method of estimation of the physical sizes of the objects tracked by the camera is presented. First, the camera is calibrated, then the proposed algorithm is used to estimate the real width and height of the tracked moving objects. The results of size estimation are then used for classification of the moving objects. Two methods of camera calibration are compared, test results are presented and discussed. The proposed...
-
Multimedialny system wspomagający identyfikację i zwalczanie przestępczości oraz terroryzmu
PublicationArtykuł zawiera przegląd zakresu prac badawczych, które prowadzone są w Politechnice Gdańskiej w ramach realizowanego projektu badawczo-rozwojowego. Opisany jest rozproszony system monitoringu i komunikacji multimedialnej, realizujący kompleksowe zarządzanie zasobami mobilnymi i komunikację multimedialną w czasie rzeczywistym pomiędzy elementami systemu. System realizuje równoczesną analizę obrazu, dźwięku i sygnałów pochodzących...
-
Multimedialny system monitorowania aglomeracji miejskich
Publication -
Indect input to image processing
Publication -
Automatic Tracking with PTZ Cameras
Publication -
Ustomysz
Publication -
Identification of regions of interest in video for a traffic monitoring system
PublicationA system for automatic event detection in the camera image is presented in this paper. A method of limiting a region of interest to relevant parts of the image using a set of processing procedures is proposed. Image processing includes object detection with shadow removal performed in the modified YCbCr color space instead of RGB. The proposed procedures help to reduce the complexity of image processing algorithm and result in...
-
Objects classification based on their physical sizes for detection of events in camera images
PublicationIn the paper, a method of estimation of the physical sizes of the objects tracked in the video surveillance system, and a simple module for object classification based on the estimated physical sizes, are presented. The results of object classification are then used for automatic detection of various types of events in the camera image.
-
Moving object detection and tracking for the purpose of multimodal surveillance system in urban areas
PublicationBackground subtraction method based on mixture of Gaussians was employed to detect all regions in a video frame denoting moving objects. Kalman filters were used for establishing relations between the regions and real moving objects in a scene and for tracking them continuously. The objects were represented by rectangles. The objects coupling with adequate regions including the relation of many-to-many was studied experimentally...
-
Metody algorytmicznej analizy obrazu wizyjnego do zastosowań w monitorowaniu ruchu drogowego
PublicationPrzedmiotem badań rozprawy jest opracowanie nowych i rozwinięcie istniejących metod przetwarzania obrazu z kamer wizyjnych systemów monitoringu mających na celu wykrywanie wybranych zdarzeń w ruchu ulicznym. Oznacza to konieczność opracowania, zbadania, implementacji i dostosowania do pracy w określonych warunkach wszystkich niezbędnych do tego celu algorytmów. Obejmują one detekcję i śledzenie obiektów w polu widzenia kamer, reidentyfikację...
-
SYSTEM ZDALNEJ OBSERWACJI AKUSTYCZNO-WIZYJNEJ
PublicationUmożliwia niejawną analizę pola akustycznego dla celów detekcji, klasyfikacji, lokalizacji i jednoczesnego śledzenia ruchu wielu źródeł dźwięku. Składa się z wektorowych czujników akustycznych oraz algorytmów cyfrowego przetwarzania sygnałów. W połączeniu z zestawem kamer umożliwia: nakierowanie kamery obrotowej na wykryte źródło dźwięku, wskazanie źródła dźwięku w obrazie z kamery tradycyjnej lub termowizyjnej, odsłuch dźwięków...
-
Multimodal Surveillance Based Personal Protection System
PublicationA novel, multimodal approach for automatic detection of abduction of a protected individual, employing dedicated personal protection device and a city monitoring system is proposed and overviewed. The solution is based on combining four modalities (signals coming from: Bluetooth, fixed and PTZ cameras, thermal camera, acoustic sensors). The Bluetooth signal is used continuously to monitor the protected person presence, and in case...
-
Rozpoznawanie ruchów i gestów wykonywanych ustami w obrazie wizyjnym z użyciem sieci neuronowych
PublicationUstomysz jest interfejsem komputerowym, umożliwiającym sterowanie kursorem ekranowym za pomocą ruchów ust i gestów wykonywanych ustami. Główną grupą docelową użytkowników interfejsu są osoby, które z dowolnego powodu nie mogą lub nie chcą posługiwać się tradycyjną klawiaturą i myszką komputerową. W związku z tym, może on umożliwić osobom niepełnosprawnym ruchowo, np. z niedowładem kończyn posługiwanie się komputerem, a przez to...
-
Open standards-based communication system for distributed intelligent surveillance solution
PublicationThe paper presents an open standards-based communication system being a part of a distributed surveillance solution. The paradigm of “intelligent” surveillance approach is introduced, and employed video processing is discussed briefly. Requirements analysis toward the design of communication subsystem architecture is presented. Special attention is paid to the multimedia streaming functionality of presented solution, which is based...
-
Camera Orientation-Independent Parking Events Detection
PublicationThe paper describes the method for detecting precise position and time of vehicles parking in a parking lot. This task is trivial in case of favorable camera orientation but gets much more complex when an angle between the camera viewing axis and the ground is small. The method utilizes background subtraction and object tracking algorithms for detecting moving objects in a video stream. Objects are classified into vehicles and...
-
Resolving conflicts in object tracking for automatic detection of events in video
PublicationAn algorithm for resolving conflicts in tracking of moving objects is presented. The proposed approach utilizes predicted states calculated by Kalman filters for estimation of trackers position, then it uses color and texture descriptors in order to match moving objects with trackers. Problematic situations, such as splitting objects, are addressed. Test results are presented and discussed. The algorithm may be used in the system...
-
Layered background modeling for automatic detection of unattended objects in camera images
PublicationAn algorithm for automatic detection of unattended objects in video camera images is presented. First, background subtraction is performed, using an approach based on the codebook method. Results of the detection are then processed by assigning the background pixels to time slots, based on the codeword age. Using this data, moving objects detected during a chosen period may be extracted from the background model. The proposed approach...
-
Multi-Stage Video Analysis Framework
PublicationThe chapter is organized as follows. Section 2 presents the general structure of the proposed framework and a method of data exchange between system elements. Section 3 is describing the low-level analysis modules for detection and tracking of moving objects. In Section 4 we present the object classification module. Sections 5 and 6 describe specialized modules for detection and recognition of faces and license plates, respectively....
-
Resolving conflicts in object tracking for automatic detection of events in video
PublicationW referacie przedstawiono algorytm rozwiązywania konfliktów w śledzeniu obiektów ruchomych. Proponowana metoda wykorzystuje predykcję stanu obiektu obliczaną przez filtry Kalmana oraz dopasowuje wykryte obiekty do struktur śledzących ich ruch na podstawie deskryptorów koloru i tekstury. Omówiono specyficzne sytuacje powodujące konflikty, takie jak rozdzielanie obiektów. Przedstawiono wyniki testów. Algorytm może być zastosowany...
-
Multimedialny system monitorowania hałasu
PublicationCelem projektu Multimedialny System Monitorowania Hałasu zrealizowanego w Politechnice Gdańskiej było opracowanie teleinformatycznego systemu monitorowania klimatu akustycznego, uwzględniając w szczególnym stopniu obrazowanie wpływu zagrożeń hałasowych na słuch. Rozwiązania wcześniej dostępne na rynku cechują wysokie koszty oraz ograniczone możliwości rozbudowy o nowe funkcje analizy sygnału akustycznego, ograniczenia technologiczne...
-
Automatic detection of abandoned luggage employing a dual camera system
PublicationA system for automatic detection of events using a system of fixed and PTZ (pan-tilt-zoom) cameras is described. Images from the fixed camera are analyzed by means of object detection and tracking. Event detection system uses a set of rules to analyze data on the tracked moving objects and to detect defined events. A PTZ camera is used to obtain a detailed view of a selected object. A procedure for conversion between the pixel...
-
Controlling computer by lip gestures employing neural network
PublicationResults of experiments regarding lip gesture recognition with an artificial neural network are discussed. The neural network module forms the core element of a multimodal human-computer interface called LipMouse. This solution allows a user to work on a computer using lip movements and gestures. A user face is detected in a video stream from a standard web camera using a cascade of boosted classifiers working with Haar-like features....
-
Moving object tracking algorithm evaluation in autonomous surveillance system
PublicationResults of evaluation of video object tracking algorithm being a part of an autonomous surveillance system are presented. The algorithm was investigated employing a set of benchmarks recorded locally. The precision of object detection, evaluated with such metrics as fragmentation, object area recall and object precision, is in focus. The experiments aimed at examining the detection quality using various object detection algorithm...
-
Human-Computer Interface Based on Visual Lip Movement and Gesture Recognition
PublicationThe multimodal human-computer interface (HCI) called LipMouse is presented, allowing a user to work on a computer using movements and gestures made with his/her mouth only. Algorithms for lip movement tracking and lip gesture recognition are presented in details. User face images are captured with a standard webcam. Face detection is based on a cascade of boosted classifiers using Haar-like features. A mouth region is located in...
seen 915 times