Wyszukiwarka
dr hab. inż. Jerzy Proficz
Zatrudnienie
- Dyrektor Centrum Informatycznego TASK w Centrum Informat. Trójmiejskiej Akadem.Sieci Komputerowej
- Profesor uczelni w Katedra Architektury Systemów Komputerowych
Obszary badawcze
Publikacje
Filtry
wszystkich: 56
Katalog Publikacji
-
Energy-Aware High-Performance Computing: Survey of State-of-the-Art Tools, Techniques, and Environments
PublikacjaThe paper presents state of the art of energy-aware high-performance computing (HPC), in particular identification and classification of approaches by system and device types, optimization metrics, and energy/power control methods. System types include single device, clusters, grids, and clouds while considered device types include CPUs, GPUs, multiprocessor, and hybrid systems. Optimization goals include various combinations of...
-
MERPSYS: An environment for simulation of parallel application execution on large scale HPC systems
PublikacjaIn this paper we present a new environment called MERPSYS that allows simulation of parallel application execution time on cluster-based systems. The environment offers a modeling application using the Java language extended with methods representing message passing type communication routines. It also offers a graphical interface for building a system model that incorporates various hardware components such as CPUs, GPUs, interconnects...
-
Survey of Methodologies, Approaches, and Challenges in Parallel Programming Using High-Performance Computing Systems
PublikacjaThis paper provides a review of contemporary methodologies and APIs for parallel programming, with representative technologies selected in terms of target system type (shared memory, distributed, and hybrid), communication patterns (one-sided and two-sided), and programming abstraction level. We analyze representatives in terms of many aspects including programming model, languages, supported platforms, license, optimization goals,...
-
Analyzing energy/performance trade-offs with power capping for parallel applications on modern multi and many core processors
PublikacjaIn the paper we present extensive results from analyzing energy/performance trade-offs with power capping observed on four different modern CPUs, for three different parallel applications such as 2D heat distribution, numerical integration and Fast Fourier Transform. The CPU tested represent both multi-core type CPUs such as Intel⃝R Xeon⃝R E5, desktop and mobile i7 as well as many-core Intel⃝R Xeon PhiTM x200 but also server, desktop...
-
GPU Power Capping for Energy-Performance Trade-Offs in Training of Deep Convolutional Neural Networks for Image Recognition
PublikacjaIn the paper we present performance-energy trade-off investigation of training Deep Convolutional Neural Networks for image recognition. Several representative and widely adopted network models, such as Alexnet, VGG-19, Inception V3, Inception V4, Resnet50 and Resnet152 were tested using systems with Nvidia Quadro RTX 6000 as well as Nvidia V100 GPUs. Using GPU power capping we found other than default configurations minimizing...
-
Optimization of parallel implementation of UNRES package for coarse‐grained simulations to treat large proteins
PublikacjaWe report major algorithmic improvements of the UNRES package for physics-based coarse-grained simulations of proteins. These include (i) introduction of interaction lists to optimize computations, (ii) transforming the inertia matrix to a pentadiagonal form to reduce computing and memory requirements, (iii) removing explicit angles and dihedral angles from energy expressions and recoding the most time-consuming energy/force terms...
-
Energy-Aware Scheduling for High-Performance Computing Systems: A Survey
PublikacjaHigh-performance computing (HPC), according to its name, is traditionally oriented toward performance, especially the execution time and scalability of the computations. However, due to the high cost and environmental issues, energy consumption has already become a very important factor that needs to be considered. The paper presents a survey of energy-aware scheduling methods used in a modern HPC environment, starting with the...
-
Extended investigation of performance-energy trade-offs under power capping in HPC environments
Publikacja—In the paper we present investigation of performance-energy trade-offs under power capping using modern processors. The results are presented for systems targeted at both server and client markets and were collected from Intel Xeon E5 and Intel Xeon Phi server processors as well as from desktop and mobile Intel Core i7 processors. The results, when using power capping, show that we can find various interesting combinations of...
-
Dynamic GPU power capping with online performance tracing for energy efficient GPU computing using DEPO tool
PublikacjaGPU accelerators have become essential to the recent advance in computational power of high- performance computing (HPC) systems. Current HPC systems’ reaching an approximately 20–30 mega-watt power demand has resulted in increasing CO2 emissions, energy costs and necessitate increasingly complex cooling systems. This is a very real challenge. To address this, new mechanisms of software power control could be employed. In this...
-
Tryton Supercomputer Capabilities for Analysis of Massive Data Streams
PublikacjaThe recently deployed supercomputer Tryton, located in the Academic Computer Center of Gdansk University of Technology, provides great means for massive parallel processing. Moreover, the status of the Center as one of the main network nodes in the PIONIER network enables the fast and reliable transfer of data produced by miscellaneous devices scattered in the area of the whole country. The typical examples of such data are streams...
-
Modeling energy consumption of parallel applications
PublikacjaThe paper presents modeling and simulation of energy consumption of two types of parallel applications: geometric Single Program Multiple Data (SPMD) and divide-and-conquer (DAC). Simulation is performed in a new MERPSYS environment. Model of an application uses the Java language with extension representing message exchange between processes working in parallel. Simulation is performed by running threads representing distinct process...
-
Improving all-reduce collective operations for imbalanced process arrival patterns
PublikacjaTwo new algorithms for the all-reduce operation optimized for imbalanced process arrival patterns (PAPs) are presented: (1) sorted linear tree, (2) pre-reduced ring as well as a new way of online PAP detection, including process arrival time estimations, and their distribution between cooperating processes was introduced. The idea, pseudo-code, implementation details, benchmark for performance evaluation and a real case example...
-
Performance and Power-Aware Modeling of MPI Applications for Cluster Computing
PublikacjaThe paper presents modeling of performance and power consumption when running parallel applications on modern cluster-based systems. The model includes basic so-called blocks representing either computations or communication. The latter includes both point-to-point and collective communication. Real measurements were performed using MPI applications and routines run on three different clusters with both Infiniband and Gigabit Ethernet...
-
DEPO: A dynamic energy‐performance optimizer tool for automatic power capping for energy efficient high‐performance computing
PublikacjaIn the article we propose an automatic power capping software tool DEPO that allows one to perform runtime optimization of performance and energy related metrics. For an assumed application model with an initialization phase followed by a running phase with uniform compute and memory intensity, the tool performs automatic tuning engaging one of the two exploration algorithms—linear search (LS) and golden section search (GSS), finds...
-
Mobile Offloading Framework: Solution for Optimizing Mobile Applications Using Cloud Computing
PublikacjaNumber of mobile devices and applications is growing rapidly in recent years. Capabilities and performance of these devices can be tremendously extended with the integration of cloud computing. However, multiple challenges regarding implementation of these type of mobile applications are known, like differences in architecture, optimization and operating system support. This paper summarizes issues with mobile cloud computing and...
-
Categorization of Cloud Workload Types with Clustering
PublikacjaThe paper presents a new classification schema of IaaS cloud workloads types, based on the functional characteristics. We show the results of an experiment of automatic categorization performed with different benchmarks that represent particular workload types. Monitoring of resource utilization allowed us to construct workload models that can be processed with machine learning algorithms. The direct connection between the functional...
-
UNRES-GPU for Physics-Based Coarse-Grained Simulations of Protein Systems at Biological Time- and Size-Scales
PublikacjaThe dynamics of the virus like particles (VLPs) corresponding to the GII.4 Houston, GII.2 SMV, and GI.1 Norwalk strains of human noroviruses (HuNoV) that cause gastroenteritis was investigated by means of long-time (about 30 μs in the laboratory timescale) molecular dynamics simulations with the coarse-grained UNRES force field. The main motion of VLP units turned out to be the bending at the junction between the P1 subdomain (that...
-
Investigation into MPI All-Reduce Performance in a Distributed Cluster with Consideration of Imbalanced Process Arrival Patterns
PublikacjaThe paper presents an evaluation of all-reduce collective MPI algorithms for an environment based on a geographically-distributed compute cluster. The testbed was split into two sites: CI TASK in Gdansk University of Technology and ICM in University of Warsaw, located about 300 km from each other, both connected by a fast optical fiber Ethernet-based 100 Gbps network (900 km part of the PIONIER backbone). Each site hosted a set...
-
Process arrival pattern aware algorithms for acceleration of scatter and gather operations
PublikacjaImbalanced process arrival patterns (PAPs) are ubiquitous in many parallel and distributed systems, especially in HPC ones. The collective operations, e.g. in MPI, are designed for equal process arrival times (PATs), and are not optimized for deviations in their appearance. We propose eight new PAP-aware algorithms for the scatter and gather operations. They are binomial or linear tree adaptations introducing additional process...
-
Long Distance Geographically Distributed InfiniBand Based Computing
PublikacjaCollaboration between multiple computing centres, referred as federated computing is becom- ing important pillar of High Performance Computing (HPC) and will be one of its key components in the future. To test technical possibilities of future collaboration using 100 Gb optic fiber link (Connection was 900 km in length with 9 ms RTT time) we prepared two scenarios of operation. In the first one, Interdisciplinary Centre for Mathematical...
-
Long‐time scale simulations of virus‐like particles from three human‐norovirus strains
PublikacjaThe dynamics of the virus like particles (VLPs) corresponding to the GII.4 Houston, GII.2 SMV, and GI.1 Norwalk strains of human noroviruses (HuNoV) that cause gastroenteritis was investigated by means of long-time (about 30 μs in the laboratory timescale) molecular dynamics simulations with the coarse-grained UNRES force field. The main motion of VLP units turned out to be the bending at the junction between the P1 subdomain (that...
-
Task Allocation and Scalability Evaluation for Real-Time Multimedia Processing in a Cluster Envirinment
PublikacjaAn allocation algorithm for stream processing tasks is proposed (Modified best Fit Descendent, MBFD). A comparison with another solution (BFD) is provided. Tests of the algorithms in an HPC environment are descrobed and the results are presented. A proper scalability metric is proposed and used for the evaluation of the allocation algorithm.
-
Prediction of Processor Utilization for Real-Time Multimedia Stream Processing Tasks
PublikacjaUtilization of MPUs in a computing cluster node for multimedia stream processing is considered. Non-linear increase of processor utilization is described and a related class of algorithms for multimedia real-time processing tasks is defined. For such conditions, experiments measuring the processor utilization and output data loss were proposed and their results presented. A new formula for prediction of utilization was proposed...
-
Improving Clairvoyant: reduction algorithm resilient to imbalanced process arrival patterns
PublikacjaThe Clairvoyant algorithm proposed in “A novel MPI reduction algorithm resilient to imbalances in process arrival times” was analyzed, commented and improved. The comments concern handling certain edge cases in the original pseudocode and description, i.e., adding another state of a process, improved cache friendliness more precise complexity estimations and some other issues improving the robustness of the algorithm implementation....
-
Przetwarzanie strumieni multimedialnych na klastrze komputerowym Galera
PublikacjaSformułowano problemy przetwarzania strumieni multimedialnych w czasie rzeczywistym. Rozpatrzono różne możliwości realizacji tego typu przetwarzania i na tej podstawie opracowano wymagania na platformę KASKADA ułatwiające wykonanie tego typu zadań na klastrze komputerowym o wysokiej wydajności przetwarzania. Podano architekturę takiej platformy oraz sposób jej implementacji. Dokonano oceny przydatności tej platformy przetwarzania...
-
KASKADA - środowisko do wytwarzania i uruchamiania multimedialnych aplikacji równoległych
PublikacjaOpisano podstawowe cechy platformy KASKADA jako środowiska do tworzenia i uruchamiania multimedialnych aplikacji rozproszonych. Przedstawiono funkcjonalność wspierającą konstrukcję algorytmów, zaimplementowanych jako zadania obliczeniowe wykonujące analizę danych wejściowych, usług prostych umożliwiających uruchamianie zadań obliczeniowych oraz usług złożonych agregujących usługi proste za pomocą scenariuszy wykonania. Zaprezentowano...
-
Real-Time Multimedia Stream data Processing in a Supercomputer Environment
PublikacjaRozdział opisuje doświadczenia uzyskane przez autorów podczas pracy w projekcie MAYDAY EURO 2012. Przedstawiono główny cel projektu - stworzenie systemu umożliwiającego rozwijanie i równolegle wykonywanie usług multimedialnych w środowisku klastra obliczeniowego dużej mocy. opisano tematykę przetwarzania dużej liczby strumieni multimedialnych na komputerach dużej mocy. Następnie zaprezentowano możliwości platformy KASKADA: tworzenie...
-
Platforma KASKADA jako system zapewniania bezpieczeństwa poprzez masową analizę strumieni multimedialnych w czasie rzeczywistym
PublikacjaW artykule przedstawiono Platformę KASKADA rozumianą jako system przetwarzania danych cyfrowych i strumieni multimedialnych oraz stanowiącą ofertę usług wspomagających zapewnienie bezpieczeństwa publicznego, ocenę badań medycznych i ochronę własności intelektualnej. celem prowadzonych prac było stworzenie innowacyjnego systemu umozliwiajacego wydajną i masową analizę dokumentów cyfrowych i strumieni multimedialnych w czasie rzeczywistym...
-
KASKADA Platform in Cloud Environment
PublikacjaKASKADA is a computing platform for developing and running services and applications oriented to multimedia processing and data streaming. A solution for serving the platform in the PaaS model is presented. The paper briefly describes the software for creating the private cloud environment based on the OpenStack software. The coud has been deployed to a supercomputer working in C2 NIWA at the Gdansk University of technology. This...
-
A Model-Driven Solution for Development of Multimedia Stream Processing Applications
PublikacjaThis paper presents results of action research related to model-driven solutions in the area of multimedia stream processing. The practical problem to be solved was the need to support application developers who make their multimedia stream processing applications in a supercomputer environment. The solution consists of a domain-specific visual language for composing complex services from simple services called Multimedia Stream...
-
Modele przetwarzania aplikacji na klastrach obliczeniowych
PublikacjaW dzisiejszych czasach badania prowadzone w różnych dziedzinach nauki a także różnego rodzaju aplikacje i wdrożone systemy operują na coraz większych wolumenach danych przy jednocześnie rosnących wymaganiach dotyczących czasu wykonania. Z tego powodu coraz częściej do obliczeń wykorzystuje się klastry obliczeniowe, gdzie do dyspozycji użytkowników pozostaje ogromna moc obliczeniowa (liczona w tera a nawet peta flopach), terabajty...
-
Category-Based Workload Modeling for Hardware Load Prediction in Heterogeneous IaaS Cloud
PublikacjaThe paper presents a method of hardware load prediction using workload models based on application categories and high-level characteristics. Application of the method to the problem of optimization of virtual machine scheduling in a heterogeneous Infrastructure as a Service (IaaS) computing cloud is described.
-
Kaskada - scenariusze analizy strumieni multimedialnych
PublikacjaZaprezentowano podstawowe mechanizmy działania platformy KASKADA ze względu na wykonywanie usług prostych związanych z realizacją algorytmów analizy strumieni multimedialnych, jak również usług złożonych dotyczących wykonywania bardziej skomplikowanych scenariuszy. Rozpatrzono problemy implementacyjne na przykładzie scenariusza analizy strumieni z kamer wideo.
-
KASKADA - multimedia processing platform architecture
PublikacjaPrzedstawiono architekturę platformy KASKADA (skrót od: Kontekstowa Analiza Strumieni Danych z Kamer do Aplikacji Definiujących Alarmy), będącą częścią projektu MAYDAY EURO 2012. Opisano nowy wielowarstwowy model przetwarzania strumieni multimedialnych. Zaproponowano następujące warstwy: usług - prostych i złożonych, zadań obliczeniowych i procesów. Przedstawiono przykładowy scenariusz wraz ze szczegółami jego wykonania, jak również...
-
The task graph assignment for KASKADA platform
PublikacjaArtykuł opisuje model obliczeniowy wykorzystany w platformie KASKADA. Opiera się on na dwóch podstawowych elementach: węzłach klastra obliczeniowego oraz grafie zadań. Przeanalizowane zostały algorytmy przydzielania węzłów obliczeniowych dla zadań w zależności od kryteriów: minimalizacja fragmentacji klastra i minimalizacja opóźnienia przetwarzania danych. Zostały przedstawione wyniki symulacji opisanych algorytmów oraz ich...
-
Przetwarzanie strumieni multimedialnych z użyciem klastra obliczeniowego
PublikacjaZaprezentowano docelową funkcjonalność platformy KASKADA oraz sposób konstrukcji kolejnych warstw. Przedstwiono metodę opisu zadań oraz metodę implementacji zadań uzytkowych (framework), których głównym celem jest analiza strumieni multimedialnych dla identyfikacji charakterystycznych obiektów (np. twarzy) oraz niebezpiecznych zdarzeń 9np. bójka0. Zaprezentowano również strategie wykonania tych zadań na komputerze klastrowym w...
-
Evaluation of Multimedia Stream Processing Modeling Language from the Perspective of Cognitive Dimensions
PublikacjaW referacie zawarto opis zastosowania wymiarów poznawczych do oceny języka modelowania przetwarzania strumieni multimedialnych, nazwanego MSP-ML, w trakcie tworzenia tego języka. Poszczególne części referatu prezentują kontekst i motywacje oceny MSP-ML, metodę oceny, rezultaty oceny oraz porównanie rezultatów oceny z wynikami otrzymanymi za pomocą innych metod oceny języków modelowania wizualnego.
-
Integracja usług multimedialnych na przykładzie platformy KASKADA
PublikacjaOpisano metody integracji wykorzystywane podczas tworzenia aplikacji na platformie KASKADA. Przedstawiono trzy podstawowe elementy podlegające integracji: aplikacje, usługi i urządzenia zewnętrzne. Zaproponowano metody współpracy między nimi, jak również przedstawiono szczegóły techniczne komunikacji: usługi sieciowe dla synchronicznego wykonywania usług, system kolejkowy dla asynchronicznej wymiany wiadomości oraz specjalnie zaprojektowany...
-
Parallel processing of multimedia streams
PublikacjaRozdział przedstawia platformę KASKADA służącą do przetwarzania strumieni multimedialnych. Został opisany jej projekt: diagramy UML klas i sekwencji obrazujące mechanizmy przetwarzania strumieni, oraz szczegóły komunikacji. Zaprezentowano, również, specjalistyczny framework wspomagający tworzenie i wykonywanie algorytmów, jak również definiowanie scenariuszy usług, wraz z oceną ich użyteczności.
-
Zarządzanie zasobami obliczeniowymi w klastrowym środowisku przetwarzania strumieni multimedialnych
PublikacjaZaprezentowano zintegrowany model zarządzania multimedialnym systemem rozproszonym, przetwarzającym strumienie danych, jak również opisano koncepcję jego implementacji w platformie KASDADA. Zdefiniowano charakterystyki wydajnościowe i wiarygodnościowe oraz określono klasę przetwarzanych algorytmów analizy strumieni. Sformułowano tezy rozprawy: (1) Przy akceptowanej wiarygodności przetwarzania strumieni, obciążenie węzła dla analizowanej...
-
A Parallel Genetic Algorithm for Creating Virtual Portraits of Historical Figures
PublikacjaIn this paper we present a genetic algorithm (GA) for creating hypothetical virtual portraits of historical figures and other individuals whose facial appearance is unknown. Our algorithm uses existing portraits of random people from specific historical period and social background to evolve a set of face images potentially resembling the person whose image is to be found. We then use portraits of the person's relatives to judge...
-
Metody testowania platformy KASKADA
PublikacjaW rozdziale przedstawiono wykorzystywany iteracyjny i inkrementalny proces wytwarzania oprogramowania, ze szczególnym uwzględnieniem planowania, wykonywania i śledzenia testów oprogramowania platformy KASKADA. Zaprezentowano model V i przykłady testów jednostkowych, systemowych, wydajnościowych i wiarygodnościowych. Przedstawiono wybrane wyniki testów oraz ich wpływ na konstrukcję platformy.
-
Systemy monitorowania na platformie KASKADA
PublikacjaW artykule znajduje się opis projektu pt. „MAYDAY EURO 2012” Superkomputerowa platforma kontekstowej analizy strumieni danych multimedialnych do identyfikacji wyspecyfikowanych obiektów lub niebezpiecznych zdarzeń. Projekt jest współfinansowany z Europejskiego Funduszu Rozwoju Regionalnego i Budżetu Państwa w ramach Programu Operacyjnego Innowacyjna Gospodarka. KASKADA jest platformą na klastrze komputerowym (superkomputer Galera)...
-
Dystrybucja, archiwizacja i przetwarzanie strumieni multimedialnych na platformie KASKADA
PublikacjaZaprezentowano metody przetwarzania strumieni multimedialnych na platformie KASKADA. Przedstawiono koncepcję dystrybucji strumieni do zadań obliczeniowych wykonywanych na poszczególnych węzłach klastra komputerowego. Zaprezentowano w jaki sposób dane strumieni są konwertowane i dostosowywane do wykorzystywania przez algorytmy obudowane w tzw. Ramkę KASKADA. Przedstawiono projekt i implementację archiwum strumieni multimedialnych...
-
Funkcjonalność platformy KASKADA
PublikacjaPrzedstawiono opis funkcjonalności platformy KASKADA, a w szczególności jej architektury oprogramowania, mechanizmów zarządzania oraz biblioteki usług aplikacyjnych. Zaprezentowano poszczególne komponenty platformy, opisano ich budowę i implementację podstawowych funkcji, jak również zasygnalizowano problemy jakie wystąpiły podczas jej implementacji.
-
Platforma KASKADA - proces wytwarzania oprogramowania
PublikacjaZostał przedstawiony proces wytworzenia Platformy KASKADA służącej do przetwarzania strumieni multimedialnych w rozproszonym środowisku superkom-putera. Przedstawiono wymagania dotyczące Platformy, a następnie opisano przyjętą metodykę wytwarzania. Opi-sano przebieg poszczególnych iteracji procesu. Przedsta-wiono proces wytwarzania usług, od implementacji algo-rytmu, przez wdrożenie na Platformę, aż po akceptację i udostępnienie...
-
Protokoły łączności do transmisji strumieni multimedialnych na platformie KASKADA
PublikacjaPlatforma KASKADA rozumiana jako system przetwarzania strumieni multimedialnych dostarcza szeregu usług wspomagających zapewnienie bezpieczeństwa publicznego oraz ocenę badań medycznych. Wydajność platformy KASKADA w znaczącym stopniu uzależniona jest od efektywności metod komunikacji, w tym wymiany danych multimedialnych, które stanowią podstawę przetwarzania. Celem prowadzonych prac było zaprojektowanie podsystemu komunikacji...
-
Processing of Satellite Data in the Cloud
PublikacjaThe dynamic development of digital technologies, especially those dedicated to devices generating large data streams, such as all kinds of measurement equipment (temperature and humidity sensors, cameras, radio-telescopes and satellites – Internet of Things) enables more in-depth analysis of the surrounding reality, including better understanding of various natural phenomenon, starting from atomic level reactions, through macroscopic...
-
Influence of YARN Schedulers on Power Consumption and Processing Time for Various Big Data Benchmarks
PublikacjaClimate change caused by human activities can influence the lives of everybody onthe planet. The environmental concerns must be taken into consideration by all fields of studyincludingICT. Green Computing aims to reduce negative effects of IT on the environment while,at the same time, maintaining all of the possible benefits it provides. Several Big Data platformslike Apache Spark orYARNhave become widely used in analytics and...
-
Automatic Discovery of IaaS Cloud Workload Types
PublikacjaThe paper presents an approach to automatic discovery of workloads types. We perform functional characteristics of the workloads executed in our cloud environment, that have been used to create model of the computations. To categorize the resources utilization we used K-means algorithm, that allow us automatically select six types of computations. We perform analysis of the discovered types against to typical computational benchmarks,...
wyświetlono 4913 razy