Search
Search results for: volunteer-computing
-
Quality Modeling in Grid and Volunteer-Computing Systems
PublicationA model of computational quality in large-scale computing systems was presented in the previous chapter of this book. This model describes three quality attributes: performance, reliability and energy efficiency. We assumed that all processes in the system are incessantly ready to perform calculations and that communication between the processes occurs immediately. These assumptions are not true for grid and volunteer computing...
-
Volunteer Computing System Comcute with Smart Scheduler
PublicationIn this paper, a volunteer grid called Comcute is studied. Moreover, the harmony search scheduler is proposed. This scheduler has been designed for efficient using some resources of volunteer grid. The harmony search scheduler optimizes both a workload of a bottleneck computer and the cost of grid. Finally, some experiment outcomes have been discussed.
-
Crowdsourcing and Volunteer Computing as Distributed Approach for Problem Solving
PublicationIn this paper, a combination between volunteer computing and crowdsourcing is presented. Two paradigms of the web computing are described, analyzed and compared in detail: grid computing and volunteer computing. Characteristics of BOINC and its contribution to global Internet processing are shown with the stress put onto applications the system can facilitate and problems it can solve. An alternative instance of a grid computing...
-
Genetic Programming for Interaction Efficient Supporting in Volunteer Computing Systems
PublicationVolunteer computing systems provide a middleware for interaction between project owners and great number volunteers. In this chapter, a genetic programming paradigm has been proposed to a multi-objective scheduler design for efficient using some resources of volunteer computers via the web. In a studied problem, genetic scheduler can optimize both a workload of a bottleneck computer and cost of system. Genetic programming has been...
-
Big Data Processing by Volunteer Computing Supported by Intelligent Agents
PublicationIn this paper, volunteer computing systems have been proposed for big data processing. Moreover, intelligent agents have been developed to efficiency improvement of a grid middleware layer. In consequence, an intelligent volunteer grid has been equipped with agents that belong to five sets. The first one consists of some user tasks. Furthermore, two kinds of semi-intelligent tasks have been introduced to implement a middleware...
-
Genetic Programming with Negative Selection for Volunteer Computing System Optimization
PublicationVolunteer computing systems like BOINC or Comcute are strongly supported by a great number of volunteers who contribute resources of their computers via the Web. So, the high efficiency of such grid system is required, and that is why we have formulated a multi-criterion optimization problem for a volunteer grid system design. In that dilemma, both the cost of the host system and workload of a bottleneck host are minimized. On...
-
Considerations of Computational Efficiency in Volunteer and Cluster Computing
PublicationIn the paper we focus on analysis of performance and power consumption statistics for two modern environments used for computing – volunteer and cluster based systems. The former integrate computational power donated by volunteers from their own locations, often towards social oriented or targeted initiatives, be it of medical, mathematical or space nature. The latter is meant for high performance computing and is typically installed...
-
On Configurability of Distributed Volunteer-Based Computing in the Comcute System
PublicationThe chapter proposes additional solutions that can be implemented within the Comcute system to increase its configurability. This refers to configuration of the reliability level in the W and S server layers, static or on-the-fly data partitioning and integration, configuration of the system for processing in the data streaming fashion, extending the system for selection of a project that the client wants to contribute to, ease...
-
Optymalizacja strategii sieci inteligentnych agentów za pomocą programowania genetycznego w systemie rozproszonym realizującym paradygmat volunteer computing
PublicationDynamicznie rosnąca złożoność i wymagania w odniesieniu do rozproszonych systemów informatycznych utrudnia zarządzanie dostępnymi zasobami sprzętowymi i programistycznymi. Z tego powodu celem rozprawy jest opracowanie wielokryterialnej metody programowania genetycznego, która pozwala na optymalizację strategii zespołu inteligentnych agentów programistycznych w zakresie zarządzania systemem realizującym paradygmat volunteer computing....
-
Modeling Volunteer Based Systems
PublicationThere are two main approaches to processing tasks requiring high amounts of computational power. One approach is using clusters of mostly identical hardware, placed in dedicated locations [1, 2, 3]. The other approach is outsourcing computing resources from large numbers of volunteers connected to the Internet [7]. This chapter presents an application of a mathematical model of the volunteer computing presented in Volume 1 of this...
-
Alternative Modeling of Volunteer Based Systems
PublicationThe canonical approach to model a flow of a voluntary based computing, as presented in Chapter 7 may tax the capacity of the simulator, especially when a more complex model of Voluntary Computing, proposed in [1], is used which would imply that, for typical heterogeneous groups of volunteers, several thousands of threads would have to be run inside the simulator, to mimic closely the behaviour of every volunteer. This chapter presents...
-
Some Optimization Methods for Simulations in Volunteer and Grid Systems
PublicationIn this chapter, some optimization methods have been presented for improving performance of simulations in the volunteer and grid computing system called Comcute. Some issues related to the cloud computing can be solved by presented approaches as well as the Comcute platform can be used to simulate execution of expensive and energy consuming long-term tasks in the cloud environment. In particular, evolutionary algorithms as well...
-
Model of Volunteer Based Systems.
PublicationThere are two main approaches to processing tasks requiring high amounts of computational power. One approach is using clusters of mostly identical hardware, placed in dedicated locations. The other approach is outsourcing computing resources from large numbers of volunteers connected to the Internet. This chapter attempts to formulate a mathematical model of the volunteer based approach to distributed computations and apply it...
-
Parallel computations in the volunteer based Comcute system
PublicationThe paper presents Comcute which is a novel multi-level implemen- tation of the volunteer based computing paradigm. Comcute was designed to let users donate the computing power of their PCs in a simplified manner, requiring only pointing their web browser at a specific web address and clicking a mouse. The server side appoints several servers to be in charge of execution of particular tasks. Thanks to that the system can survive...
-
Data Partitioning and Task Management in the Clustered Server Layer of the Volunteer-based Computation System
PublicationWhile the typical volunteer-based distributed computing system focus on the computing performance, the Comcute system was designed especially to keep alive in the emergency situations. This means that designers had to take into account not only performance, but the safety of calculations as well. Quadruple-layered architecture was proposed to separate the untrusted components from the core of the system. The main layer (W) consists...
-
Rozpraszanie obliczeń za pomocą serwerów dystrybucyjnych
PublicationOmówiono zasady funkcjonowania serwerów dystrybucyjnych w systemie obliczeniowym klasy grid pracującym w trybie volunteer computing. Omówiono sposoby zwiększania wydajności tej warstwy systemu za pomocą zarządzania strumieniem paczek danych. Odniesiono się także do koncepcji Map-Reduce w implementacji przetwarzania równoległego.
-
Sieciowe systemy przetwarzania rozproszonego typu GRID – rozwiązania systemowe oraz przykłady aplikacyjne
PublicationZaprezentowano możliwości wykorzystania oraz integracji rozproszonych mocy obliczeniowych komputerów Internautów w globalnej sieci www. Pokazano paradygmaty internetowego przetwarzania rozproszonego typu grid computing oraz volunteer computing. Zwrócono uwagę na istotność tego typu przetwarzania w rozwiązywaniu zagadnień wymagających bardzo dużych mocy obliczeniowych. Pokazano reprezentatywne przykłady rozwiązań systemowych tego...
-
Internetowe systemy przetwarzania rozproszonego typu grid w zastosowaniach biznesowych
PublicationSkoncentrowano się na możliwościach wykorzystania oraz integracji rozproszonych mocy obliczeniowych komputerów Internautów w globalnej sieci www. Zaprezentowano paradygmaty sieciowego przetwarzania typu grid computing oraz volunteer computing. Podkreślono istotność tego typu przetwarzania w zagadnieniach wymagających bardzo dużych mocy obliczeniowych. Zaprezentowano przykłady rozwiązań systemowych tego typu: system BOINC, będący...
-
Performance and Power-Aware Modeling of MPI Applications for Cluster Computing
PublicationThe paper presents modeling of performance and power consumption when running parallel applications on modern cluster-based systems. The model includes basic so-called blocks representing either computations or communication. The latter includes both point-to-point and collective communication. Real measurements were performed using MPI applications and routines run on three different clusters with both Infiniband and Gigabit Ethernet...
-
Optymalizacja równoważenia obciążeń w systemach klasy grid
PublicationZaprezentowano techniki równoważenia obciążeń testowane w systemie rozproszonym Comcute o architekturze typu grid. Omówiono niezbędne uwarunkowania środowiska prowadzenia obliczeń w zestawie laboratoryjnym Politechniki Gdańskiej, a także odniesiono się do kryteriów kierunkujących równoważenie obciążeń. Przedstawiono wielopoziomową metodę równoważenia obciążeń.
-
Techniki audytowania zabezpieczeń sieci bezprzewodowej z wykorzystaniem systemów klasy grid
PublicationZaprezentowano efektywne zasady weryfikacji zabezpieczeń sieci bezprzewodowych z wykorzystaniem oprogramowania Back/Track w dystrybucji systemu Linux. Omówiono algorytmy RC4, MIC i AES, które wspierają techniki zabezpieczeń WEP, WPA i WPA2 wchodzące w skład protokołu IEEW 802.11. Zamieszczano także opis wykorzystania systemu rozproszonego Comcute o architekturze typu grid do prowadzenia audytu bezprzewodowej sieci.
-
Bezpieczeństwo transferu zestrukturalizowanych plików xml w sieci grid w oparciu o usługi web service poprzez protokół soap
PublicationNiezależny protokół SOAP (ang. Simple Object Access Protocol) działający głównie ponad protokołem HTTP (inne protokoły transportowe to np. MSMQ, MQ Series, SMTP lub TCP/IP) posiada na dzień dzisiejszy wiele rozwiązań dotyczących bezpieczeństwa transferu zestrukturalizowanych plików XML (ang. Extensible Markup Language). W rozdziale zaprezentowano sposoby zapobiegania nieautoryzowanym dostępom do danych przesyłanych w sieci grid...
-
Inteligentne wspomaganie podejmowania decyzji z wykorzystaniem metod sztucznej inteligencji w środowisku obliczeniowym typu grid
PublicationPodejmowanie decyzji jest uważane za jedno z najbardziej krytycznych działań w organizacji. W celu wsparcia tego złożonego procesu dla osób odpowiedzialnych różne niezależne, samodzielne systemy wspomagania decyzji zostały opracowane głównie w ostatnich dwóch dekadach. Patrząc w sposób komplementarny na te systemy, wiążemy je z rolą i funkcją, którą musi spełniać z punktu widzenia użytkownika. W rozdziale opisano systemy wspomagania...
-
Efektywne zrównoleglanie obliczeń w systemie klasy grid na przykładzie hipotezy Collatza
PublicationZaprezentowano problem Collatza oraz sposób jego adaptacji, pozwalający na realizację obliczeń w systemie typu grid. Zidentyfikowano również pożądane cechy problemów obliczeniowych, dzięki którym mogą one zostać zrównoleglone w sposób efektywny w systemach typu grid i porównano je z cechami zadań realizowanych typowo przy użyciu klastrów obliczeniowych.
-
Architektura systemu Comcute
PublicationPrzedstawiono architekturę systemu Comcute realizującego masywne przetwarzanie rozproszone wykorzystujące powszechny wolontariat użytkowników komputerów w sieciach rozległych.
-
Mechanizmy bezpieczeństwa w systemie Comcute
PublicationWyróżniono podstawowe problemy związane z bezpieczeństwem przetwarzania w systemie utrzymania wielkiej mocy obliczeniowej w sytuacjach kryzysowych Comcute. Ponadto na przykładzie architektury systemu modelowego przedstawiono mechanizmy bezpieczeństwa przydatne do zastosowania w projekcie.
-
Rozproszone łamanie szyfrów
PublicationZaprezentowano podstawowe techniki łamania szyfrów symetrycznych i asymetrycznych o stosunkowo niewielkiej długości kluczy. Przedstawiono ogólną charakterystykę metod łamania szyfrów. Ilustracją tych metod jest zaprezentowana aplikacja służąca do łamania haseł lub badania odporności haseł na odgadnięcie.
-
Wybrane aspekty architektur rozproszonych systemów komputerowych
PublicationScharakteryzowano architekturę systemu klasy grid w odniesieniu do wybranych aspektów architektur systemów rozproszonych. Przedstawiono wnioski wyciągnięte na podstawie prac projektowych prowadzonych nad systemem Comcute na Politechnice Gdańskiej. Omówiono kluczowe wymagania, jakim powinny sprostać tej klasy systemy.
-
Wybrane narzędzia do symulacji systemów przetwarzania rozproszonego
PublicationPrzedstawiono przegląd narzędzi symulacji systemów przetwarzania rozproszonego oraz dokonano oceny ich przydatności do symulacji systemu powszechnego przetwarzania opartego o wolontariat.
-
Zastosowanie systemu Comcute do łamania algorytmu DES
PublicationZaprezentowano zastosowanie systemu Comcute do łamania szyfru DES. Przedstawiono podstawową architekturę wykorzystaną do dystrybucji obliczeń oraz zaprezentowano wyniki skalowalności rozwiązania w funkcji użytych jednostek obliczeniowych.
-
Rozproszone przechowywanie zapasowych kopii danych
PublicationPokazano metodę wykorzystania systemu przetwarzania rozproszonego do zabezpieczenia instytucji przed skutkami ataku hakerskiego połączonego ze zniszczeniem bazy danych tej instytucji. Metoda ta polega na wplataniu pakietów danych do materiałów audio-video ściąganych przez internautów korzystających z serwisów filmowych Video-on-Demand i przechowywaniu danych w rozproszeniu na setki lub nawet tysiące komputerów.
-
Propagacja i synchronizacja obliczeń między węzłami
PublicationPrzedstawiono opis funkcjonalności niezależnych węzłów systemu Comcute zajmujących się przyjmowaniem zadań obliczeniowych, partycjonowaniem i rozsyłaniem zadań oraz synchronizacją wyników. Dzięki samoorganizacji grup węzłów zapewniono nie tylko wysoką wydajność obliczeń, ale również odporność na ataki ukierunkowane na poszczególne węzły, tak że system zachowuje zdolność obliczeniową nawet wówczas, gdy sprawny pozostanie tylko jeden...
-
Berkeley Open Infrastructure for Network Computing
PublicationZaprezentowano system BOINC (ang. Berkeley Open Infrastructure for Network Computing) jako interesujące rozwiązanie integrujące rozproszone moce obliczeniowe osobistych komputerów typu PC w Internecie. Przedstawiono zasadę działania opisywanej platformy. W dalszej części zaprezentowano kilka wybranych projektów naukowych wykorzystujących BOINC, które są reprezentatywne w zakresie zastosowania systemu w ujęciu założonego paradygmatu...
-
Obliczanie prawdopodobieństwa spójności grafów losowych
PublicationZaproponowano metodę wykorzystania systemu Comcute do przeliczania prawdopodobieństwa grafów losowych. Obliczenia te mają zbyt dużą złożoność, aby dla dużych grafów przeprowadzać je na pojedynczym komputerze.
-
Wybrane rozwiązania występujące w architekturach systemów rozproszonych klasy grid
PublicationOpisano wybrane rozwiązania występujące w architekturach systemów rozproszonych klasy grid. Odniesiono się do zapewnienia przezroczystości, a także do możliwości zarządzania i kontroli wykorzystania zasobów. Omówiono zasady optymalizacji zarządzania takimi systemami.
-
Analiza istniejących obliczeń uruchamianych w systemach rozproszonych
PublicationZaprezentowano analizę algorytmów równoległych tradycyjnie uruchamianych w systemach klastrowych wysokiej wydajności, a następnie pokazano charakterystykę algorytmów ze względu na parametry istotne przy implementacji ich rozwiązań w rozproszonym środowisku Comcute. Następnie przedstawiono ocenę możliwości ich przeniesienia do tego środowiska.
-
Sposoby definiowana zadań i zlecania wykonywania obliczeń w systemie Comcute
PublicationZaprezentowano specyfikację elementów definiowanych przez zleceniodawcę systemu Comcute przy uruchamianiu nowych zadań obliczeniowych w systemie, w tym parametrów niezawodnościowo-wydajnościowych jak również kodów obliczeniowych, partycjonowania i scalania. Przedstawiono także wymagania związane z konfigurowalnością systemu i jego bezpieczeństwem a także wskazówki technologiczne.
-
Zagadnienia implementacyjne w systemie Comcute
PublicationZaprezentowano zaimplementowane w prototypie systemu Comcute podstawowe algorytmy systemowe, które znajdują zastosowanie w realizacji rzeczywistego systemu. Zwrócono uwagę na warstwowość modelu w całości systemu. Omówiono podstawowe zadania systemowe poszczególnych warstw, a następnie zaprezentowano szczegóły operacyjne dla interfejsów komunikacyjnych pomiędzy warstwami. Skoncentrowano się na zrealizowanych (zaimplementowanych)...
-
Bezpieczeństwo w monitoringu
PublicationZaproponowano szereg algorytmów realizujących aspekty bezpieczeństwa zorientowane na aplikacje monitorujące. W znaczącej części pozwolą one na zastąpienie pracy czynnika ludzkiego przy przeglądaniu lub analizie zapisów video z monitorowanych miejsc lub obszarów. Ze względu na szeroki potencjalny obszar, zakres zastosowań praktycznych oraz potencjalne efekty natury ekonomicznej u potencjalnych klientów spodziewane jest szerokie...
-
Rozproszona aplikacja do śledzenia komputerów w systemie po ich przemieszczeniu oraz do monitorowania wykorzystania komputerów
PublicationZaprezentowano propozycję aplikacji internetowej pozwalającej na zdalne śledzenie lokalizacji jak również wykorzystania zasobów komputerów takich jak: zużycie procesora czy pamięci dyskowej. Przedstawiono dwa warianty aplikacji: uruchamianej jako niezależna aplikacja, bądź jako aplikacja działająca w przeglądarce internetowej. Proponowane rozwiązanie zwiększy możliwość odszukania komputerów po kradzieży jak również pozwoli na sporządzenie...