Modeling and Simulation for Exploring Power/Time Trade-off of Parallel Deep Neural Network Training

Paweł Rościszewski

doi:10.1016/j.procs.2017.05.214

Modeling and Simulation for Exploring Power/Time Trade-off of Parallel Deep Neural Network Training

Abstrakt

In the paper we tackle bi-objective execution time and power consumption optimization problem concerning execution of parallel applications. We propose using a discrete-event simulation environment for exploring this power/time trade-off in the form of a Pareto front. The solution is verified by a case study based on a real deep neural network training application for automatic speech recognition. A simulation lasting over 2 hours on a single CPU accurately predicts real results from executions that take over 335 hours in a cluster with 8 GPUs. The simulations allow also estimating the impact of data package imbalance on the application performance.

Cytowania

4

CrossRef
0

Web of Science
6

Scopus

Autor (1)

Paweł Rościszewski dr inż.

Cytuj jako

Pełna treść

pobierz publikację

pobrano 7 razy

Wersja publikacji: Accepted albo Published Version
DOI:: Cyfrowy identyfikator dokumentu elektronicznego (otwiera się w nowej karcie) 10.1016/j.procs.2017.05.214
Licencja: otwiera się w nowej karcie

pełna treść artykułu zobacz w serwisie zewnętrznym otwiera się w nowej karcie

Słowa kluczowe

HIGH PERFORMANCE COMPUTINGENERGY EFFICIENCYPARETO OPTIMIZATIONDEEP NEURAL NETWORKS

Informacje szczegółowe

Kategoria:: Aktywność konferencyjna
Typ:: materiały konferencyjne indeksowane w Web of Science
Opublikowano w:: Procedia Computer Science nr 108, strony 2463 - 2467,
ISSN: 1877-0509
Tytuł wydania:: INTERNATIONAL CONFERENCE ON COMPUTATIONAL SCIENCE (ICCS 2017) strony 2463 - 2467
ISSN:: 1877-0509
Język:: angielski
Rok wydania:: 2017
Opis bibliograficzny:: Rościszewski P..: Modeling and Simulation for Exploring Power/Time Trade-off of Parallel Deep Neural Network Training, W: INTERNATIONAL CONFERENCE ON COMPUTATIONAL SCIENCE (ICCS 2017), 2017, ,.
DOI:: Cyfrowy identyfikator dokumentu elektronicznego (otwiera się w nowej karcie) 10.1016/j.procs.2017.05.214
Weryfikacja:: Politechnika Gdańska