Search
Abstract
Rozdział opisuje problematykę przetwarzania ciągów danych. Opisane zostały typy ciągów danych: dane sekwencyjne, sekwencje czasowe oraz przebiegi czasowe. Przedstawiona została architektura sieci rekurencyjnych, problem zanikającego i eksplodującego gradientu, a także architektury komórek rekurencyjnych LSTM oraz GRU, które ten problem rozwiązują. W dalszej części opisana została architektura typu Transformer wraz z przykładowymi wykorzystującymi ją modelami: BERT, GPT, T5. Następnie zaprezentowano działanie modeli autoregresyjnych. Na końcu opisano metody dekodowania używane w zadaniach generacyjnych.
Cite as
Full text
full text is not available in portal
Keywords
Details
- Category:
- Monographic publication
- Type:
- Monographic publication
- Title of issue:
- Uczenie maszynowe i systemy rozproszone strony 41 - 58
- Publication year:
- 2021
- Bibliographic description:
- Wawrzyński A.: Modelowanie ciągów danych z użyciem sieci neuronowych// Uczenie maszynowe i systemy rozproszone/ : , 2021, s.41-58
- Verified by:
- No verification
seen 180 times
Recommended for you
The Chitosan-Based System with Scutellariae baicalensis radix Extract for the Local Treatment of Vaginal Infections
- J. Chanaj-Kaczmarek,
- N. Rosiak,
- E. Wender-Ozegowska
- + 3 authors
2022
Platelets in fetal growth restriction: role of reactive oxygen species, oxygen metabolism, and aggregation.
- B. Poniedziałek,
- J. Nowaczyk,
- P. Rzymski
- + 2 authors
2022