Abstrakt
The paper analyzes some properties of denoising autoencoders using the problem of misspellings correction as an exemplary task. We evaluate the capacity of the network in its classical feed-forward form. We also propose a modification to the output layer of the net, which we called multi-softmax. Experiments show that the model trained with this output layer outperforms traditional network both in learning time and accuracy. We test the influence of the noise introduced to training data on the learning speed and generalization quality. The proposed approach of evaluating various properties of autoencoders using misspellings correction task serves as an open framework for further experiments, e.g. incorporating other neural network topologies into an autoencoder setting.
Cytowania
-
2
CrossRef
-
0
Web of Science
-
3
Scopus
Autorzy (2)
Cytuj jako
Pełna treść
- Wersja publikacji
- Accepted albo Published Version
- Licencja
- Copyright (Springer International Publishing AG 2017)
Słowa kluczowe
Informacje szczegółowe
- Kategoria:
- Aktywność konferencyjna
- Typ:
- materiały konferencyjne indeksowane w Web of Science
- Tytuł wydania:
- 9th International Conference on Computational Collective Intelligence (ICCCI) strony 438 - 447
- Język:
- angielski
- Rok wydania:
- 2017
- Opis bibliograficzny:
- Draszawka K., Szymański J..: Analysis of Denoising Autoencoder Properties Through Misspelling Correction Task, W: 9th International Conference on Computational Collective Intelligence (ICCCI), 2017, ,.
- DOI:
- Cyfrowy identyfikator dokumentu elektronicznego (otwiera się w nowej karcie) 10.1007/978-3-319-67077-5_42
- Bibliografia: test
-
- Fausett, L.V.: Fundamentals of neural networks. Prentice-Hall (1994) otwiera się w nowej karcie
- Kukich, K.: Techniques for automatically correcting words in text. ACM Comput- ing Surveys (CSUR) 24 (1992) 377439 otwiera się w nowej karcie
- Baeza-Yates, G. Navarro, R.: Faster approximate string matching. Algorithmica 23 (1999) 127158
- Szymanski, J., Boinski, T.: Improvement of imperfect string matching based on asymmetric n-grams. In: Computational Collective Intelligence. Technologies and Applications -5th International Conference, ICCCI 2013, Craiova, Romania, September 11-13, 2013, Proceedings. (2013) 306315 otwiera się w nowej karcie
- Astrain, J.J., Garitagoitia, J.R., Villadangos, J.E., Fariña, F., Córdoba, A., de Mendvil, J.G.: An imperfect string matching experience using deformed fuzzy automata. In: HIS. (2002) 115123 otwiera się w nowej karcie
- Boguszewski, A., Szyma«ski, J., Draszawka, K.: Towards increasing f-measure of approximate string matching in o(1) complexity. In: 2016 Federated Conference on Computer Science and Information Systems (FedCSIS). (2016) 527532 otwiera się w nowej karcie
- Hantler, S.L., Laker, M.M., Lenchner, J., Milch, D.: Methods and apparatus for performing spelling corrections using one or more variant hash tables (2006) US Patent App. 11/513,782. otwiera się w nowej karcie
- Udupa, R., Kumar, S.: Hashing-based approaches to spelling correction of personal names. In: Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics (2010) 12561265
- Rubinstein, R.Y., Kroese, D.P.: The cross-entropy method: a unied approach to combinatorial optimization, Monte-Carlo simulation and machine learning. Springer Science & Business Media (2013)
- Jollie, I.: Principal component analysis. Wiley Online Library (2002) otwiera się w nowej karcie
- Hinton, G.E., Salakhutdinov, R.R.: Reducing the dimensionality of data with neural networks. science 313 (2006) 504507 otwiera się w nowej karcie
- Bengio, Y., et al.: Learning deep architectures for ai. Foundations and trends R in Machine Learning 2 (2009) 1127 otwiera się w nowej karcie
- Vincent, P., Larochelle, H., Lajoie, I., Bengio, Y., Manzagol, P.A.: Stacked denois- ing autoencoders: Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research 11 (2010) 33713408 otwiera się w nowej karcie
- Lu, X., Tsao, Y., Matsuda, S., Hori, C.: Speech enhancement based on deep de- noising autoencoder. In: Interspeech. (2013) 436440
- Agostinelli, F., Anderson, M.R., Lee, H.: Adaptive multi-column deep neural net- works with application to robust image denoising. In: Advances in Neural Infor- mation Processing Systems. (2013) 14931501
- Chollet, F.: Keras. https://github.com/fchollet/keras (2016) otwiera się w nowej karcie
- Theano Development Team: Theano: A Python framework for fast computation of mathematical expressions. arXiv e-prints abs/1605.02688 (2016) otwiera się w nowej karcie
- Zeiler, M.D.: Adadelta: an adaptive learning rate method. arXiv preprint arXiv:1212.5701 (2012) otwiera się w nowej karcie
- Kohonen, T.: The self-organizing map. Neurocomputing 21 (1998) 16 otwiera się w nowej karcie
- Kalchbrenner, N., Grefenstette, E., Blunsom, P.: A convolutional neural network for modelling sentences. arXiv preprint arXiv:1404.2188 (2014) otwiera się w nowej karcie
- Zagoruyko, S., Komodakis, N.: Wide residual networks. arXiv preprint arXiv:1605.07146 (2016) otwiera się w nowej karcie
- Botvinick, M.M., Plaut, D.C.: Short-term memory for serial order: a recurrent neural network model. Psychological review 113 (2006) 201 otwiera się w nowej karcie
- Weryfikacja:
- Politechnika Gdańska
wyświetlono 145 razy
Publikacje, które mogą cię zainteresować
Condition-Based Monitoring of DC Motors Performed with Autoencoders
- K. Włódarczak,
- Ł. Grzymkowski,
- T. Stefański
Using Long-Short term Memory networks with Genetic Algorithm to predict engine condition
- S. Erpolat Tasabat,
- O. Aydin