Analysis of Denoising Autoencoder Properties Through Misspelling Correction Task - Publikacja - MOST Wiedzy

Wyszukiwarka

Analysis of Denoising Autoencoder Properties Through Misspelling Correction Task

Abstrakt

The paper analyzes some properties of denoising autoencoders using the problem of misspellings correction as an exemplary task. We evaluate the capacity of the network in its classical feed-forward form. We also propose a modification to the output layer of the net, which we called multi-softmax. Experiments show that the model trained with this output layer outperforms traditional network both in learning time and accuracy. We test the influence of the noise introduced to training data on the learning speed and generalization quality. The proposed approach of evaluating various properties of autoencoders using misspellings correction task serves as an open framework for further experiments, e.g. incorporating other neural network topologies into an autoencoder setting.

Cytowania

  • 2

    CrossRef

  • 0

    Web of Science

  • 3

    Scopus

Cytuj jako

Pełna treść

pobierz publikację
pobrano 132 razy
Wersja publikacji
Accepted albo Published Version
Licencja
Copyright (Springer International Publishing AG 2017)

Słowa kluczowe

Informacje szczegółowe

Kategoria:
Aktywność konferencyjna
Typ:
materiały konferencyjne indeksowane w Web of Science
Tytuł wydania:
9th International Conference on Computational Collective Intelligence (ICCCI) strony 438 - 447
Język:
angielski
Rok wydania:
2017
Opis bibliograficzny:
Draszawka K., Szymański J..: Analysis of Denoising Autoencoder Properties Through Misspelling Correction Task, W: 9th International Conference on Computational Collective Intelligence (ICCCI), 2017, ,.
DOI:
Cyfrowy identyfikator dokumentu elektronicznego (otwiera się w nowej karcie) 10.1007/978-3-319-67077-5_42
Bibliografia: test
  1. Fausett, L.V.: Fundamentals of neural networks. Prentice-Hall (1994) otwiera się w nowej karcie
  2. Kukich, K.: Techniques for automatically correcting words in text. ACM Comput- ing Surveys (CSUR) 24 (1992) 377439 otwiera się w nowej karcie
  3. Baeza-Yates, G. Navarro, R.: Faster approximate string matching. Algorithmica 23 (1999) 127158
  4. Szymanski, J., Boinski, T.: Improvement of imperfect string matching based on asymmetric n-grams. In: Computational Collective Intelligence. Technologies and Applications -5th International Conference, ICCCI 2013, Craiova, Romania, September 11-13, 2013, Proceedings. (2013) 306315 otwiera się w nowej karcie
  5. Astrain, J.J., Garitagoitia, J.R., Villadangos, J.E., Fariña, F., Córdoba, A., de Mendvil, J.G.: An imperfect string matching experience using deformed fuzzy automata. In: HIS. (2002) 115123 otwiera się w nowej karcie
  6. Boguszewski, A., Szyma«ski, J., Draszawka, K.: Towards increasing f-measure of approximate string matching in o(1) complexity. In: 2016 Federated Conference on Computer Science and Information Systems (FedCSIS). (2016) 527532 otwiera się w nowej karcie
  7. Hantler, S.L., Laker, M.M., Lenchner, J., Milch, D.: Methods and apparatus for performing spelling corrections using one or more variant hash tables (2006) US Patent App. 11/513,782. otwiera się w nowej karcie
  8. Udupa, R., Kumar, S.: Hashing-based approaches to spelling correction of personal names. In: Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics (2010) 12561265
  9. Rubinstein, R.Y., Kroese, D.P.: The cross-entropy method: a unied approach to combinatorial optimization, Monte-Carlo simulation and machine learning. Springer Science & Business Media (2013)
  10. Jollie, I.: Principal component analysis. Wiley Online Library (2002) otwiera się w nowej karcie
  11. Hinton, G.E., Salakhutdinov, R.R.: Reducing the dimensionality of data with neural networks. science 313 (2006) 504507 otwiera się w nowej karcie
  12. Bengio, Y., et al.: Learning deep architectures for ai. Foundations and trends R in Machine Learning 2 (2009) 1127 otwiera się w nowej karcie
  13. Vincent, P., Larochelle, H., Lajoie, I., Bengio, Y., Manzagol, P.A.: Stacked denois- ing autoencoders: Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research 11 (2010) 33713408 otwiera się w nowej karcie
  14. Lu, X., Tsao, Y., Matsuda, S., Hori, C.: Speech enhancement based on deep de- noising autoencoder. In: Interspeech. (2013) 436440
  15. Agostinelli, F., Anderson, M.R., Lee, H.: Adaptive multi-column deep neural net- works with application to robust image denoising. In: Advances in Neural Infor- mation Processing Systems. (2013) 14931501
  16. Chollet, F.: Keras. https://github.com/fchollet/keras (2016) otwiera się w nowej karcie
  17. Theano Development Team: Theano: A Python framework for fast computation of mathematical expressions. arXiv e-prints abs/1605.02688 (2016) otwiera się w nowej karcie
  18. Zeiler, M.D.: Adadelta: an adaptive learning rate method. arXiv preprint arXiv:1212.5701 (2012) otwiera się w nowej karcie
  19. Kohonen, T.: The self-organizing map. Neurocomputing 21 (1998) 16 otwiera się w nowej karcie
  20. Kalchbrenner, N., Grefenstette, E., Blunsom, P.: A convolutional neural network for modelling sentences. arXiv preprint arXiv:1404.2188 (2014) otwiera się w nowej karcie
  21. Zagoruyko, S., Komodakis, N.: Wide residual networks. arXiv preprint arXiv:1605.07146 (2016) otwiera się w nowej karcie
  22. Botvinick, M.M., Plaut, D.C.: Short-term memory for serial order: a recurrent neural network model. Psychological review 113 (2006) 201 otwiera się w nowej karcie
Weryfikacja:
Politechnika Gdańska

wyświetlono 145 razy

Publikacje, które mogą cię zainteresować

Meta Tagi