Wyszukiwarka
Abstrakt
"Generalized Continual Category Discovery (GCCD) tackles learning from sequentially arriving, partially labeled datasets while uncovering new categories. Traditional methods depend on feature distillation to prevent forgetting the old knowledge. However, this strategy restricts the model’s ability to adapt and effectively distinguish new categories. To address this, we introduce a novel technique integrating a learnable projector with feature distillation, thus enhancing model adaptability without sacrificing past knowledge. The resulting distribution shift of the previously learned categories is mitigated with the auxiliary category adaptation network. We demonstrate that while each component offers modest benefits individually, their combination – dubbed CAMP (Category Adaptation Meets Projected distillation) – significantly improves the balance between learning new information and retaining old. CAMP exhibits superior performance across several GCCD and Class Incremental Learning scenarios. The code is available on Github."
Cytowania
-
0
CrossRef
-
0
Web of Science
-
0
Scopus
Autorzy (5)
-
Grzegorz Rypeść
-
Daniel Marczak
-
Tomasz Trzciński dr hab. inż.
-
Bartłomiej Twardowski dr inż.
Cytuj jako
Pełna treść
pełna treść publikacji nie jest dostępna w portalu
Słowa kluczowe
Informacje szczegółowe
- Kategoria:
- Aktywność konferencyjna
- Typ:
- publikacja w wydawnictwie zbiorowym recenzowanym (także w materiałach konferencyjnych)
- Język:
- angielski
- Rok wydania:
- 2024
- Opis bibliograficzny:
- Rypeść G., Marczak D., Cygert S., Trzciński T., Twardowski B.: Category Adaptation Meets Projected Distillation in Generalized Continual Category Discovery// / : , 2024,
- DOI:
- Cyfrowy identyfikator dokumentu elektronicznego (otwiera się w nowej karcie) 10.1007/978-3-031-73247-8_19
- Źródła finansowania:
-
- Spoza PG
- Weryfikacja:
- Politechnika Gdańska
wyświetlono 18 razy
Publikacje, które mogą cię zainteresować
Revisiting Supervision for Continual Representation Learning
- D. Marczak,
- S. Cygert,
- T. Trzciński
- + 1 autorów
MagMax: Leveraging Model Merging for Seamless Continual Learning
- D. Marczak,
- B. Twardowski,
- T. Trzciński
- + 1 autorów
Adapt Your Teacher: Improving Knowledge Distillation for Exemplar-free Continual Learning
- F. Szatkowski,
- M. Pyła,
- M. Przewięźlikowski
- + 3 autorów
Looking through the past: better knowledge retention for generative replay in continual learning
- V. Khan,
- S. Cygert,
- K. Deja
- + 2 autorów