Continual Learning의 목표와 Forward Transfer 및 Backward Transfer

Continual Learning의 목표

1. Avoid Catastrophic Forgetting
   • 이전 task의 기억을 보전해야 함
2. Positive Forward Transfer
   • 이전 task에서 학습했던 지식이 다음 task에 도움이 되어야 함
3. Positive Backward Transfer
   • 다음 task에서 학습을 한 지식이 이전 task의 성능 향상에도 도움이 되어야 함
4. Task-Order Free Learning
   • Task의 학습 순서와 무관하게 모든 task를 잘 수행해야 함

 

Forward Transfer

Forward transfer는 모델이 이전에 학습한 task의 지식을 활용하여 새로운 task에 대한 학습 효율과 성능을 향상시키는 능력을 말한다.

Continual Learning에서 forward transfer는 모델이 과거 task에서 학습한 representation을 사용하여 새로운 task를 얼마나 쉽게 학습할 수 있는지에 따라 측정된다.

이상적으로 forward transfer가 positive인 모델은 이전 지식을 효과적으로 활용할 수 있으므로 더 적은 리소스로 더 빠르게 또는 더 적은 자원으로 새로운 task를 학습할 수 있다.

 

Backward Transfer

반면에 Backward transfer는 새로운 task를 학습하는 것이 이전에 학습한 task 수행에 미치는 영향을 포함한다. 즉, 새로운 task를 학습하면서 이전에 학습했던 task들의 성능도 함께 개선되는 현상을 말한다.

Positive backward transfer는 새로운 task를 학습함으로써 이전 task의 수행 능력이 향상될 때 발생한다. 이전 task의 데이터를 다시 보지 않고도 성능이 개선될 수 있다는 점이 특징이다

하지만 대부분의 신경망에서는 catastrophic forgetting 때문에 backward transfer 달성이 어렵다.

Continual Learning은 catastrophic forgetting을 방지하는 데 초점을 맞추기 때문에, 의도치 않게 backward transfer를 제한할 수 있고, positive backward transfer의 발생은 흔치 않다.

그러나 일부 방법은 새 작업과 이전 작업 모두에 도움이 되는 방식으로 모델을 선택적으로 업데이트하여 positive backward transfer를 달성하는 것을 목표로 한다.

 

References

• ContinualAI Wiki - Introduction to Continual Learning, https://wiki.continualai.org/the-continualai-wiki/introduction-to-continual-learning
• KAIST 산업및시스템공학과 박찬영 교수님 - 연속학습을 통한 사용자의 일반적인 표현 학습 (Universal User Representation Learning based on Continual Learning), https://dsail.kaist.ac.kr/files/NAVER_Techtalk2023.pdf
• Lin et al., Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer, NeurIPS 2022, https://arxiv.org/abs/2211.00789