[논문 간단 정리] Studying Catastrophic Forgetting in Neural Ranking Models

• Cited by 23 ('2024-10-22)
• Publication Info: ECIR 2021
• URL: https://arxiv.org/abs/2101.06984

Studying Catastrophic Forgetting in Neural Ranking Models

 

---

Summary

• Deep Neural Ranking Models에서의 Catastrophic Forgetting 정도를 확인하고 해결방안을 제시
  • 시간이 지남에 따라 지식을 조금 잊어버리는 IR 모델의 작은 약점을 강조
• IR에서 Continual Learning을 다룬 최초의 논문(으로 보임)

Problem

• 이전까지의 Ranking Model 연구에서는 하나의 target domain에 대해서만 Domain Adaptation 전략을 사용해서 다루었음
• 그러나 cross-domain transferability에서 catastrophic forgetting이 발생하는지 확인되지 않음

Related Work

• 이전 연구에서는 Catastrophic Forgetting의 수준이 데이터셋과 아키텍쳐에 크게 영향을 받는다는 사실을 밝힘
• 그러나 domain 간 전이성 관점에서 Catastrophic Forgetting을 확인하거나, 있다면 어떻게 극복할 수 있는지를 보여주는 기존 연구는 아직까지 없음

Contribution

• Cross-domain setting에서 Ranking Model이 새로운 지식을 습득한 후, 오래된 지식에 대해 성능이 저하되는 Catastrophic Forgetting 정도를 확인
• 치명적인 망각을 예측하는 데이터 세트의 특성을 확인
• cross-domain regularizer를 통해 Catastrophic Forgetting을 완화할 수 있음을 실험을 통해 검증

Exp - Dataset

• MS MARCO
• TREC CORD19
• TREC Microblog

Limitation

• 본 연구에서 서로 다른 도메인은 서로 다른 데이터 분포를 특징으로 하는 서로 다른 데이터셋을 의미
• 2개 또는 3개의 연속적인 데이터셋으로 stream을 구성
  • 현실적인 long-term topic sequences에 대한 시나리오는 고려되지 않음
• language shift나 information update는 고려되지 않음