반응형
- Cited by 23 ('2024-10-22)
- Publication Info: ECIR 2021
- URL: https://arxiv.org/abs/2101.06984
Studying Catastrophic Forgetting in Neural Ranking Models
Several deep neural ranking models have been proposed in the recent IR literature. While their transferability to one target domain held by a dataset has been widely addressed using traditional domain adaptation strategies, the question of their cross-doma
arxiv.org
Summary
- Deep Neural Ranking Models에서의 Catastrophic Forgetting 정도를 확인하고 해결방안을 제시
- 시간이 지남에 따라 지식을 조금 잊어버리는 IR 모델의 작은 약점을 강조
- IR에서 Continual Learning을 다룬 최초의 논문(으로 보임)
Problem
- 이전까지의 Ranking Model 연구에서는 하나의 target domain에 대해서만 Domain Adaptation 전략을 사용해서 다루었음
- 그러나 cross-domain transferability에서 catastrophic forgetting이 발생하는지 확인되지 않음
Related Work
- 이전 연구에서는 Catastrophic Forgetting의 수준이 데이터셋과 아키텍쳐에 크게 영향을 받는다는 사실을 밝힘
- 그러나 domain 간 전이성 관점에서 Catastrophic Forgetting을 확인하거나, 있다면 어떻게 극복할 수 있는지를 보여주는 기존 연구는 아직까지 없음
Contribution
- Cross-domain setting에서 Ranking Model이 새로운 지식을 습득한 후, 오래된 지식에 대해 성능이 저하되는 Catastrophic Forgetting 정도를 확인
- 치명적인 망각을 예측하는 데이터 세트의 특성을 확인
- cross-domain regularizer를 통해 Catastrophic Forgetting을 완화할 수 있음을 실험을 통해 검증
Exp - Dataset
- MS MARCO
- TREC CORD19
- TREC Microblog
Limitation
- 본 연구에서 서로 다른 도메인은 서로 다른 데이터 분포를 특징으로 하는 서로 다른 데이터셋을 의미
- 2개 또는 3개의 연속적인 데이터셋으로 stream을 구성
- 현실적인 long-term topic sequences에 대한 시나리오는 고려되지 않음
- language shift나 information update는 고려되지 않음
반응형
