[논문 간단 정리] Continual Learning of Long Topic Sequences in Neural Information Retrieval

Continual Learning of Long Topic Sequences in Neural Information Retrieval

• Cited by 6 ('2024-10-22)
• Publication Info: ECIR 2022
• URL: https://arxiv.org/abs/2201.03356

Continual Learning of Long Topic Sequences in Neural Information Retrieval

 

---

Summary

• Deep Neural Ranking Models에서의 Catastrophic Forgetting 정도를 확인하고 해결방안을 제시한 (ECIR 2021) Studying Catastrophic Forgetting in Neural Ranking Models의 후속논문
  • 관련 글: [논문 간단 정리] Studying Catastrophic Forgetting in Neural Ranking Models

[논문 간단 정리] Studying Catastrophic Forgetting in Neural Ranking Models

Problem

• 콘텐츠와 사용자의 요구 사항이 시간이 지남에 따라 변화할 수 있음
• IR 모델이 새로운 토픽/트렌드에 대한 랭킹 능력을 변경할 수 있는지, 또한 이러한 모델이 최신 상태로 유지되는 경우 이전 토픽/트렌드에 대해서도 여전히 성능을 발휘할 수 있는지 파악하는 것

Contribution

• Continual Learning을 위한 긴 토픽 시퀀스 및 IR 기반 제어 토픽 시퀀스를 처리하기 위해 MSMarco에서 파생된 corpus를 설계
• Long-term Continual Learning IR setting과 controlled setting에서 서로 다른 neural ranking model의 성능 비교
  • RQ1: Modeling the long topic sequence; IR에서 지속적인 학습을 위한 일련의 작업을 설계하는 방법은 무엇인가?
    • 평생 학습 전략을 설계할 때 과제 유사성, 학습 과정에서의 과제 위치, 전달해야 하는 배포 유형(짧은 텍스트 대 긴 텍스트)을 고려하는 것이 중요하다는 점을 확인
  • RQ2: Performances on the MSMarco long topic sequence; 긴 주제 시퀀스를 학습하는 동안 신경 순위 모델의 성능은 어떤가? 치명적인 망각의 신호를 감지할 수 있나?
    • IR에서 치명적인 망각은 존재하지만 다른 영역에 비해 낮다는 것을 확인
• Continual Learning에서 task similarity level이 neural ranking model의 학습 행동(learning behavior)에 미치는 영향을 조사
  • RQ3: Behavior on IR-driven controlled settings 시퀀스 내 작업의 유사성 수준이 모델 효과와 치명적 망각에 대한 견고성에 영향을 미치는가?
  • RQ4: 신경 순위 모델은 쿼리 또는 문서 분포 변화에 어떻게 적응하는가?Exp - Dataset
• 자체 변형한 MS MARCO 데이터셋

Limitation

• 본 연구에서 서로 다른 도메인은 서로 다른 데이터 분포를 특징으로 하는 서로 다른 데이터 세트를 의미