Advancing continual lifelong learning in neural information retrieval: definition, dataset, framework, and empirical evaluationPublication Info: Information Sciences 2025URL: https://www.sciencedirect.com/science/article/pii/S0020025524012829ContributionIR task의 맥락에서 Continual Learning 패러다임에 대해 명확히 정의함Continual IR을 평가하기 위해, Topic-MS-MARCO 데이터셋을 제안함주제별 IR task와 predefined task similarity가 포함CLNIR..
Paper Review
Dense Retrieval Adaptation using Target Domain DescriptionCited by 3 ('2024-10-22)Publication Info: ACM ICTIR 2023URL: https://arxiv.org/abs/2307.02740 Dense Retrieval Adaptation using Target Domain DescriptionIn information retrieval (IR), domain adaptation is the process of adapting a retrieval model to a new domain whose data distribution is different from the source domain. Existing methods ..
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense RetrievalCited by 142 (’2024-10-22)Publication Info: NAACL 2022URL: https://aclanthology.org/2022.naacl-main.168 GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense RetrievalKexin Wang, Nandan Thakur, Nils Reimers, Iryna Gurevych. Proceedings of the 2022 Conference of the North American Chapter of..
Continual Learning of Long Topic Sequences in Neural Information RetrievalCited by 6 ('2024-10-22)Publication Info: ECIR 2022URL: https://arxiv.org/abs/2201.03356 Continual Learning of Long Topic Sequences in Neural Information RetrievalIn information retrieval (IR) systems, trends and users' interests may change over time, altering either the distribution of requests or contents to be recommend..
Cited by 23 ('2024-10-22)Publication Info: ECIR 2021URL: https://arxiv.org/abs/2101.06984 Studying Catastrophic Forgetting in Neural Ranking ModelsSeveral deep neural ranking models have been proposed in the recent IR literature. While their transferability to one target domain held by a dataset has been widely addressed using traditional domain adaptation strategies, the question of their cross..
(EMNLP 2023) SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language ModelsarXiv: https://arxiv.org/abs/2303.08896code: https://github.com/potsawee/selfcheckgpt 1. ProblemHallucination Detection기존의 fact verification 방법은 ChatGPT와 같은 블랙박스 모델에서는 작동하지 않을 수 있으므로 외부 리소스 없이도 Hallucination을 Detection 할 수 있는 새로운 접근 방식이 필요함 2. Related Worksintrinsic uncertainty metrics ..
(ICLR 2023 notable-top-25%) Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language GenerationarXiv: https://arxiv.org/abs/2302.09664code: https://github.com/lorenzkuhn/semantic_uncertainty 1. MotivationLLM이 생성한 답변의 uncertainty를 추정하는 것은 Trustworthy LLM과 관련하여 중요한 문제임그러나 답변의 uncertainty를 추정하는 기존의 token-likelihood 기반 방법들은 semantic equivalence 문제를 고려하지 않음 semantic..
(venue year) TitlearXiv:code: 1. Problem..2. Importance of the Problem..3. Related Works..4. Proposed Key Ideas..5. Summary of Experimental Results..
Publication Info: TACL 2024arXiv: https://arxiv.org/abs/2307.03172code: https://nelsonliu.me/papers/lost-in-the-middle심리학에는 서열 위치 효과(serial-position effect)라는 용어가 있다. 사람들은 어떠한 나열들을 기억할 때 처음과 끝의 내용들은 잘 기억하지만, 중간에 있는 내용들은 쉽게 기억하지 못하는 경향의 현상을 의미하는 용어이다. 갑자기 웬 심리학인가 할수도 있지만, Lost in the Middle 논문은 이러한 서열 위치 효과 현상이 LLM에서도 발생하는지 실험적으로 분석했다. (저자들이 서열 위치 효과를 직접적으로 논문의 motivation으로 꼽은건 아니지만, 저자들도 이 효과에 ..
arXiv: https://arxiv.org/abs/2406.04744code: https://gitlab.aicrowd.com/aicrowd/challenges/meta-comprehensive-rag-benchmark-kdd-cup-2024/meta-comphrehensive-rag-benchmark-starter-kit/문제 제기전통적인 QA 벤치마크들 (NQ, MS Marco 등) 은 RAG의 역동적인 특징을 평가하지 못함RAG를 평가하기 위해 새롭게 제시된 벤치마크들(FreshQA, RGB 등)도 (고작) 몇 백개의 질문들로 LLM의 특정 능력만 평가함저자들이 생각하는 좋은 QA 벤치마크의 특징 5가지 중 핵심 2가지Realism: 벤치마크 데이터가 실제 사용 사례를 반영해야 한다. Richne..
arXiv : https://arxiv.org/abs/2310.14696code : https://github.com/gankim/tree-of-clarifications1. Introduction & Related WorkOpen-domain question answering (ODQA) task에서 사용자들은 종종 ambiguous questions (AQs)를 질문할 때가 있는데, 이러한 AQs는 여러 뜻으로 해석 될 수 있는 문제점이 있음 AQs를 다루기 위한 3가지 관련 연구Min et al., AmbigQA: Answering Ambiguous Open-domain Questions, EMNLP 2020providing individual answers to disambiguated quest..
(NAACL 2024) Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question ComplexityarXiv : https://arxiv.org/abs/2403.14403code : https://github.com/starsuzi/Adaptive-RAG1. Introduction논문이 다루는 taskOpen-Domain Question-Answering task with RAG (Retrieval-Augmented Generator)Single-hop QA: 한 문서만 필요한 질문에 답하는 것Multi-hop QA: 질문과 함께 거대한 지식 말뭉치(corpus)가 주어졌을 때 답을 찾기 위해 말뭉치..
(ICLR 2024) NEFTune: Noisy Embeddings Improve Instruction FinetuningarXiv : https://arxiv.org/abs/2310.05914code : https://github.com/neelsjain/NEFTune/tree/main 세 줄 요약NEFTune은 학습 과정에서 임베딩 벡터에 Uniform Random Noise를 더해주는 행위를 말한다.NEFTune을 통해 모델은 학습 데이터셋에 대한 오버피팅이 감소한다. (모델이 일반성을 갖게 됨)오버피팅 감소의 부작용으로, NEFTune을 사용하면 결과의 verbosity가 증가하게 된다.1. Introduction논문이 다루는 taskLLM Instruction fine-tuning 기법해당 ta..
(venue year) TitlearXiv:code:Before Reading논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다.논문의 main figure를 보고 전체 흐름을 유추해봅시다.이해되지 않는 파트가 있나요? 있다면 미리 표시해두고 집중적으로 읽어봅시다. 1. Introduction논문이 다루는 taskInput :Output :해당 task에서 기존 연구 한계점 2. Related WorkWork 1 Work 2 Work 3 3. MethodPreliminaries & NotationsA B Main IdeaFor Pretrained language model paper해당 모델이 어떤 차별점을 가지나요 ?해당 모델은 어떤 모델을 토대로 만들어졌나요?해당 모델의 pr..
