![]()
Continual Learning의 목표Avoid Catastrophic Forgetting이전 task의 기억을 보전해야 함Positive Forward Transfer이전 task에서 학습했던 지식이 다음 task에 도움이 되어야 함Positive Backward Transfer다음 task에서 학습을 한 지식이 이전 task의 성능 향상에도 도움이 되어야 함Task-Order Free LearningTask의 학습 순서와 무관하게 모든 task를 잘 수행해야 함 Forward TransferForward transfer는 모델이 이전에 학습한 task의 지식을 활용하여 새로운 task에 대한 학습 효율과 성능을 향상시키는 능력을 말한다.Continual Learning에서 forward transf..
Advancing continual lifelong learning in neural information retrieval: definition, dataset, framework, and empirical evaluationPublication Info: Information Sciences 2025URL: https://www.sciencedirect.com/science/article/pii/S0020025524012829ContributionIR task의 맥락에서 Continual Learning 패러다임에 대해 명확히 정의함Continual IR을 평가하기 위해, Topic-MS-MARCO 데이터셋을 제안함주제별 IR task와 predefined task similarity가 포함CLNIR..
![]()
Dense Retrieval Adaptation using Target Domain DescriptionCited by 3 ('2024-10-22)Publication Info: ACM ICTIR 2023URL: https://arxiv.org/abs/2307.02740 Dense Retrieval Adaptation using Target Domain DescriptionIn information retrieval (IR), domain adaptation is the process of adapting a retrieval model to a new domain whose data distribution is different from the source domain. Existing methods ..
![]()
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense RetrievalCited by 142 (’2024-10-22)Publication Info: NAACL 2022URL: https://aclanthology.org/2022.naacl-main.168 GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense RetrievalKexin Wang, Nandan Thakur, Nils Reimers, Iryna Gurevych. Proceedings of the 2022 Conference of the North American Chapter of..
Continual Learning of Long Topic Sequences in Neural Information RetrievalCited by 6 ('2024-10-22)Publication Info: ECIR 2022URL: https://arxiv.org/abs/2201.03356 Continual Learning of Long Topic Sequences in Neural Information RetrievalIn information retrieval (IR) systems, trends and users' interests may change over time, altering either the distribution of requests or contents to be recommend..
Cited by 23 ('2024-10-22)Publication Info: ECIR 2021URL: https://arxiv.org/abs/2101.06984 Studying Catastrophic Forgetting in Neural Ranking ModelsSeveral deep neural ranking models have been proposed in the recent IR literature. While their transferability to one target domain held by a dataset has been widely addressed using traditional domain adaptation strategies, the question of their cross..
![]()
(EMNLP 2023) SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language ModelsarXiv: https://arxiv.org/abs/2303.08896code: https://github.com/potsawee/selfcheckgpt 1. ProblemHallucination Detection기존의 fact verification 방법은 ChatGPT와 같은 블랙박스 모델에서는 작동하지 않을 수 있으므로 외부 리소스 없이도 Hallucination을 Detection 할 수 있는 새로운 접근 방식이 필요함 2. Related Worksintrinsic uncertainty metrics ..
(ICLR 2023 notable-top-25%) Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language GenerationarXiv: https://arxiv.org/abs/2302.09664code: https://github.com/lorenzkuhn/semantic_uncertainty 1. MotivationLLM이 생성한 답변의 uncertainty를 추정하는 것은 Trustworthy LLM과 관련하여 중요한 문제임그러나 답변의 uncertainty를 추정하는 기존의 token-likelihood 기반 방법들은 semantic equivalence 문제를 고려하지 않음 semantic..
(venue year) TitlearXiv:code: 1. Problem..2. Importance of the Problem..3. Related Works..4. Proposed Key Ideas..5. Summary of Experimental Results..
![]()
Publication Info: TACL 2024arXiv: https://arxiv.org/abs/2307.03172code: https://nelsonliu.me/papers/lost-in-the-middle심리학에는 서열 위치 효과(serial-position effect)라는 용어가 있다. 사람들은 어떠한 나열들을 기억할 때 처음과 끝의 내용들은 잘 기억하지만, 중간에 있는 내용들은 쉽게 기억하지 못하는 경향의 현상을 의미하는 용어이다. 갑자기 웬 심리학인가 할수도 있지만, Lost in the Middle 논문은 이러한 서열 위치 효과 현상이 LLM에서도 발생하는지 실험적으로 분석했다. (저자들이 서열 위치 효과를 직접적으로 논문의 motivation으로 꼽은건 아니지만, 저자들도 이 효과에 ..
![]()
arXiv: https://arxiv.org/abs/2406.04744code: https://gitlab.aicrowd.com/aicrowd/challenges/meta-comprehensive-rag-benchmark-kdd-cup-2024/meta-comphrehensive-rag-benchmark-starter-kit/문제 제기전통적인 QA 벤치마크들 (NQ, MS Marco 등) 은 RAG의 역동적인 특징을 평가하지 못함RAG를 평가하기 위해 새롭게 제시된 벤치마크들(FreshQA, RGB 등)도 (고작) 몇 백개의 질문들로 LLM의 특정 능력만 평가함저자들이 생각하는 좋은 QA 벤치마크의 특징 5가지 중 핵심 2가지Realism: 벤치마크 데이터가 실제 사용 사례를 반영해야 한다. Richne..
![]()
arXiv : https://arxiv.org/abs/2310.14696code : https://github.com/gankim/tree-of-clarifications1. Introduction & Related WorkOpen-domain question answering (ODQA) task에서 사용자들은 종종 ambiguous questions (AQs)를 질문할 때가 있는데, 이러한 AQs는 여러 뜻으로 해석 될 수 있는 문제점이 있음 AQs를 다루기 위한 3가지 관련 연구Min et al., AmbigQA: Answering Ambiguous Open-domain Questions, EMNLP 2020providing individual answers to disambiguated quest..
![]()
본인은 대학원에서 LLM 및 RAG를 연구중인 대학원생이다. 산업계에서는 RAG를 다양한 라이브러리와 함께 응용하는 engineering의 느낌이 강하겠지만, 평소 본인은 RAG를 research 레벨로 접한터라, RAG를 langchain 같은 라이브러리를 사용하여 구현하지는 못했다. (연구나 실험 단계에선 langchain을 사용하기보단, pytorch로 밑바닥부터 구현하기 때문이다.) 그러던 중 RAG 관련한 여러 유튜브 영상을 보다보니, RAG를 응용하여 서비스를 개발하는 것에도 관심을 갖게 되었고, 이 책을 접했다. 이 책은 langchain을 메인으로 사용하여 RAG 서비스를 개발하는 법을 소개하는 책이다. langchain 이외에도 간단한 AI 기반 웹 서비스 제작을 돕는 streamlit..
![]()
(NAACL 2024) Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question ComplexityarXiv : https://arxiv.org/abs/2403.14403code : https://github.com/starsuzi/Adaptive-RAG1. Introduction논문이 다루는 taskOpen-Domain Question-Answering task with RAG (Retrieval-Augmented Generator)Single-hop QA: 한 문서만 필요한 질문에 답하는 것Multi-hop QA: 질문과 함께 거대한 지식 말뭉치(corpus)가 주어졌을 때 답을 찾기 위해 말뭉치..
![]()
P vs. NP vs. NP-hard vs. NP-complete P 다항시간 내에 풀 수 있는 문제 또는 다차시간 알고리즘을 찾은 문제 NP 다항시간 내에 답이 맞았는지 틀렸는지 확인해줄 수 있는 문제 (verification) 또는 다루기 힘들다고 증명되지 않았고, 다차시간 알고리즘도 찾지 못한 문제 NP-hard 아무리 답을 추측해도 그 답이 맞았는지 틀렸는지 확인이 어려운 문제 (예 : 최적화 문제) NP-complete NP-hard임과 동시에 NP인 문제, 즉 모든 NP 문제를 Polynomial-Time Reduction (다항식 시간 변환)시킨 문제가 다시 NP가 될 때, 그 문제를 'NP-complete 문제'라고 부른다. NP-hard NP-hard에 속하는 문제는? 모든 NP-comp..
