논문리뷰

Publication Info: TACL 2024arXiv: https://arxiv.org/abs/2307.03172code: https://nelsonliu.me/papers/lost-in-the-middle심리학에는 서열 위치 효과(serial-position effect)라는 용어가 있다. 사람들은 어떠한 나열들을 기억할 때 처음과 끝의 내용들은 잘 기억하지만, 중간에 있는 내용들은 쉽게 기억하지 못하는 경향의 현상을 의미하는 용어이다.  갑자기 웬 심리학인가 할수도 있지만, Lost in the Middle 논문은 이러한 서열 위치 효과 현상이 LLM에서도 발생하는지 실험적으로 분석했다. (저자들이 서열 위치 효과를 직접적으로 논문의 motivation으로 꼽은건 아니지만, 저자들도 이 효과에 ..

arXiv: https://arxiv.org/abs/2406.04744code: https://gitlab.aicrowd.com/aicrowd/challenges/meta-comprehensive-rag-benchmark-kdd-cup-2024/meta-comphrehensive-rag-benchmark-starter-kit/문제 제기전통적인 QA 벤치마크들 (NQ, MS Marco 등) 은 RAG의 역동적인 특징을 평가하지 못함RAG를 평가하기 위해 새롭게 제시된 벤치마크들(FreshQA, RGB 등)도 (고작) 몇 백개의 질문들로 LLM의 특정 능력만 평가함 저자들이 생각하는 좋은 QA 벤치마크의 특징 5가지 중 핵심 2가지Realism: 벤치마크 데이터가 실제 사용 사례를 반영해야 한다. Richn..

arXiv : https://arxiv.org/abs/2310.14696code : https://github.com/gankim/tree-of-clarifications1. Introduction & Related WorkOpen-domain question answering (ODQA) task에서 사용자들은 종종 ambiguous questions (AQs)를 질문할 때가 있는데, 이러한 AQs는 여러 뜻으로 해석 될 수 있는 문제점이 있음 AQs를 다루기 위한 3가지 관련 연구Min et al., AmbigQA: Answering Ambiguous Open-domain Questions, EMNLP 2020providing individual answers to disambiguated quest..

(NAACL 2024) Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question ComplexityarXiv : https://arxiv.org/abs/2403.14403code : https://github.com/starsuzi/Adaptive-RAG1. Introduction논문이 다루는 taskOpen-Domain Question-Answering task with RAG (Retrieval-Augmented Generator)Single-hop QA: 한 문서만 필요한 질문에 답하는 것Multi-hop QA: 질문과 함께 거대한 지식 말뭉치(corpus)가 주어졌을 때 답을 찾기 위해 말뭉치..

(ICLR 2024) NEFTune: Noisy Embeddings Improve Instruction FinetuningarXiv : https://arxiv.org/abs/2310.05914code : https://github.com/neelsjain/NEFTune/tree/main 세 줄 요약NEFTune은 학습 과정에서 임베딩 벡터에 Uniform Random Noise를 더해주는 행위를 말한다.NEFTune을 통해 모델은 학습 데이터셋에 대한 오버피팅이 감소한다. (모델이 일반성을 갖게 됨)오버피팅 감소의 부작용으로, NEFTune을 사용하면 결과의 verbosity가 증가하게 된다.1. Introduction논문이 다루는 taskLLM Instruction fine-tuning 기법해당 ta..