![]()
(NAACL 2024) Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity arXiv : https://arxiv.org/abs/2403.14403 code : https://github.com/starsuzi/Adaptive-RAG 1. Introduction 논문이 다루는 task Open-Domain Question-Answering task with RAG (Retrieval-Augmented Generator) Single-hop QA: 한 문서만 필요한 질문에 답하는 것 Multi-hop QA: 질문과 함께 거대한 지식 말뭉치(corpus)가 주어졌을 때 답을 찾기..
![]()
(ICLR 2024) NEFTune: Noisy Embeddings Improve Instruction Finetuning arXiv : https://arxiv.org/abs/2310.05914 code : https://github.com/neelsjain/NEFTune/tree/main 세 줄 요약 NEFTune은 학습 과정에서 임베딩 벡터에 Uniform Random Noise를 더해주는 행위를 말한다. NEFTune을 통해 모델은 학습 데이터셋에 대한 오버피팅이 감소한다. (모델이 일반성을 갖게 됨) 오버피팅 감소의 부작용으로, NEFTune을 사용하면 결과의 verbosity가 증가하게 된다. 1. Introduction 논문이 다루는 task LLM Instruction fine-tuning..
arXiv : code : Before Reading 논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다. 논문의 main figure를 보고 전체 흐름을 유추해봅시다. 이해되지 않는 파트가 있나요? 있다면 미리 표시해두고 집중적으로 읽어봅시다. 해당 모델을 구현한 코드가 있는지 체크해봅시다. 1. Introduction 논문이 다루는 task Input : Output : 해당 task에서 기존 연구 한계점 2. Related Work 3. 제안 방법론 Main Idea For Pretrained language model paper 해당 모델이 어떤 차별점을 가지나요 ? 해당 모델은 어떤 모델을 토대로 만들어졌나요? 해당 모델의 pretraining 목적함수는 무엇인가요? 실..
예전부터 논문 읽기와 논문 리뷰의 중요성에 대해서 느끼고 있었지만, 여러 이유로 실천에 옮기지는 못했다. 하지만 최근 여러 경험들을 겪고 깨달은 바가 있어 늦기 전에 더 성장하고자 곧바로 실천에 옮기고자 한다. 목표는 일주일에 1편 이상의 논문을 읽고, 블로그에 1회 이상 리뷰하는 것이다. 마음 같아서는 매일 1편씩 읽고, 한 주에 2~3편의 리뷰를 남기고 싶지만, 실현 가능한 목표로 수정했다. 구체적인 다짐은 아래와 같다. 읽는 속도가 빨라져 시간이 남는다면, 일주일에 2~3편으로 늘린다. 중간/기말, 논문 마감 등, 특정 이벤트에 상관없이 꾸준히 읽는다. (휴가기간 제외) 번역기 사용을 자제한다. 모르는 단어는 사전을 찾아가며 읽는다. 본문 뿐만 아니라 Related Work에 적힌 문장들도 음미하며..
