![]()
(NAACL 2024) Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity arXiv : https://arxiv.org/abs/2403.14403 code : https://github.com/starsuzi/Adaptive-RAG 1. Introduction 논문이 다루는 task Open-Domain Question-Answering task with RAG (Retrieval-Augmented Generator) Single-hop QA: 한 문서만 필요한 질문에 답하는 것 Multi-hop QA: 질문과 함께 거대한 지식 말뭉치(corpus)가 주어졌을 때 답을 찾기..
![]()
P vs. NP vs. NP-hard vs. NP-complete P 다항시간 내에 풀 수 있는 문제 또는 다차시간 알고리즘을 찾은 문제 NP 다항시간 내에 답이 맞았는지 틀렸는지 확인해줄 수 있는 문제 (verification) 또는 다루기 힘들다고 증명되지 않았고, 다차시간 알고리즘도 찾지 못한 문제 NP-hard 아무리 답을 추측해도 그 답이 맞았는지 틀렸는지 확인이 어려운 문제 (예 : 최적화 문제) NP-complete NP-hard임과 동시에 NP인 문제, 즉 모든 NP 문제를 Polynomial-Time Reduction (다항식 시간 변환)시킨 문제가 다시 NP가 될 때, 그 문제를 'NP-complete 문제'라고 부른다. NP-hard NP-hard에 속하는 문제는? 모든 NP-comp..
![]()
Recurrent Neural Networks (RNN) $$h_t = \tanh (W_{hh}h_{t-1} + W_{xh}x_{t})$$ Backpropagation Through Time (BPTT) 기존의 신경망 구조에서는 backpropagation 알고리즘을 이용한다. RNN에서는 이를 살짝 변형시킨 버전인 Backpropagation Through Time (BPTT) 을 사용하는데, 그 이유는 각 파라미터들이 네트워크의 매 시간 스텝마다 공유되기 때문이다. 즉, 각 시간 스텝의 출력단에서의 gradient는 현재 시간 스텝에서의 계산에만 의존하는 것이 아니라 이전 시간 스텝에도 의존한다. RNN 장단점 RNN 장점 어떤 길이의 입력이라도 처리할 수 있다. 긴 길이의 입력이 들어와도, 모델의 ..
참고하면 좋은 자료 : KL divergence - 공돌이의 수학정리노트 KL divergence - 공돌이의 수학정리노트 (Angelo's Math Notes) angeloyeo.github.io Entropy Entropy는 정보 이론에서 사용되는 개념 중 하나로, 어떤 확률 분포가 가지는 정보의 평균적인 양을 나타내는 값이다. 정보량이 많을수록 Entropy 값은 높아지며, 정보량이 적을수록 Entropy 값은 낮아진다. (엔트로피가 크다 = 무질서도가 크다 = 예측 불가능) $$H(X) = - \sum_{i=1}^{n} P(x_i) \log_{2} P(x_i)$$ 여기서 $P(x)$는 확률 분포를 나타낸다. Examples 엔트로피를 이해하기 위해 동전 던지기의 예를 고려할 수 있다. 공정한 동전..
PPL (Perplexity) PPL은 언어 모델 (Language Model)을 평가하기 위한 평가 지표 중 하나로써, 언어 모델이 예측한 예측값에 대해 "얼마나 헷갈리는지에 대한 정도" 를 수치로 나타낸 것이라 이해할 수 있다. 예를 들어, PPL이 10이라면 "10만큼 헷갈리는 것" 이고, PPL이 3000이라면 "3000만큼 헷갈리는 것" 이다. 예시에서 추론할 수 있듯이, PPL은 낮을수록 언어 모델의 성능이 좋다는 것을 의미한다. Basic Notation 문장 $S$는 $N$개의 단어로 이루어짐 (문장 $S$를 이루고 있는 각각의 단어들은 $w_1, w_2, \cdots, w_N$) $P_{LM}(S) = P_{LM}(w_1, w_2, \cdots, w_N)$은 $LM$ (Language M..
![]()
Motivation Distributional semantics: 단어의 의미는 주변에서 자주 나타나는 단어에 의해 부여된다. -> Representing words by their context Notation $t$: position in the text $c$: center word $o$: context words (outside words) $P(w_{t+j}|w_{t})$: the probability of o given c (or vice versa). $\theta$: all variables to be optimized $L(\theta)$: likelihood $J(\theta)$: objective function (average negative log likelihood) Objec..
인공지능 및 자연어처리 분야에서 의미하는 "long-tail knowledge"는 무엇인가? Long-tail knowledge는 희소하고 드물게 발생하는 현상이나 정보를 가리킨다. 즉 일반적이지 않은 경우를 의미하며, 많은 데이터에서는 적게 나타나는 패턴이나 지식을 말한다, 예를 들어, 일반적인 자연어 처리 작업에서는 일상적인 문장 구조와 관련된 지식이 주로 사용되지만, long-tail knowledge는 특정 도메인이나 특수한 상황에서 필요한 드문 정보를 의미한다.
출처 : https://learn.microsoft.com/ko-kr/azure/machine-learning/concept-responsible-ai?view=azureml-api-2 책임 있는 AI란? - Azure Machine Learning 책임 있는 AI란 무엇이며, Azure Machine Learning에서 사용하여 모델을 이해하고 데이터를 보호하고 모델 수명 주기를 제어하는 방법을 알아봅니다. learn.microsoft.com 공정성: Al 시스템은 그룹이나 개인의 편견을 차별하거나 지지하는 결정을 내려서는 안 됩니다. 신뢰성 및 안전성: Al 시스템은 새로운 상황과 잠재적 조작에 안전하게 대응해야 합니다. 개인 정보 및 보안: Al 시스템은 안전해야 하며 데이터 프라이버시를 존중해야 ..
![]()
(ICLR 2024) NEFTune: Noisy Embeddings Improve Instruction Finetuning arXiv : https://arxiv.org/abs/2310.05914 code : https://github.com/neelsjain/NEFTune/tree/main 세 줄 요약 NEFTune은 학습 과정에서 임베딩 벡터에 Uniform Random Noise를 더해주는 행위를 말한다. NEFTune을 통해 모델은 학습 데이터셋에 대한 오버피팅이 감소한다. (모델이 일반성을 갖게 됨) 오버피팅 감소의 부작용으로, NEFTune을 사용하면 결과의 verbosity가 증가하게 된다. 1. Introduction 논문이 다루는 task LLM Instruction fine-tuning..
SQuAD 논문: https://arxiv.org/abs/1606.05250 홈페이지: https://rajpurkar.github.io/SQuAD-explorer/ SQuAD (The Stanford Question Answering Dataset)는 Question and Answering (Q&A)분야에서 쓰이는 데이터셋으로, 지문, 질문 그리고 답을 위키피디아와 사람들을 통해 만든 데이터이다. Q&A란 주어진 지문을 읽고 질문에 대한 올바른 답을 하는 시스템을 뜻한다. 지문을 읽고 이해하여 질문에 답을 하기에 'Machine Reading Comprehension'이라고도 불린다. 질문에 대한 답이 지문에 있기에 SQuAD는 답을 단어로 가지지 않고 지문 속 답의 위치로 가지고 있다. 이러한 영역..
출처 : LG AI 연구원 기초(수학,통계, 트렌드) [선형대수] KOOC : AI 비전공자를 위한 기초 수학 1: 선형대수학 https://kooc.kaist.ac.kr/mathforai/joinLectures/74606 [선형대수] 3Blue1Brown : Essence of linear algebra https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab [확률/통계] Seeing Theory : Basic Probability/Compound Probability/Probability Distributions/Frequentist Inference/Basyesian Inference/Regression Analysis ht..
![]()
2023년의 회고 (부제1 : 회고 이렇게 쓰면 되나요? 부제2 : 1년짜리 일기) 2022년 회고는 틀에 맞춰 작성했었는데, 이번에는 그냥 기억에 남는 것들만 마음대로 작성해보려고 한다. 1. 응애 나 아기 4학년 1-1) PyTorch 옹알이 23년 초 겨울방학에 김성훈 교수님의 PyTorch 강의를 들으며, 처음으로 PyTorch를 익혔다. 그 전까진 Tensorflow만 사용했었는데, 왜 연구자들이 PyTorch를 선호하는지 느낄 수 있었다. (이제는 Tensorflow보다 PyTorch를 더 익숙해진 몸이 되어버렸는데, 최근에는 PyTorch Lightning을 배워야겠다는 생각이 든다.) 1-2) NLP 논문 리뷰 마찬가지로 23년 초 겨울방학에는 교내 연구실에서 자연어처리 관련 기초 논문들을..
Topics for Language Modeling 정렬에 관한 모든 것 미세 조정, 인스트럭션 조정, 강화 학습 (사람의 피드백 포함), 프롬프트 튜닝 및 컨텍스트 내 정렬 데이터에 관한 모든 것 (수동 또는 알고리즘 분석, 큐레이션, 생성을 통한) 사전 학습 데이터, 정렬 데이터, 합성 데이터 평가에 관한 모든 것 벤치마크, 시뮬레이션 환경, 확장 가능한 감독, 평가 프로토콜 및 메트릭, 인간 및 기계 평가 사회적 영향에 관한 모든 것 편견, 형평성, 오용, 일자리, 기후 변화 및 그 이상 안전에 관한 모든 것 보안, 개인정보 보호, 잘못된 정보, 적대적 공격 및 방어 LM의 과학 스케일링 법칙, 근본적인 한계, 새로운 기능, 신비화, 해석 가능성, 복잡성, 훈련 역학, 그루킹, LM에 대한 학습 이..
arXiv : code : Before Reading 논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다. 논문의 main figure를 보고 전체 흐름을 유추해봅시다. 이해되지 않는 파트가 있나요? 있다면 미리 표시해두고 집중적으로 읽어봅시다. 해당 모델을 구현한 코드가 있는지 체크해봅시다. 1. Introduction 논문이 다루는 task Input : Output : 해당 task에서 기존 연구 한계점 2. Related Work 3. 제안 방법론 Main Idea For Pretrained language model paper 해당 모델이 어떤 차별점을 가지나요 ? 해당 모델은 어떤 모델을 토대로 만들어졌나요? 해당 모델의 pretraining 목적함수는 무엇인가요? 실..
예전부터 논문 읽기와 논문 리뷰의 중요성에 대해서 느끼고 있었지만, 여러 이유로 실천에 옮기지는 못했다. 하지만 최근 여러 경험들을 겪고 깨달은 바가 있어 늦기 전에 더 성장하고자 곧바로 실천에 옮기고자 한다. 목표는 일주일에 1편 이상의 논문을 읽고, 블로그에 1회 이상 리뷰하는 것이다. 마음 같아서는 매일 1편씩 읽고, 한 주에 2~3편의 리뷰를 남기고 싶지만, 실현 가능한 목표로 수정했다. 구체적인 다짐은 아래와 같다. 읽는 속도가 빨라져 시간이 남는다면, 일주일에 2~3편으로 늘린다. 중간/기말, 논문 마감 등, 특정 이벤트에 상관없이 꾸준히 읽는다. (휴가기간 제외) 번역기 사용을 자제한다. 모르는 단어는 사전을 찾아가며 읽는다. 본문 뿐만 아니라 Related Work에 적힌 문장들도 음미하며..
