![]()
Motivation Distributional semantics: 단어의 의미는 주변에서 자주 나타나는 단어에 의해 부여된다. -> Representing words by their context Notation $t$: position in the text $c$: center word $o$: context words (outside words) $P(w_{t+j}|w_{t})$: the probability of o given c (or vice versa). $\theta$: all variables to be optimized $L(\theta)$: likelihood $J(\theta)$: objective function (average negative log likelihood) Objec..
인공지능 및 자연어처리 분야에서 의미하는 "long-tail knowledge"는 무엇인가? Long-tail knowledge는 희소하고 드물게 발생하는 현상이나 정보를 가리킨다. 즉 일반적이지 않은 경우를 의미하며, 많은 데이터에서는 적게 나타나는 패턴이나 지식을 말한다, 예를 들어, 일반적인 자연어 처리 작업에서는 일상적인 문장 구조와 관련된 지식이 주로 사용되지만, long-tail knowledge는 특정 도메인이나 특수한 상황에서 필요한 드문 정보를 의미한다.
출처 : https://learn.microsoft.com/ko-kr/azure/machine-learning/concept-responsible-ai?view=azureml-api-2 책임 있는 AI란? - Azure Machine Learning 책임 있는 AI란 무엇이며, Azure Machine Learning에서 사용하여 모델을 이해하고 데이터를 보호하고 모델 수명 주기를 제어하는 방법을 알아봅니다. learn.microsoft.com 공정성: Al 시스템은 그룹이나 개인의 편견을 차별하거나 지지하는 결정을 내려서는 안 됩니다. 신뢰성 및 안전성: Al 시스템은 새로운 상황과 잠재적 조작에 안전하게 대응해야 합니다. 개인 정보 및 보안: Al 시스템은 안전해야 하며 데이터 프라이버시를 존중해야 ..
![]()
(ICLR 2024) NEFTune: Noisy Embeddings Improve Instruction Finetuning arXiv : https://arxiv.org/abs/2310.05914 code : https://github.com/neelsjain/NEFTune/tree/main 세 줄 요약 NEFTune은 학습 과정에서 임베딩 벡터에 Uniform Random Noise를 더해주는 행위를 말한다. NEFTune을 통해 모델은 학습 데이터셋에 대한 오버피팅이 감소한다. (모델이 일반성을 갖게 됨) 오버피팅 감소의 부작용으로, NEFTune을 사용하면 결과의 verbosity가 증가하게 된다. 1. Introduction 논문이 다루는 task LLM Instruction fine-tuning..
SQuAD 논문: https://arxiv.org/abs/1606.05250 홈페이지: https://rajpurkar.github.io/SQuAD-explorer/ SQuAD (The Stanford Question Answering Dataset)는 Question and Answering (Q&A)분야에서 쓰이는 데이터셋으로, 지문, 질문 그리고 답을 위키피디아와 사람들을 통해 만든 데이터이다. Q&A란 주어진 지문을 읽고 질문에 대한 올바른 답을 하는 시스템을 뜻한다. 지문을 읽고 이해하여 질문에 답을 하기에 'Machine Reading Comprehension'이라고도 불린다. 질문에 대한 답이 지문에 있기에 SQuAD는 답을 단어로 가지지 않고 지문 속 답의 위치로 가지고 있다. 이러한 영역..
출처 : LG AI 연구원 기초(수학,통계, 트렌드) [선형대수] KOOC : AI 비전공자를 위한 기초 수학 1: 선형대수학 https://kooc.kaist.ac.kr/mathforai/joinLectures/74606 [선형대수] 3Blue1Brown : Essence of linear algebra https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab [확률/통계] Seeing Theory : Basic Probability/Compound Probability/Probability Distributions/Frequentist Inference/Basyesian Inference/Regression Analysis ht..
