전체 글

출처 : LG AI 연구원 기초(수학,통계, 트렌드) [선형대수] KOOC : AI 비전공자를 위한 기초 수학 1: 선형대수학 https://kooc.kaist.ac.kr/mathforai/joinLectures/74606 [선형대수] 3Blue1Brown : Essence of linear algebra https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab [확률/통계] Seeing Theory : Basic Probability/Compound Probability/Probability Distributions/Frequentist Inference/Basyesian Inference/Regression Analysis ht..

2023년의 회고 (부제1 : 회고 이렇게 쓰면 되나요? 부제2 : 1년짜리 일기) 2022년 회고는 틀에 맞춰 작성했었는데, 이번에는 그냥 기억에 남는 것들만 마음대로 작성해보려고 한다. 1. 응애 나 아기 4학년 1-1) PyTorch 옹알이 23년 초 겨울방학에 김성훈 교수님의 PyTorch 강의를 들으며, 처음으로 PyTorch를 익혔다. 그 전까진 Tensorflow만 사용했었는데, 왜 연구자들이 PyTorch를 선호하는지 느낄 수 있었다. (이제는 Tensorflow보다 PyTorch를 더 익숙해진 몸이 되어버렸는데, 최근에는 PyTorch Lightning을 배워야겠다는 생각이 든다.) 1-2) NLP 논문 리뷰 마찬가지로 23년 초 겨울방학에는 교내 연구실에서 자연어처리 관련 기초 논문들을..

Topics for Language Modeling 정렬에 관한 모든 것 미세 조정, 인스트럭션 조정, 강화 학습 (사람의 피드백 포함), 프롬프트 튜닝 및 컨텍스트 내 정렬 데이터에 관한 모든 것 (수동 또는 알고리즘 분석, 큐레이션, 생성을 통한) 사전 학습 데이터, 정렬 데이터, 합성 데이터 평가에 관한 모든 것 벤치마크, 시뮬레이션 환경, 확장 가능한 감독, 평가 프로토콜 및 메트릭, 인간 및 기계 평가 사회적 영향에 관한 모든 것 편견, 형평성, 오용, 일자리, 기후 변화 및 그 이상 안전에 관한 모든 것 보안, 개인정보 보호, 잘못된 정보, 적대적 공격 및 방어 LM의 과학 스케일링 법칙, 근본적인 한계, 새로운 기능, 신비화, 해석 가능성, 복잡성, 훈련 역학, 그루킹, LM에 대한 학습 이..

(venue year) TitlearXiv:code:Before Reading논문 제목을 보고 해당 모델이 어떤 방법론을 바탕으로 할지 가설을 세워봅시다.논문의 main figure를 보고 전체 흐름을 유추해봅시다.이해되지 않는 파트가 있나요? 있다면 미리 표시해두고 집중적으로 읽어봅시다. 1. Introduction논문이 다루는 taskInput :Output :해당 task에서 기존 연구 한계점 2. Related WorkWork 1 Work 2 Work 3 3. MethodPreliminaries & NotationsA B Main IdeaFor Pretrained language model paper해당 모델이 어떤 차별점을 가지나요 ?해당 모델은 어떤 모델을 토대로 만들어졌나요?해당 모델의 pr..

2023년 12월에 열린 Devfest Cloud 2023에 참가하여,Google ML Tech Lead인 Erwin Huizenga님께서 발표하셨던How to do supervised tuning for a language model using Vertex AI 세션을 듣고 정리한 글입니다."How to do supervised tuning for a language model using Vertex AI" 관련 시리즈(1) Why Adapter Tuning?(2) Supervised Fine Tuning(3) RLHF (Reinforcement Learning from Human Feedback)0. RLHF 관련 논문[NeurIPS 2017] Deep Reinforcement Learning fro..

2023년 12월에 열린 Devfest Cloud 2023에 참가하여,Google ML Tech Lead인 Erwin Huizenga님께서 발표하셨던How to do supervised tuning for a language model using Vertex AI 세션을 듣고 정리한 글입니다."How to do supervised tuning for a language model using Vertex AI" 관련 시리즈(1) Why Adapter Tuning?(2) Supervised Fine Tuning(3) RLHF (Reinforcement Learning from Human Feedback)1. 프롬프트 디자인의 한계 (Limitations of Prompt Design)프롬프트의 단어나 단어 ..