2023년 12월에 열린 Devfest Cloud 2023에 참가하여,
Google ML Tech Lead인 Erwin Huizenga님께서 발표하셨던
How to do supervised tuning for a language model using Vertex AI 세션을 듣고 정리한 글입니다.
- "How to do supervised tuning for a language model using Vertex AI" 관련 시리즈
- (1) Why Adapter Tuning?
(2) Supervised Fine Tuning- (3) RLHF (Reinforcement Learning from Human Feedback)
1. 프롬프트 디자인의 한계 (Limitations of Prompt Design)
- 프롬프트의 단어나 단어 순서를 바꾸는 작은 변화가 모델의 결과에 영향을 줄 수 있음 (Small changes in wording or word order can impact model results)
- 긴 프롬프트는 context window를 많이 차지함 (Long prompts take up context window)
관련 글 : LLM의 Context Window Size가 크다고 좋은 것일까? - 프롬프트 디자인에 많은 시행착오가 소요됨 (Lots of trial and error)
- 결과가 일관적이지 않음 (Inconsistent results)
2. Foundation Models Tuning의 종류
- Full Fine Tuning
- 모든 모델 weights를 업데이트함 (Update all model weights)
- Adapter Tuning (ex> LoRA)
- Weights의 작은 부분만 업데이트하고, 파라미터의 일부만 훈련시킴 (Update a small set of weights, Train a small subset of parameters)
- 파라미터는 기존 모델 파라미터의 일부일 수 있거나 완전히 새로운 부분일 수도 있음 (Parameters might be a subset of the existing model parameters, Or an entirely new set of parameters)
3. Training benefits of Adapter Tuning
- 파라미터를 조금만 업데이트하면 되기 때문에, 훈련이 빠름 (Fewer params to update, Faster training)
- 메모리 사용량 감소 (Reduction in memory usage)
- 필요한 훈련 데이터의 양이 적음 (Less training data needed)
4. Serving benefits of Adapter Tuning
Adapter Tuning을 사용하는 것은 모델 배포 측면에서도 이점을 가짐
- Foundation model을 재사용하여 배포가 가능함 (Shared deployment of a foundation model)
- 런타임에 특정 작업에 맞는 어댑터 가중치로 보강할 수 있음 (Augment with adapter weights specific to a particular task at runtime)
- Foundation Model을 고정하고, Task에 따라서 Tuning한 파라미터 부분을 교체하는 것
- 이 방법이 Full Fine Tuning보더 더 효율적일 수 있음
5. 관련 자료
- 언어 기반 모델 조정
언어 기반 모델 조정 | Vertex AI | Google Cloud
의견 보내기 언어 기반 모델 조정 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 기반 모델을 조정하여 성능을 향상시킬 수 있습니다. 기반 모델은 퓨샷 프
cloud.google.com
- GoogleCloudPlatform GitHub - generative-ai
GitHub - GoogleCloudPlatform/generative-ai: Sample code and notebooks for Generative AI on Google Cloud
Sample code and notebooks for Generative AI on Google Cloud - GitHub - GoogleCloudPlatform/generative-ai: Sample code and notebooks for Generative AI on Google Cloud
github.com
Disclaimer: 본 글은 개인이 작성한 글입니다. 본 글의 내용과 'devfest Cloud 2023' 행사에서 표현된 의견은 Google을 대변하지 않습니다.
'NLP' 카테고리의 다른 글
| Topics for Language Modeling (0) | 2024.01.17 |
|---|---|
| RLHF (Reinforcement Learning from Human Feedback) [devfest Cloud 2023] (0) | 2023.12.10 |
| BERT 모델을 K-Fold Cross-Validation으로 학습하는 방법 (0) | 2023.10.07 |
| [NLP] 무료 오픈소스 Text Annotation Tool 리스트 (0) | 2022.08.08 |
| [NLP] FastText 관련 참고문헌 정리 (0) | 2022.04.25 |
