Topics for Language Modeling
- 정렬에 관한 모든 것
- 미세 조정, 인스트럭션 조정, 강화 학습 (사람의 피드백 포함), 프롬프트 튜닝 및 컨텍스트 내 정렬
- 데이터에 관한 모든 것
- (수동 또는 알고리즘 분석, 큐레이션, 생성을 통한) 사전 학습 데이터, 정렬 데이터, 합성 데이터
- 평가에 관한 모든 것
- 벤치마크, 시뮬레이션 환경, 확장 가능한 감독, 평가 프로토콜 및 메트릭, 인간 및 기계 평가
- 사회적 영향에 관한 모든 것
- 편견, 형평성, 오용, 일자리, 기후 변화 및 그 이상
- 안전에 관한 모든 것
- 보안, 개인정보 보호, 잘못된 정보, 적대적 공격 및 방어
- LM의 과학
- 스케일링 법칙, 근본적인 한계, 새로운 기능, 신비화, 해석 가능성, 복잡성, 훈련 역학, 그루킹, LM에 대한 학습 이론
- 효율적인 LM 계산
- 증류, 압축, 양자화, 샘플 효율적 방법, 메모리 효율적 방법
- 대규모 LM을 위한 엔지니어링
- 다양한 하드웨어 설정에 대한 분산 훈련 및 추론, 훈련 역학, 최적화 불안정성
- LM을 위한 학습 알고리즘
- 학습, 언러닝, 메타 학습, 모델 혼합 방법, 지속적 학습
- LM을 위한 추론 알고리즘
- 디코딩 알고리즘, 추론 알고리즘, 검색 알고리즘, 계획 알고리즘
- 인간의 마음, 두뇌, 철학, 법률 및 LM
- LM에 대한 인지 과학, 신경 과학, 언어학, 심리 언어학, 철학적 또는 법적 관점
- 모두를 위한 LM
- 다국어, 저자원 언어, 방언, 다문화주의, 가치 다원주의
- LM과 세계
- 사실성, 검색 증강 LM, 지식 모델, 상식적 추론, 마음 이론, 사회 규범, 실용학, 세계 모델
- LM과 실제화
- 인식, 행동, 로보틱스, 다중 모달성
- LM과 상호작용
- 대화, 대화형 학습, 다중 에이전트 학습
- 도구 및 코드가 포함된 LM
- 도구 및 API와의 통합, LM 기반 소프트웨어 엔지니어링
- 다양한 모달성과 새로운 애플리케이션에 대한 LM
- 시각적 LM, 코드 LM, 수학 LM 등, 화학, 의학, 교육, 데이터베이스 등과 같이 덜 연구된 양식이나 애플리케이션
원문
- All about alignment
- fine-tuning, instruction-tuning, reinforcement learning (with human feedback), prompt tuning, and in-context alignment
- All about data
- pre-training data, alignment data, and synthetic data — via manual or algorithmic analysis, curation, and generation
- All about evaluation
- benchmarks, simulation environments, scalable oversight, evaluation protocols and metrics, human and/or machine evaluation
- All about societal implications
- bias, equity, misuse, jobs, climate change, and beyond
- All about safety
- security, privacy, misinformation, adversarial attacks and defenses
- Science of LMs
- scaling laws, fundamental limitations, emergent capabilities, demystification, interpretability, complexity, training dynamics, grokking, learning theory for LMs
- Compute efficient LMs
- distillation, compression, quantization, sample efficient methods, memory efficient methods
- Engineering for large LMs
- distributed training and inference on different hardware setups, training dynamics, optimization instability
- Learning algorithms for LMs
- learning, unlearning, meta learning, model mixing methods, continual learning
- Inference algorithms for LMs
- decoding algorithms, reasoning algorithms, search algorithms, planning algorithms
- Human mind, brain, philosophy, laws and LMs
- cognitive science, neuroscience, linguistics, psycholinguistics, philosophical, or legal perspectives on LMs
- LMs for everyone
- multi-linguality, low-resource languages, vernacular languages, multiculturalism, value pluralism
- LMs and the world
- factuality, retrieval-augmented LMs, knowledge models, commonsense reasoning, theory of mind, social norms, pragmatics, and world models
- LMs and embodiment
- perception, action, robotics, and multimodality
- LMs and interactions
- conversation, interactive learning, and multi-agents learning
- LMs with tools and code
- integration with tools and APIs, LM-driven software engineering
- LMs on diverse modalities and novel applications
- visual LMs, code LMs, math LMs, and so forth, with extra encouragements for less studied modalities or applications such as chemistry, medicine, education, database and beyond
참고
COLM 2024
colmweb.org
반응형
'NLP' 카테고리의 다른 글
| Long-tail knowledge 개념 (0) | 2024.03.28 |
|---|---|
| NLP 분야의 도전 과제들 (벤치마크 데이터셋) (0) | 2024.01.20 |
| RLHF (Reinforcement Learning from Human Feedback) [devfest Cloud 2023] (0) | 2023.12.10 |
| 언어모델에서 Adapter Tuning이 필요한 이유 [devfest Cloud 2023] (0) | 2023.12.10 |
| BERT 모델을 K-Fold Cross-Validation으로 학습하는 방법 (0) | 2023.10.07 |
