Topics for Language Modeling

Topics for Language Modeling

• 정렬에 관한 모든 것
  • 미세 조정, 인스트럭션 조정, 강화 학습 (사람의 피드백 포함), 프롬프트 튜닝 및 컨텍스트 내 정렬
• 데이터에 관한 모든 것
  • (수동 또는 알고리즘 분석, 큐레이션, 생성을 통한) 사전 학습 데이터, 정렬 데이터, 합성 데이터
• 평가에 관한 모든 것
  • 벤치마크, 시뮬레이션 환경, 확장 가능한 감독, 평가 프로토콜 및 메트릭, 인간 및 기계 평가
• 사회적 영향에 관한 모든 것
  • 편견, 형평성, 오용, 일자리, 기후 변화 및 그 이상
• 안전에 관한 모든 것
  • 보안, 개인정보 보호, 잘못된 정보, 적대적 공격 및 방어
• LM의 과학
  • 스케일링 법칙, 근본적인 한계, 새로운 기능, 신비화, 해석 가능성, 복잡성, 훈련 역학, 그루킹, LM에 대한 학습 이론
• 효율적인 LM 계산
  • 증류, 압축, 양자화, 샘플 효율적 방법, 메모리 효율적 방법
• 대규모 LM을 위한 엔지니어링
  • 다양한 하드웨어 설정에 대한 분산 훈련 및 추론, 훈련 역학, 최적화 불안정성
• LM을 위한 학습 알고리즘
  • 학습, 언러닝, 메타 학습, 모델 혼합 방법, 지속적 학습
• LM을 위한 추론 알고리즘
  • 디코딩 알고리즘, 추론 알고리즘, 검색 알고리즘, 계획 알고리즘
• 인간의 마음, 두뇌, 철학, 법률 및 LM
  • LM에 대한 인지 과학, 신경 과학, 언어학, 심리 언어학, 철학적 또는 법적 관점
• 모두를 위한 LM
  • 다국어, 저자원 언어, 방언, 다문화주의, 가치 다원주의
• LM과 세계
  • 사실성, 검색 증강 LM, 지식 모델, 상식적 추론, 마음 이론, 사회 규범, 실용학, 세계 모델
• LM과 실제화
  • 인식, 행동, 로보틱스, 다중 모달성
• LM과 상호작용
  • 대화, 대화형 학습, 다중 에이전트 학습
• 도구 및 코드가 포함된 LM
  • 도구 및 API와의 통합, LM 기반 소프트웨어 엔지니어링
• 다양한 모달성과 새로운 애플리케이션에 대한 LM
  • 시각적 LM, 코드 LM, 수학 LM 등, 화학, 의학, 교육, 데이터베이스 등과 같이 덜 연구된 양식이나 애플리케이션

원문

• All about alignment
  • fine-tuning, instruction-tuning, reinforcement learning (with human feedback), prompt tuning, and in-context alignment
• All about data
  • pre-training data, alignment data, and synthetic data — via manual or algorithmic analysis, curation, and generation
• All about evaluation
  • benchmarks, simulation environments, scalable oversight, evaluation protocols and metrics, human and/or machine evaluation
• All about societal implications
  • bias, equity, misuse, jobs, climate change, and beyond
• All about safety
  • security, privacy, misinformation, adversarial attacks and defenses
• Science of LMs
  • scaling laws, fundamental limitations, emergent capabilities, demystification, interpretability, complexity, training dynamics, grokking, learning theory for LMs
• Compute efficient LMs
  • distillation, compression, quantization, sample efficient methods, memory efficient methods
• Engineering for large LMs
  • distributed training and inference on different hardware setups, training dynamics, optimization instability
• Learning algorithms for LMs
  • learning, unlearning, meta learning, model mixing methods, continual learning
• Inference algorithms for LMs
  • decoding algorithms, reasoning algorithms, search algorithms, planning algorithms
• Human mind, brain, philosophy, laws and LMs
  • cognitive science, neuroscience, linguistics, psycholinguistics, philosophical, or legal perspectives on LMs
• LMs for everyone
  • multi-linguality, low-resource languages, vernacular languages, multiculturalism, value pluralism
• LMs and the world
  • factuality, retrieval-augmented LMs, knowledge models, commonsense reasoning, theory of mind, social norms, pragmatics, and world models
• LMs and embodiment
  • perception, action, robotics, and multimodality
• LMs and interactions
  • conversation, interactive learning, and multi-agents learning
• LMs with tools and code
  • integration with tools and APIs, LM-driven software engineering
• LMs on diverse modalities and novel applications
  • visual LMs, code LMs, math LMs, and so forth, with extra encouragements for less studied modalities or applications such as chemistry, medicine, education, database and beyond

참고

https://colmweb.org/

COLM 2024