![]()
(EMNLP 2023) SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language ModelsarXiv: https://arxiv.org/abs/2303.08896code: https://github.com/potsawee/selfcheckgpt 1. ProblemHallucination Detection기존의 fact verification 방법은 ChatGPT와 같은 블랙박스 모델에서는 작동하지 않을 수 있으므로 외부 리소스 없이도 Hallucination을 Detection 할 수 있는 새로운 접근 방식이 필요함 2. Related Worksintrinsic uncertainty metrics ..
(ICLR 2023 notable-top-25%) Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language GenerationarXiv: https://arxiv.org/abs/2302.09664code: https://github.com/lorenzkuhn/semantic_uncertainty 1. MotivationLLM이 생성한 답변의 uncertainty를 추정하는 것은 Trustworthy LLM과 관련하여 중요한 문제임그러나 답변의 uncertainty를 추정하는 기존의 token-likelihood 기반 방법들은 semantic equivalence 문제를 고려하지 않음 semantic..
