사전 학습 말뭉치가 LLM의 인-컨텍스트 러닝에 미치는 영향

대규모 언어 모델에 대한 최근의 많은 연구에서 문맥 내 제로 및 소수 샷 학습 능력이 성공적으로 보고되었습니다. 그러나 문맥 내 학습이 언제 발생하는지에 대한 심층적인 분석은 아직 부족합니다. 예를 들어, 훈련 코퍼스가 달라질 때 인컨텍스트 학습 성능이 어떻게 변하는지는 알려지지 않았습니다. 여기서는 한국어 중심의 GPT-3 모델인 HyperCLOVA에서 사전 학습 말뭉치의 출처와 크기가 문맥 내 학습에 미치는 영향을 조사합니다. 심층 조사를 통해 다음과 같은 관찰 결과를 소개합니다: (1) 문맥 내 학습 성능은 코퍼스 도메인 소스에 크게 좌우되며, 사전 학습 코퍼스의 크기가 반드시 문맥 내 학습의 출현을 결정하는 것은 아니다, (2) 언어 모델이 여러 코퍼스를 조합하여 학습할 때, 각 코퍼스 자체로는 ..

2023.03.22