언어 모델은 단기간에 배우는 학생입니다.

2020년 OpenAI는 이전 언어 모델보다 10배 많은 1,750억 개의 파라미터를 갖춘 생성 언어 모델인 GPT-3를 발표하고 NLP 벤치마크에서 그 성능을 공개했습니다. 하지만 단순히 규모만 업그레이드한 것이 아닙니다. GPT-3는 텍스트 상호 작용만으로 작업을 처리할 수 있는 향상된 기능을 보여주었습니다. 이러한 작업에는 제로 샷, 원샷, 소수 샷 학습이 포함되며, 모델에 작업 정의 및/또는 몇 가지 예제가 주어지고 추가 교육 없이 작업을 수행해야 합니다. 즉, 파인 튜닝이 사용되지 않습니다. 마치 사람이 간단한 명령어의 몇 가지 예제만 보고 새로운 언어 작업을 수행하는 것과 같습니다. 하지만 어떤 경우에는 GPT-3의 성능이 SOTA(최첨단) 원튜닝 시스템의 성능과 거의 일치하기도 합니다. 최근..

2023.03.22