[In Context Learning] 인-컨텍스트 러닝의 신비로움

언어 모델(LM)에 훈련 예제 목록(검은색)과 테스트 입력(녹색)을 주고 빈칸을 채울 다음 토큰/단어를 예측(주황색)하도록 요청하는 인컨텍스트 학습의 두 가지 예입니다.

'인-컨텍스트 러닝'이란 무엇인가?

연구자들은 대규모 언어 모델이 해당 작업에 대해 학습되지 않았음에도 불구하고 몇 가지 예시만 보고도 작업을 수행하는 방법을 배우는 인컨텍스트 학습이라는 흥미로운 현상을 연구하고 있습니다. 예를 들어, 누군가 모델에 몇 가지 예문과 그에 대한 감정(긍정 또는 부정)을 제공한 다음 새로운 문장을 입력하면 모델이 올바른 감정을 제공할 수 있습니다.

 

GPT-3와 같은 대형 언어 모델은 인터넷 규모의 텍스트 데이터를 학습하여 앞의 텍스트가 주어졌을 때 다음 토큰을 예측하는 것으로 학습됩니다. 이 간단한 목적과 대규모 데이터셋 및 모델이 결합되어 매우 유연한 언어 모델이 생성되어, 모델은 모든 텍스트 입력을 "읽어" 들이고 이를 조건으로 하여 해당 입력 다음에 나올 수 있는 텍스트를 "쓸" 수 있습니다. 이러한 간단하고 일반적인 학습 절차에도 불구하고, GPT-3 논문에서는 대규모 규모로 인해 흥미로운 '인-컨텍스트 러닝'이라는 새로운 현상이 발견되었습니다.

인컨텍스트 러닝은 무엇을 할 수 있나요?

많은 NLP 벤치마크에서 인컨텍스트 러닝은 훨씬 더 많은 레이블이 지정된 데이터로 학습된 모델과 경쟁할 수 있으며, LAMBADA(상식 문장 완성) 및 TriviaQA(질문 답변)에서 최신 기술을 자랑합니다. 더욱 흥미로운 점은 자연어 설명에서 코드 작성, 앱 디자인 목업 지원, 스프레드시트 기능 일반화 등 인컨텍스트 학습을 통해 사람들이 단 몇 시간 만에 구축할 수 있는 다양한 애플리케이션이 있다는 점입니다.

 

인컨텍스트 러닝을 통해 사용자는 각 작업에 대한 새로운 매개변수를 미세 조정하고 저장할 걱정 없이 새로운 사용 사례에 대한 모델을 빠르게 구축할 수 있습니다. 일반적으로 프로토타입을 작동시키는 데 필요한 교육 예제는 거의 없으며, 자연어 인터페이스는 비전문가도 직관적으로 사용할 수 있습니다.

 

 

본 글은 다음 링크의 내용을 요약했습니다.

 

http://ai.stanford.edu/blog/understanding-incontext/

How does in-context learning work? A framework for understanding the differences from traditional supervised learning

 

https://news.mit.edu/2023/large-language-models-in-context-learning-0207

Solving a machine-learning mystery