2020년 OpenAI는 이전 언어 모델보다 10배 많은 1,750억 개의 파라미터를 갖춘 생성 언어 모델인 GPT-3를 발표하고 NLP 벤치마크에서 그 성능을 공개했습니다. 하지만 단순히 규모만 업그레이드한 것이 아닙니다. GPT-3는 텍스트 상호 작용만으로 작업을 처리할 수 있는 향상된 기능을 보여주었습니다. 이러한 작업에는 제로 샷, 원샷, 소수 샷 학습이 포함되며, 모델에 작업 정의 및/또는 몇 가지 예제가 주어지고 추가 교육 없이 작업을 수행해야 합니다. 즉, 파인 튜닝이 사용되지 않습니다. 마치 사람이 간단한 명령어의 몇 가지 예제만 보고 새로운 언어 작업을 수행하는 것과 같습니다. 하지만 어떤 경우에는 GPT-3의 성능이 SOTA(최첨단) 원튜닝 시스템의 성능과 거의 일치하기도 합니다. 최근..

'인-컨텍스트 러닝'이란 무엇인가? 연구자들은 대규모 언어 모델이 해당 작업에 대해 학습되지 않았음에도 불구하고 몇 가지 예시만 보고도 작업을 수행하는 방법을 배우는 인컨텍스트 학습이라는 흥미로운 현상을 연구하고 있습니다. 예를 들어, 누군가 모델에 몇 가지 예문과 그에 대한 감정(긍정 또는 부정)을 제공한 다음 새로운 문장을 입력하면 모델이 올바른 감정을 제공할 수 있습니다. GPT-3와 같은 대형 언어 모델은 인터넷 규모의 텍스트 데이터를 학습하여 앞의 텍스트가 주어졌을 때 다음 토큰을 예측하는 것으로 학습됩니다. 이 간단한 목적과 대규모 데이터셋 및 모델이 결합되어 매우 유연한 언어 모델이 생성되어, 모델은 모든 텍스트 입력을 "읽어" 들이고 이를 조건으로 하여 해당 입력 다음에 나올 수 있는 텍스..

사전 학습된 언어 모델은 일반 자연어 영역에서의 큰 성공에 힘입어 생물의학 영역에서도 점점 더 많은 관심을 받고 있습니다. 일반 언어 영역에서 사전 학습된 언어 모델의 두 가지 주요 분파, 즉 BERT(및 그 변형)와 GPT(및 그 변형) 중 첫 번째 분파는 BioBERT 및 PubMedBERT와 같이 생물 의학 영역에서 광범위하게 연구되어 왔습니다. 이들은 다양한 차별적 다운스트림 생물의학 작업에서 큰 성공을 거두었지만 생성 능력이 부족하여 적용 범위가 제한적입니다. 이 논문에서는 대규모 생물의학 문헌에 대해 사전 학습된 도메인별 생성 트랜스포머 언어 모델인 BioGPT를 제안합니다. 6개의 생의학 NLP 과제에 대해 BioGPT를 평가하고 대부분의 과제에서 기존 모델보다 우수한 성능을 보임을 입증합니..

GPT-4는 대규모 멀티모달 모델(이미지와 텍스트 입력을 받아들이고 텍스트 출력을 내보내는)로, 많은 실제 시나리오에서 인간보다 능력이 떨어지지만 다양한 전문 및 학술 벤치마크에서 인간 수준의 성능을 보여줍니다. 예를 들어, 모의 변호사 시험에서 응시자 중 상위 10% 정도의 점수로 합격한 반면, GPT-3.5의 점수는 하위 10% 정도에 그쳤습니다. 저희는 6개월 동안 적대적 테스트 프로그램과 ChatGPT에서 얻은 교훈을 바탕으로 GPT-4를 반복적으로 조정하여 사실성, 조종성, 가드레일을 벗어나는 것을 거부하는 능력에서 완벽하지는 않지만 역대 최고의 결과를 얻었습니다. >> GPT-4 모의 변호사 시험: 상위 10% 점수로 합격 >> GPT-3.5: 하위 10% 지난 2년 동안 전체 딥 러닝 스택을..

Alpaca: A Strong Open-Source Instruction-Following Model 저자: 로한 타오리*와 이샨 굴라자니*, 티안이 장*, 얀 두부아*, 쉬첸 리*, 카를로스 게스트린, 퍼시 량, 타츠노리 B. 하시모토 52K 명령따르기 데모에서 LLaMA 7B 모델을 파인 튜닝 모델인 Alpaca 7B를 소개합니다. 알파카는 OpenAI의 텍스트 다빈치-003과 유사하게 작동하지만 놀라울 정도로 작고 재현하기 쉽고 저렴합니다(600달러 미만). * 알파카 7B > LLaMA 7B 모델 파인튜닝 모델 > OpenAI 다빈치-003과 유사하지만, 사이즈가 작고 저렴합니다. (600달러 미만? 오픈AI 다빈치-003 호출 비용, 데이터 생성 비용) 참고: Instrction-Followin..

이제 개발자는 API를 통해 ChatGPT 및 Whisper 모델을 앱과 제품에 통합할 수 있습니다. 이 글은 오픈AI 블로그 기사를 번역하고 요약한것입니다. https://openai.com/blog/introducing-chatgpt-and-whisper-apis Introducing ChatGPT and Whisper APIs Developers can now integrate ChatGPT and Whisper models into their apps and products through our API. openai.com OpenAI는 최첨단 언어(ChatGPT) 및 음성-텍스트 변환(Whisper) 기능의 API 제공 이제 API에서 ChatGPT 및 Whisper 모델을 사용할 수 있게 되어..