BioGPT: 생물의학 텍스트 생성 및 마이닝을 위한 사전 학습된 생성 트랜스포머

사전 학습된 언어 모델은 일반 자연어 영역에서의 큰 성공에 힘입어 생물의학 영역에서도 점점 더 많은 관심을 받고 있습니다. 일반 언어 영역에서 사전 학습된 언어 모델의 두 가지 주요 분파, 즉 BERT(및 그 변형)와 GPT(및 그 변형) 중 첫 번째 분파는 BioBERT 및 PubMedBERT와 같이 생물 의학 영역에서 광범위하게 연구되어 왔습니다. 이들은 다양한 차별적 다운스트림 생물의학 작업에서 큰 성공을 거두었지만 생성 능력이 부족하여 적용 범위가 제한적입니다. 이 논문에서는 대규모 생물의학 문헌에 대해 사전 학습된 도메인별 생성 트랜스포머 언어 모델인 BioGPT를 제안합니다. 6개의 생의학 NLP 과제에 대해 BioGPT를 평가하고 대부분의 과제에서 기존 모델보다 우수한 성능을 보임을 입증합니..

2023.03.21