BioGPT: 생물의학 텍스트 생성 및 마이닝을 위한 사전 학습된 생성 트랜스포머

Framework of BioGPT when adapting to downstream tasks

 

사전 학습된 언어 모델은 일반 자연어 영역에서의 큰 성공에 힘입어 생물의학 영역에서도 점점 더 많은 관심을 받고 있습니다. 일반 언어 영역에서 사전 학습된 언어 모델의 두 가지 주요 분파, 즉 BERT(및 그 변형)와 GPT(및 그 변형) 중 첫 번째 분파는 BioBERT 및 PubMedBERT와 같이 생물 의학 영역에서 광범위하게 연구되어 왔습니다. 이들은 다양한 차별적 다운스트림 생물의학 작업에서 큰 성공을 거두었지만 생성 능력이 부족하여 적용 범위가 제한적입니다. 이 논문에서는 대규모 생물의학 문헌에 대해 사전 학습된 도메인별 생성 트랜스포머 언어 모델인 BioGPT를 제안합니다. 6개의 생의학 NLP 과제에 대해 BioGPT를 평가하고 대부분의 과제에서 기존 모델보다 우수한 성능을 보임을 입증합니다. 특히 BC5CDR, KD-DTI, DDI 종단 간 관계 추출 작업에서 각각 44.98%, 38.42%, 40.76%의 F1 점수를 얻었으며 PubMedQA에서는 78.2%의 정확도를 기록하여 새로운 기록을 세웠습니다. 더 큰 모델인 BioGPT-Large는 PubMedQA에서 81.0%를 달성했습니다. 텍스트 생성에 대한 사례 연구는 생물 의학 용어에 대한 유창한 설명을 생성하기 위해 생물 의학 문헌에서 BioGPT의 이점을 더욱 잘 보여줍니다.

https://arxiv.org/abs/2210.10341

 

- 대규모 생물의학 문헌에 대해 사전 학습

- 생물 의학 용어에 대한 유창한 설명 생성

 

 

 

 

코드: https://github.com/microsoft/BioGPT

GitHub - microsoft/BioGPT