[OpenAI] ChatGPT 및 Whisper API 소개

이제 개발자는 API를 통해 ChatGPT 및 Whisper 모델을 앱과 제품에 통합할 수 있습니다.

 

이 글은 오픈AI 블로그 기사를 번역하고 요약한것입니다.

https://openai.com/blog/introducing-chatgpt-and-whisper-apis

Introducing ChatGPT and Whisper APIs

 

OpenAI는 최첨단 언어(ChatGPT) 및 음성-텍스트 변환(Whisper) 기능의 API 제공

이제 API에서 ChatGPT 및 Whisper 모델을 사용할 수 있게 되어 개발자는 채팅뿐만 아니라 최첨단 언어 및 음성-텍스트 변환 기능에 액세스할 수 있습니다. 일련의 시스템 전반의 최적화를 통해 12월부터 ChatGPT의 비용을 90% 절감할 수 있었으며, 이제 그 절감된 비용을 API 사용자에게 전달할 수 있게 되었습니다. 이제 개발자들은 훨씬 빠르고 비용 효율적인 결과를 얻을 수 있는 오픈소스 Whisper 대형-v2 모델을 API에서 사용할 수 있습니다. ChatGPT API 사용자는 지속적인 모델 개선과 함께 전용 용량을 선택하여 모델을 더욱 세밀하게 제어할 수 있는 옵션을 기대할 수 있습니다. 또한 개발자들의 피드백에 귀를 기울여 개발자들의 요구를 더 잘 충족할 수 있도록 API 서비스 약관을 개선했습니다.

 

ChatGPT 및 Whisper API의 초기 사용자

 

스냅챗

스냅챗을 만든 스냅(Snap Inc.)은 이번 주에 스냅챗+용 마이 AI를 출시했습니다. 이 실험적인 기능은 ChatGPT API에서 실행되고 있습니다. My AI는 스냅챗 사용자들에게 친근하고 맞춤 설정이 가능한 챗봇을 제공하여 추천을 제공하고, 친구를 위한 하이쿠*를 몇 초 만에 작성할 수도 있습니다. 커뮤니케이션과 메시징이 일상적인 행동인 Snapchat의 월간 스냅채터 수는 7억 5천만 명에 달합니다.

*하이쿠: 하이쿠는 원래 일본에서 유래한 짧은 형식의 시입니다. 일본의 전통적인 하이쿠는 5, 7, 5 패턴의 17음절로 구성된 세 구와 '자르는 단어'라고 불리는 키레지, 그리고 계절을 나타내는 기고로 구성됩니다. 위키백과

 

퀴즐렛

Quizlet은 글로벌 학습 플랫폼으로, 6천만 명 이상의 학생들이 학습, 연습, 숙달을 위해 이 플랫폼을 사용하고 있습니다. Quizlet은 지난 3년 동안 OpenAI와 협력하여 어휘 학습 및 모의고사 등 다양한 사용 사례에서 GPT-3를 활용하고 있습니다. ChatGPT API의 출시와 함께 Quizlet은 재미있는 채팅 경험을 통해 제공되는 관련 학습 자료를 기반으로 한 적응형 질문으로 학생들의 참여를 유도하는 완전 적응형 AI 튜터인 Q-Chat을 선보입니다.

 

인스타카트

Instacart는 고객이 음식에 대해 질문하고 영감을 주는 쇼핑 가능한 답변을 얻을 수 있도록 Instacart 앱을 보강하고 있습니다. 이 기능은 ChatGPT와 함께 Instacart의 자체 AI 및 75,000개 이상의 소매 파트너 매장의 제품 데이터를 활용하여 고객이 "어떻게 하면 맛있는 생선 타코를 만들 수 있나요?" 또는 "아이들을 위한 건강한 점심은 무엇인가요?"와 같은 개방형 쇼핑 목표에 대한 아이디어를 발견할 수 있도록 지원합니다. 인스타카트는 올해 말 '인스타카트에게 물어보세요'를 출시할 계획입니다.

 

쇼피파이

Shopify의 소비자 앱인 Shop은 1억 명의 쇼핑객이 좋아하는 제품 및 브랜드를 찾고 참여하는 데 사용됩니다. ChatGPT API는 Shop의 새로운 쇼핑 도우미를 구동하는 데 사용됩니다. 쇼핑 도우미는 고객이 제품을 검색하면 고객의 요청에 따라 개인화된 추천을 제공합니다. Shop의 새로운 AI 기반 쇼핑 어시스턴트는 수백만 개의 제품을 스캔하여 구매자가 원하는 제품을 빠르게 찾거나 새로운 제품을 발견할 수 있도록 지원함으로써 인앱 쇼핑을 간소화합니다.

 

스피크 (아직 출시 안됨, 대기자 명단에 등록 가능)

스피킹은 유창한 영어를 구사할 수 있는 최상의 경로를 구축하는 데 중점을 둔 AI 기반 언어 학습 앱입니다. 한국에서 가장 빠르게 성장하는 영어 앱으로, 이미 Whisper API를 사용하여 새로운 AI 말하기 동반자 제품을 개발하여 전 세계에 빠르게 출시하고 있습니다. 모든 레벨의 언어 학습자에게 인간 수준의 정확도를 제공하는 위스퍼는 진정한 개방형 대화 연습과 매우 정확한 피드백을 제공합니다.

 

ChatGPT API
모델: 오늘 출시하는 ChatGPT 모델 제품군인 gpt-3.5-turbo는 ChatGPT 제품에 사용되는 것과 동일한 모델입니다. 가격은 1,000 토큰당 0.002달러로 기존 GPT-3.5 모델보다 10배 저렴합니다. 또한 채팅이 아닌 다양한 사용 사례에 가장 적합한 모델로, 초기 테스터들이 프롬프트에 약간의 조정만으로 텍스트 다빈치-003에서 gpt-3.5-터보로 마이그레이션하는 것을 보았습니다.

- gpt-3.5-turbo (기존 모델보다 10배 저렴, 1000토큰당 0.002달러)

API: 전통적으로 GPT 모델은 모델에 "토큰" 시퀀스로 표시되는 비정형 텍스트를 사용했습니다. ChatGPT 모델은 대신 메타데이터와 함께 메시지 시퀀스를 사용합니다. (궁금하신 분들을 위해 설명하자면, 내부적으로 입력은 여전히 모델이 사용할 수 있도록 '토큰' 시퀀스로 모델에 렌더링되며, 모델에서 사용하는 원시 형식은 채팅 마크업 언어("ChatML")라는 새로운 형식입니다).

- GPT: 토큰 시퀀스 사용

- ChatGPT: 메타데이터 + 메시지 시퀀스 사용 (ChatML) // 내부적으로는 여전히 토큰 시퀀스로 변형되서 사용

ChatGPT 모델과 상호 작용할 수 있는 새로운 엔드포인트를 만들었습니다:

# request
curl https://api.openai.com/v1/chat/completions \
 -H "Authorization: Bearer $OPENAI_API_KEY" \
 -H "Content-Type: application/json" \
 -d '{
 "model": "gpt-3.5-turbo",
 "messages": [{"role": "user", "content": "What is the OpenAI mission?"}] 
 }'
 
 
 # response
 {
  "id": "chatcmpl-6p5FEv1JHictSSnDZsGU4KvbuBsbu",
  "object": "messages",
  "created": 1677693600,
  "model": "gpt-3.5-turbo",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "OpenAI's mission is to ensure that artificial general intelligence benefits all of humanity."
      }
    }
  ],
  "usage": {
    "prompt_tokens": 20,
    "completion_tokens": 18,
    "total_tokens": 38
  }
}

# 파이썬 바인딩

import openai

completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo", 
  messages=[{"role": "user", "content": "Tell the world about the ChatGPT API in the style of a pirate."}]
)

print(completion)

 

ChatGPT 업그레이드
저희는 지속적으로 ChatGPT 모델을 개선하고 있으며, 이러한 개선 사항을 개발자에게도 제공하고자 합니다. gpt-3.5-turbo 모델을 사용하는 개발자는 항상 권장되는 안정적인 모델을 사용할 수 있으며, 특정 모델 버전을 유연하게 선택할 수 있습니다. 예를 들어, 오늘은 최소 6월 1일까지 지원되는 gpt-3.5-turbo-0301을 릴리스하며, 4월에 gpt-3.5-turbo를 새로운 안정 릴리스로 업데이트할 예정입니다. 모델 페이지에서 전환 업데이트가 제공됩니다.

 

전용 인스턴스
이제 특정 모델 버전과 시스템 성능을 보다 세밀하게 제어하고자 하는 사용자를 위해 전용 인스턴스도 제공합니다. 기본적으로 요청은 다른 사용자와 공유되는 컴퓨팅 인프라에서 실행되며, 요청당 비용을 지불합니다. Atlassian의 API는 Azure에서 실행되며, 전용 인스턴스를 사용하면 개발자는 요청을 처리하기 위해 예약된 컴퓨팅 인프라 할당에 대해 기간 단위로 비용을 지불하게 됩니다.

개발자는 인스턴스의 부하(부하가 높을수록 처리량은 향상되지만 각 요청은 느려짐), 더 긴 컨텍스트 제한과 같은 기능을 활성화하는 옵션, 모델 스냅샷을 고정하는 기능을 완전히 제어할 수 있습니다.

전용 인스턴스는 하루에 최대 4억 5,000만 토큰 이상을 실행하는 개발자에게 경제적으로 유용할 수 있습니다. 또한 하드웨어 성능에 따라 개발자의 워크로드를 직접 최적화할 수 있어 공유 인프라에 비해 비용을 크게 절감할 수 있습니다. 전용 인스턴스 관련 문의는 문의해 주세요.

- 전용 인스턴스 제공, 워크로드 최적화 가능, 비용절감

- 하루 최대 4억 5천만 토큰 이상 실행하는 경우 경제적으로 유용

 

 

Whisper API
2022년 9월에 오픈소스화한 음성-텍스트 변환 모델인 Whisper는 개발자 커뮤니티로부터 엄청난 찬사를 받았지만, 실행하기 어려운 모델이기도 합니다. 이제 분당 0.006달러의 편리한 온디맨드 액세스를 제공하는 대형-v2 모델을 API를 통해 사용할 수 있게 되었습니다. 또한 고도로 최적화된 서비스 스택을 통해 다른 서비스에 비해 빠른 성능을 보장합니다.

Whisper API는 트랜스크립션(원어로 트랜스크립션) 또는 번역(영어로 트랜스크립션) 엔드포인트를 통해 이용할 수 있으며, 다양한 형식(m4a, mp3, mp4, mpeg, mpga, wav, webm)을 허용합니다:

 

# request
curl https://api.openai.com/v1/audio/transcriptions \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: multipart/form-data" \
  -F model="whisper-1" \
  -F file="@/path/to/file/openai.mp3"

# response
{
  "text": "Imagine the wildest idea that you've ever had, and you're curious about how it might scale to something that's a 100, a 1,000 times bigger..."
}


# 파이썬 바인딩
import openai

file = open("/path/to/file/openai.mp3", "rb")
transcription = openai.Audio.transcribe("whisper-1", file)

print(transcription)

 

개발자 중심
지난 6개월 동안 트위터는 더 나은 서비스를 제공할 수 있는 방법을 파악하기 위해 API 고객으로부터 피드백을 수집해 왔습니다. 다음과 같은 구체적인 변경 사항을 적용했습니다:

- API를 통해 제출된 데이터는 조직이 동의하지 않는 한 더 이상 서비스 개선(모델 트레이닝 포함)에 사용되지 않습니다.
- API 사용자를 위한 기본 30일 데이터 보존 정책을 시행하며, 사용자의 필요에 따라 더 엄격한 보존 옵션을 선택할 수 있습니다.
- 출시 전 검토 제거(자동화된 모니터링을 개선하여 잠금 해제)
- 개발자 문서 개선
- 데이터 소유권 관련 약관을 포함한 서비스 약관 및 사용 정책 간소화: 사용자가 모델의 입력 및 출력에 대한 소유권을 갖습니다.

지난 두 달 동안 가동 시간은 저희 자신이나 사용자의 기대치를 충족하지 못했습니다. 저희 엔지니어링 팀의 최우선 과제는 이제 프로덕션 사용 사례의 안정성이며, AI가 모든 인류에게 혜택을 주기 위해서는 신뢰할 수 있는 서비스 제공자가 되어야 한다는 것을 잘 알고 있습니다. 앞으로 몇 달 동안 가동 시간 개선을 위해 노력할 테니 지켜봐 주세요!

저희는 AI가 모든 사람에게 놀라운 기회와 경제적 역량을 제공할 수 있다고 믿으며, 이를 달성하기 위한 가장 좋은 방법은 모든 사람이 AI를 활용해 구축할 수 있도록 하는 것입니다. 오늘 발표한 변경 사항이 모든 사람이 혜택을 누릴 수 있는 다양한 애플리케이션으로 이어지기를 바랍니다. ChatGPT와 Whisper로 차세대 앱 개발을 시작하세요.

 

- API로 요청한 데이터는 모델 트레이닝에 사용되지 않음 (기존에는 데이터 프라이버시 문제가 있었습니다.)

- 사용자가 모델의 입력/출력 데이터에 대한 소유권을 갖습니다.