GPT-3 파라미터 개수가 175B (천칠백오십억) 이라고 알려져 있습니다. 그러나 최근 공개된 GPT-4 파라미터 개수는 공식적으로 공개되지 않았습니다. 그럼에도, 1T (백조개) 라는 루머가 돌았습니다. GPT를 만든 오픈 API 샘 알트먼도 이 개수가 어디서 유래한 것인지 궁금했는데요. 뜻 밖에도, 렉스 프리드먼과의 인터뷰에서 밝혀졌습니다. 루머의 진원지는 렉스 프리드먼이었습니다.

LLM은 프롬프트를 어떻게 주는가에 따라 답이 달라진다. 그래서, 일반적으로 프롬프트를 상세하고 친절하게 주는 것이 원하는 결과를 생성하는데 좋다. 그러나 생성한 결과를 스스로 평가해보라고 하는 것만으로도 보다 좋은 결과를 만들어 내는 현상을 발견했다. 다만, GPT-4에서는 동작하지만, GPT-3.5 또는 Claude에서는 발현되지 않았다. GPT-3.5, GPT-4 및 Claude에게 다음과 같은 프롬프트를 제공했습니다: 예) Me: 운율이 맞지 않는 시를 쓸 수 있나요? 과제에 대해 신중하게 생각하세요. Me: 시가 과제를 충족했나요? 이 시는 지시된 과제를 위반하여 분명히 운율이 맞지 않습니다. 이제 GPT-4에게 과제를 충족했는지 물어보면 사과하고 운율이 맞지 않는 더 나은 시를 생성합니다! 여..

이 튜토리얼에서는 웹사이트(이 예에서는 OpenAI 웹사이트)를 크롤링하고, 임베딩 API를 사용하여 크롤링된 페이지를 임베딩으로 전환한 다음, 사용자가 임베딩된 정보에 대해 질문할 수 있는 기본 검색 기능을 만드는 간단한 예제를 안내합니다. 이는 사용자 지정 지식창고를 활용하는 보다 정교한 애플리케이션을 위한 출발점이 될 수 있습니다. 시작하기 이 튜토리얼을 진행하려면 Python과 GitHub에 대한 기본 지식이 필요합니다. 시작하기 전에 OpenAI API 키를 설정하고 빠른 시작 튜토리얼을 살펴보세요. 이렇게 하면 API를 최대한 활용하는 방법에 대해 직관적으로 이해할 수 있습니다. Python은 OpenAI, Pandas, transformers, NumPy 및 기타 인기 패키지와 함께 기본 프..

ChatGPT 플러그인 (March 23, 2023) 저희는 ChatGPT에서 플러그인에 대한 초기 지원을 구현했습니다. 플러그인은 안전을 핵심 원칙으로 하는 언어 모델용으로 특별히 설계된 도구로, ChatGPT가 최신 정보에 액세스하고 계산을 실행하거나 타사 서비스를 사용할 수 있도록 도와줍니다. 반복적인 배포 철학에 따라, 저희는 실제 사용, 영향, 안전 및 조정 문제 등을 연구할 수 있도록 ChatGPT에 플러그인을 점진적으로 배포하고 있으며, 이 모든 것이 저희의 사명을 달성하기 위해 반드시 해결해야 할 과제입니다. 플러그인을 통해 다양한 사용 사례를 만들 수 있기 때문에, ChatGPT 출시 이후 사용자들의 플러그인 요청이 끊이지 않았고, 많은 개발자들이 비슷한 아이디어를 실험하고 있습니다. 저..

프롬프트 ### 아래 내용을 markdown 코드로 만들어줘 내용은 한국어로 번역해줘 star 개수로 정렬하고, 정렬은 높은것에서 낮은 순으로 해줘 예) |name|star|link|note] |tsai|3.2k|https://github.com/timeseriesAI/tsai|summary of contents in a link in 100 words| |tsfresh|7.2k|https://github.com/blue-yonder/tsfresh|summary of contents in a link in 100 words| ... ### tsai 3.2k https://github.com/timeseriesAI/tsai tsfresh 7.2k https://github.com/blue-yonder/ts..

대규모 언어 모델에 대한 최근의 많은 연구에서 문맥 내 제로 및 소수 샷 학습 능력이 성공적으로 보고되었습니다. 그러나 문맥 내 학습이 언제 발생하는지에 대한 심층적인 분석은 아직 부족합니다. 예를 들어, 훈련 코퍼스가 달라질 때 인컨텍스트 학습 성능이 어떻게 변하는지는 알려지지 않았습니다. 여기서는 한국어 중심의 GPT-3 모델인 HyperCLOVA에서 사전 학습 말뭉치의 출처와 크기가 문맥 내 학습에 미치는 영향을 조사합니다. 심층 조사를 통해 다음과 같은 관찰 결과를 소개합니다: (1) 문맥 내 학습 성능은 코퍼스 도메인 소스에 크게 좌우되며, 사전 학습 코퍼스의 크기가 반드시 문맥 내 학습의 출현을 결정하는 것은 아니다, (2) 언어 모델이 여러 코퍼스를 조합하여 학습할 때, 각 코퍼스 자체로는 ..