[프롬프트 엔지니어링] LLM 스스로 결과를 비평하고 수정하게 만들기

LLM은 프롬프트를 어떻게 주는가에 따라 답이 달라진다. 그래서, 일반적으로 프롬프트를 상세하고 친절하게 주는 것이 원하는 결과를 생성하는데 좋다. 그러나 생성한 결과를 스스로 평가해보라고 하는 것만으로도 보다 좋은 결과를 만들어 내는 현상을 발견했다. 다만, GPT-4에서는 동작하지만, GPT-3.5 또는 Claude에서는 발현되지 않았다.

 

GPT-3.5, GPT-4 및 Claude에게 다음과 같은 프롬프트를 제공했습니다:

 

예) Me: 운율이 맞지 않는 시를 쓸 수 있나요? 과제에 대해 신중하게 생각하세요.

Me: 시가 과제를 충족했나요?

이 시는 지시된 과제를 위반하여 분명히 운율이 맞지 않습니다. 이제 GPT-4에게 과제를 충족했는지 물어보면 사과하고 운율이 맞지 않는 더 나은 시를 생성합니다! 여전히 몇 가지 실수가 있지만 3연과 4연에는 운율이 있습니다.

 

본 글은 다음 링크의 내용의 일부를 번역 & 요약한 글입니다.

https://evjang.com/2023/03/26/self-reflection.html