[chatGPT Prompting] LLM 세팅

[chatGPT Prompting] LLM 세팅

LLM의 결과가 얼마나 랜덤할지는 설정 하이퍼 파라미터의 영향을 받는다.

설정 하이퍼 파라미터는 Temperature, Top p, frequency, presence penalties 등이 있다.

chatGPT의 경우 API를 별도로 사용하지 않는 한, 설정 하이퍼파라미터를 수정할 수 없다.

Temperature

• 답변의 랜덤성을 조절하는 설정 하이퍼 파라미터
• temperature가 높을수록 예측 불가능하고 창의적인 결과를 낸다.

Top p

• 핵 샘플링
• 확률의 한계를 설정하고 그 누적 확률을 초과하는 토큰만을 선택한다
• 선택한 토큰들을 이용해 랜덤한 답변을 생성한다.
• 예를 들어 top p = 0.9인 경우, 모델은 90%의 확률을 달성하는 가장 가능성 높은 단어들로만 답변을 생성한다.

하이퍼파라미터가 미치는 영향

• 일반적으로는 temperature과 top p를 높게 설정하길 바랄 테지만, 통역과 같이 정확도가 중요한 작업이라면 낮은 temperature과 top p를 사용하는 것이 정확도 면에서 이점이 있다.

 

---

reference

https://learnprompting.org/ko/docs/basics/configuration_hyperparameters

🟢 LLM 세팅 | Learn Prompting: Your Guide to Communicating with AI