온도 (Temperature)

AI 개념
약 1분 읽기

LLM이 다음 단어를 고를 때 무작위성의 정도를 조절하는 값으로, 출력의 일관성과 창의성을 좌우합니다.

다른 이름
Temperature샘플링 온도온도 파라미터

상세 설명

온도(Temperature)는 LLM이 다음 토큰을 고를 때 확률 분포를 얼마나 평평하게 만들지 정하는 값으로, 출력의 무작위성을 조절합니다. 값이 낮으면(예: 0~0.3) 가장 확률 높은 토큰에 집중해 답이 일관되고 예측 가능해지며, 사실 위주 작업에 적합합니다. 값이 높으면(예: 0.8~1.2) 덜 확률적인 토큰도 선택되어 표현이 다양하고 창의적이지만, 빗나가거나 사실과 어긋날 위험이 커집니다. 같은 프롬프트라도 온도에 따라 결과가 크게 달라지므로, 작업 성격에 맞춰 조절하는 것이 중요합니다. 흔히 top-p(누적 확률) 같은 다른 샘플링 옵션과 함께 쓰입니다.

도구 선택에서 중요한 이유

AI 도구의 결과가 들쭉날쭉하거나 너무 뻔하다면 온도 설정이 원인일 때가 많습니다. 도구가 온도를 사용자에게 노출하는지, 작업별로 프리셋을 제공하는지에 따라 결과를 의도대로 통제할 수 있는지가 갈립니다. 사실 정확성이 중요한 업무에는 낮은 온도, 아이디어 발상에는 높은 온도가 적합합니다.

도구를 고를 때 확인할 점

  • 온도나 무작위성 설정을 사용자가 조절할 수 있는가
  • 사실 위주 작업용 저온도 모드를 제공하거나 안내하는가
  • top-p 등 다른 샘플링 옵션도 함께 조절할 수 있는가
  • 같은 입력의 결과 재현(고정 시드 등)이 필요한 작업을 지원하는가

실제 적용 예시

규정 안내 챗봇은 온도를 0에 가깝게 두어 매번 같은 사실을 일관되게 답하도록 하고, 광고 카피 발상 도구는 온도를 높여 다양한 표현을 뽑습니다. 같은 모델이라도 이 값 하나로 결과 성격이 달라지므로, 용도에 맞는 설정 제공 여부가 중요합니다.

관련 용어

LLM프롬프트 엔지니어링환각