컨텍스트 윈도우

AI 개념
약 1분 읽기

AI 모델이 한 번의 요청(프롬프트)에서 동시에 처리하고 기억할 수 있는 데이터(토큰)의 최대 범위입니다. 모델의 '단기 기억력'이자 작업 공간의 크기를 의미합니다.

다른 이름
Context Window컨텍스트 길이Context Length

상세 설명

컨텍스트 윈도우는 대규모 언어 모델(LLM)이 정보를 이해하고 답변을 생성할 때 한꺼번에 고려할 수 있는 토큰의 총합입니다. 이 범위 내에 있는 텍스트, 코드, 이미지 정보만 모델이 '기억'하고 논리적으로 연결할 수 있습니다. 윈도우 크기를 초과하는 데이터가 입력되면 이전 정보가 유실되어 대화의 일관성이 깨지거나 오류가 발생합니다. 최근 Gemini 1.5 Pro(200만 토큰), Claude 3.5(20만 토큰) 등 기술 발전으로 수백 페이지의 문서나 전체 소스 코드를 한 번에 분석할 수 있게 되었습니다. 다만, 단순히 용량이 큰 것보다 방대한 데이터 속에서 특정 정보를 정확히 찾는 '회상 능력(Retrieval Accuracy)'이 실질적인 성능을 좌우합니다.

도구 선택에서 중요한 이유

컨텍스트 윈도우는 AI가 수행 가능한 '업무의 깊이'를 결정합니다. 윈도우가 작으면 수십 통의 이메일을 분석하거나 긴 보고서를 요약할 때 앞부분을 잊어버리는 '금붕어 효과'가 발생합니다. 반면, 윈도우가 크면 수만 줄의 코드 베이스를 통째로 이해하거나 수 시간 분량의 녹취록을 분석하는 고차원적인 작업이 가능해집니다.

확인할 점

  • Needle in a Haystack 성능: 거대한 데이터 속 특정 정보를 얼마나 잘 찾아내는가?
  • 비용 효율성: 컨텍스트가 길어질수록 입력 비용이 급증하므로 '컨텍스트 캐싱' 기능이 있는지 확인
  • 지연 시간(Latency): 윈도우를 가득 채울 경우 답변 생성 속도가 느려질 수 있음

실제 활용 예시

법률 전문가가 200페이지 분량의 계약서 5권을 한꺼번에 업로드하고 '모든 계약서에서 공통적으로 발견되는 독소 조항'을 찾도록 지시하는 경우, 최소 20만 토큰 이상의 컨텍스트 윈도우를 가진 모델이 필요합니다.

헷갈리기 쉬운 용어

토큰 (Token)

컨텍스트 윈도우의 크기를 재는 단위입니다. (단어의 조각)

RAG (검색 증강 생성)

컨텍스트 윈도우의 한계를 극복하기 위해, 수만 개의 문서 중 필요한 부분만 골라 AI에게 전달하는 보완 기술입니다.

관련 용어

토큰RAG환각프롬프트 엔지니어링