트랜스포머

AI 개념
약 1분 읽기

셀프 어텐션을 핵심으로 입력 시퀀스를 병렬 처리하는 딥러닝 아키텍처로, 현대 대부분의 LLM의 기반입니다.

다른 이름
Transformer트랜스포머 모델

상세 설명

트랜스포머(Transformer)는 2017년 구글이 발표한 논문 "Attention Is All You Need"에서 제안된 딥러닝 아키텍처입니다. RNN·LSTM이 시퀀스를 앞에서부터 순차적으로 처리하던 것과 달리, 셀프 어텐션(Self-Attention) 메커니즘으로 입력의 모든 위치를 동시에 참조합니다. 덕분에 병렬 연산이 가능해 학습 속도가 빨라지고, 멀리 떨어진 단어 사이의 관계(장거리 의존성)도 효과적으로 포착합니다. GPT, BERT, Claude, Gemini 등 오늘날 거의 모든 대형 언어모델이 이 구조를 토대로 하며, 텍스트를 넘어 이미지·음성 영역으로도 확장되고 있습니다.

도구 선택에서 중요한 이유

오늘날 쓰는 챗봇·코딩 도우미·번역 도구 대부분이 트랜스포머 계열 모델 위에서 동작합니다. 구조 자체를 직접 다룰 일은 적지만, 모델이 한 번에 참조할 수 있는 입력 길이(컨텍스트 윈도)와 처리 비용이 이 구조의 어텐션 연산에서 비롯된다는 점을 알면, 긴 문서 처리나 비용·지연 비교가 필요한 도구를 고를 때 판단 기준이 명확해집니다.

모델 기반을 확인할 점

  • 도구가 사용하는 모델이 컨텍스트 윈도(한 번에 다룰 수 있는 토큰 수)를 얼마나 지원하는가
  • 입력 길이가 늘어날 때 응답 지연과 토큰 비용이 어떻게 증가하는가
  • 텍스트 외 이미지·음성 입력을 함께 처리하는 멀티모달 모델인가
  • 오픈 가중치 모델인지, API 전용 모델인지에 따른 활용 제약은 없는가

실제 적용 예시

수십 페이지 분량의 계약서를 한 번에 넣어 핵심 조항을 추출하려면, 모델의 컨텍스트 윈도가 그 길이를 감당해야 합니다. 트랜스포머의 어텐션은 입력이 길어질수록 연산량이 가파르게 늘기 때문에, 같은 작업도 모델·도구에 따라 처리 가능 길이와 비용이 크게 달라집니다.

관련 용어

LLMGPT어텐션BERT