어텐션

AI 개념
약 1분 읽기

입력 시퀀스의 모든 요소 중 현재 작업에 가장 중요한 정보에 높은 가중치를 부여하는 메커니즘입니다. 고정된 벡터 크기의 한계를 극복하고 가변적인 문맥을 정밀하게 추출하여 AI의 이해력을 높입니다.

다른 이름
Attention어텐션 메커니즘Self-Attention셀프 어텐션

상세 설명

어텐션은 데이터의 특정 부분에 '주의'를 집중하여 정보를 처리하는 딥러닝 기법입니다. '쿼리(Query)'와 '키(Key)' 사이의 유사도를 계산하여 '값(Value)'에 부여할 가중치를 결정하며, 이를 통해 모델은 시퀀스 내의 멀리 떨어진 요소들 간의 상관관계를 정확히 포착할 수 있습니다. 기존 RNN의 병목 현상과 장기 의존성 문제를 해결했으며, 문장 전체를 한 번에 처리하는 '셀프 어텐션(Self-Attention)'으로 발전하여 트랜스포머(Transformer) 및 현대 거대언어모델(LLM)의 핵심 아키텍처가 되었습니다.

도구 선택에서 중요한 이유

어텐션 메커니즘의 효율성은 AI 도구의 '컨텍스트 창(Context Window)' 크기와 처리 속도를 결정합니다. 최신 AI 도구들은 FlashAttention이나 Sparse Attention 같은 기술을 도입하여, 방대한 분량의 문서를 분석할 때도 정확도를 유지하면서 연산 비용을 획기적으로 줄이고 있습니다.

확인할 점

  • 긴 문맥 처리 시 정보 손실이나 왜곡(Hallucination)이 발생하지 않는가?
  • FlashAttention 등 최신 가속 기술을 지원하여 응답 속도가 최적화되었는가?
  • 입력 데이터의 특정 부분에 가중치가 어떻게 부여되는지 시각화하거나 설명할 수 있는가?

예시

영문장 'The animal didn't cross the street because it was too tired'에서 어텐션 메커니즘은 'it'이 가리키는 대상이 'street'가 아닌 'animal'임을 문맥적 가중치 계산을 통해 정확히 찾아냅니다.

헷갈리기 쉬운 용어

RNN (순환 신경망)

데이터를 순차적으로 입력받아 앞쪽 정보를 잊기 쉽지만, 어텐션은 전체 데이터를 한꺼번에 병렬로 참조합니다.

셀프 어텐션

어텐션의 한 종류로, 입력된 문장 내부의 단어들끼리 서로의 관계를 계산하는 특수한 방식입니다.

관련 용어

트랜스포머self-attention컨텍스트 윈도우multi-head-attention