어텐션

어텐션(Attention) 메커니즘은 딥러닝에서 입력 시퀀스의 각 요소가 다른 요소들과의 관계를 계산하여, 현재 작업에 가장 관련 있는 부분에 더 많은 "주의"를 기울이도록 하는 기법입니다. 특히 셀프 어텐션(Self-Attention)은 트랜스포머 아키텍처의 핵심으로, 문장 내 단어들 간의 관계를 파악하는 데 사용됩니다. 이를 통해 문맥을 더 정확하게 이해하고, 긴 텍스트에서도 멀리 떨어진 단어들의 관계를 잘 포착할 수 있습니다.