트랜스포머
용어 이름 복사
AI 개념약 1분 읽기
자연어 처리의 혁명을 이끈 딥러닝 아키텍처로, 셀프 어텐션 메커니즘을 핵심으로 합니다.
다른 이름
Transformer트랜스포머 모델
상세 설명
트랜스포머(Transformer)는 2017년 구글이 "Attention Is All You Need" 논문에서 발표한 딥러닝 아키텍처입니다. 기존의 RNN, LSTM과 달리 셀프 어텐션(Self-Attention) 메커니즘을 사용하여 입력 시퀀스의 모든 위치를 동시에 처리할 수 있습니다.
이로 인해 병렬 처리가 가능해져 학습 속도가 크게 향상되었고, 긴 텍스트의 문맥도 효과적으로 파악할 수 있게 되었습니다. GPT, BERT, Claude 등 현대 대부분의 LLM은 트랜스포머 아키텍처를 기반으로 합니다.
관련 용어
LLM
대규모 텍스트 데이터를 학습하여 인간의 언어를 이해, 생성, 추론하는 인공 신경망 모델입니다. 트랜스포머 아키텍처를 기반으로 수조 개의 파라미터를 활용해 문맥을 파악하며, 텍스트 생성을 넘어 코딩, 데이터 분석, 복...
GPTOpenAI가 개발한 생성형 사전 학습 트랜스포머 모델 시리즈로, 대규모 데이터를 바탕으로 텍스트, 이미지, 음성을 생성 및 이해하는 최첨단 멀티모달 언어 모델(LLM)의 표준입니다.
어텐션입력 데이터에서 중요한 부분에 가중치를 부여하여 집중하는 딥러닝 메커니즘입니다.
BERT구글이 개발한 양방향 트랜스포머 기반의 사전 학습 언어 모델입니다.