BERT

AI 개념
약 1분 읽기

구글이 개발한 양방향 트랜스포머 기반의 사전 학습 언어 모델입니다.

다른 이름
Bidirectional Encoder Representations from Transformers

상세 설명

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글이 발표한 사전 학습 언어 모델입니다. 트랜스포머의 인코더 부분만을 사용하며, 양방향으로 텍스트를 읽어 문맥을 이해합니다. Masked Language Modeling과 Next Sentence Prediction 두 가지 방법으로 사전 학습됩니다. 검색 엔진 최적화, 감정 분석, 질문 답변 시스템 등에서 뛰어난 성능을 보이며, 이후 RoBERTa, ALBERT, DistilBERT 등 다양한 변형 모델이 개발되었습니다.

관련 용어

트랜스포머NLP사전 학습