BERT

AI 개념
약 1분 읽기

구글이 2018년 발표한 양방향 트랜스포머 인코더 기반 사전 학습 언어 모델로, 검색·분류 등 이해 작업에 강합니다.

다른 이름
Bidirectional Encoder Representations from Transformers

상세 설명

BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글이 발표한 사전 학습 언어 모델입니다. 트랜스포머의 인코더 부분만 사용하며, 문장을 왼쪽·오른쪽 양방향으로 동시에 읽어 단어의 문맥을 파악합니다. 일부 단어를 가리고 맞히는 Masked Language Modeling과 두 문장의 연결 관계를 학습하는 Next Sentence Prediction으로 사전 학습됩니다. 검색 질의 이해, 감정 분석, 질의응답처럼 텍스트를 분류·해석하는 작업에 강하며, RoBERTa·ALBERT·DistilBERT 등 변형 모델로 이어졌습니다. 텍스트를 새로 생성하는 GPT 계열과 달리 이해·인코딩에 특화된 점이 특징입니다.

도구 선택에서 중요한 이유

분류·검색·의미 매칭처럼 '이해'가 핵심인 작업에서는 BERT 계열 인코더 모델이 생성형 LLM보다 가볍고 빠른 경우가 많습니다. 문서 분류기, 검색 랭킹, 임베딩 생성 도구를 고를 때 어떤 계열 모델을 쓰는지 알면, 비용과 응답 속도, 그리고 작업 적합성을 더 정확히 판단할 수 있습니다.

도구를 고를 때 확인할 점

  • 분류·검색 같은 이해 작업인가, 텍스트 생성 작업인가(모델 계열 선택 기준)
  • 한국어를 포함한 다국어를 학습한 모델을 쓰는가
  • 임베딩이나 분류 결과를 그대로 활용할 수 있게 노출하는가
  • 추론 비용·속도가 생성형 LLM 대비 유리한지 비교했는가

실제 적용 예시

고객 문의를 '환불·배송·기술지원' 등으로 자동 분류하는 작업이라면, 무거운 생성형 LLM을 부르는 대신 BERT 계열 분류 모델로 충분한 경우가 많습니다. 같은 정확도를 더 낮은 비용과 빠른 응답으로 얻을 수 있어, 대량 처리에 적합합니다.

관련 용어

트랜스포머NLP사전 학습