BERT

AI概念
約1分で読めます

Googleが2018年に発表した双方向トランスフォーマーエンコーダーベースの事前学習済み言語モデルであり、検索や分類などの理解タスクに強みを持っています。

別名
Bidirectional Encoder Representations from Transformers

詳しい説明

BERT（Bidirectional Encoder Representations from Transformers）は、2018年にGoogleが発表した事前学習済み言語モデルです。トランスフォーマーのエンコーダー部分のみを使用し、文章を左から右、右から左の双方向から同時に読み取ることで、単語の文脈を把握します。一部の単語を隠して予測するMasked Language Modeling（マスク化言語モデル）と、2つの文章のつながりを学習するNext Sentence Prediction（次文予測）によって事前学習されます。検索クエリの理解、感情分析、質疑応答など、テキストを分類・解釈するタスクに優れており、RoBERTa、ALBERT、DistilBERTなどの派生モデルへとつながりました。テキストを新しく生成するGPT系モデルとは異なり、理解やエンコーディングに特化している点が特徴です。

ツール選定において重要な理由

分類・検索・意味マッチングのように「理解」が核心となるタスクでは、BERT系のエンコーダーモデルが生成AI（LLM）よりも軽量で高速なケースが多くあります。文書分類器、検索ランキング、埋め込み（エンベディング）生成ツールを選択する際、どの系統のモデルを使用しているかを知ることで、コストや応答速度、そしてタスクへの適合性をより正確に判断できます。

ツールを選ぶ際に確認すべき点

  • 分類・検索などの理解タスクか、テキスト生成タスクか（モデル系統の選択基準）
  • 日本語を含む多言語を学習したモデルを使用しているか
  • 埋め込みや分類結果をそのまま活用できるように公開（出力）しているか
  • 推論コスト・速度が生成LLMと比較して有利であるかを比較したか

実際の適用例

顧客からの問い合わせを「返金・配送・技術サポート」などに自動分類するタスクであれば、重い生成LLMを呼び出す代わりに、BERT系の分類モデルで十分なケースが多くあります。同等の精度をより低いコストと高速な応答で実現できるため、大量処理に適しています。

関連用語

トランスフォーマーNLP事前学習