事前学習

AI概念
約1分で読めます

大規模なデータを用いてモデルに言語や知識の基礎能力をあらかじめ学習させる、ファインチューニングに先立つ最初の段階です。

別名
Pre-training事前学習

詳しい説明

事前学習（Pre-training）とは、大規模な教師なしデータ（インターネット上のテキストなど）を用いて、モデルに言語の構造、事実に関する知識、基礎的な推論能力をあらかじめ習得させるプロセスです。この段階でモデルは、特定のタスクに依存しない汎用的な理解・生成能力を獲得し、その後ファインチューニングによって特定の用途に適応するように調整されます。数十億のパラメータ、膨大なデータ、数千のGPUを使用し、数週間から数ヶ月を要するコストのかかるプロセスであるため、ほとんどのサービスはすでに事前学習された基盤モデル（ファンデーションモデル）を取り入れて活用しています。AIツールの特性は、どの基盤モデルを事前学習の土台に採用しているかに大きく左右されます。

ツール選定において重要な理由

AIツールの基本的な傾向や知識の範囲は、その土台となる事前学習モデルから生じます。どの基盤モデルを使用しているか、そのモデルの学習データの基準時点（ナレッジカットオフ）がいつであるかを知ることで、最新情報の反映度や特定言語の品質を予測できます。自ら事前学習を行うことは稀ですが、基盤モデルの選択は事実上、事前学習結果を選択することと同じです。

ツールを選ぶ際に確認すべき点

  • どの基盤モデル（ファンデーションモデル）をベースにしているか
  • モデルのナレッジカットオフ（知識の切り捨て）時点が、用途に対して十分に最新か
  • 韓国語など必要な言語が事前学習に十分に組み込まれているか
  • 最新の情報が必要な場合、検索拡張生成（RAG）で補完しているか

実際の適用例

同じインターフェースのチャットボットであっても、土台となる基盤モデルによって韓国語の表現の自然さや、最新の出来事に対する認識が異なります。昨年までしか学習していないモデルは今年発表された製品を知らない場合があるため、最新性が重要な業務には、検索を組み合わせたツールを選択する方が安全です。

関連用語

ファインチューニングLLM転移学習パラメータ