パイプライン
用語名をコピー
データ約1分で読めます
データの収集、加工、モデル学習、デプロイに至る一連の処理プロセスを自動化されたフローとして連結したシステムです。データの整合性の維持や、再現可能な実験環境の構築を通じて運用の効率性を高めます。
別名
PipelineML Pipelineデータパイプライン
詳しい説明
パイプラインは、ローデータが価値のある情報や予測モデルに変換されるまでの全プロセスを自動化されたワークフローで連結したものです。データエンジニアリングにおけるETLパイプラインはデータの移動や変換に特化しており、MLパイプラインは学習、検証、デプロイ、および自動再学習（CT）を含む循環構造を持ちます。最近では、生成AIのためのRAGパイプラインへと拡張され、非構造化データのチャンキング（Chunking）やベクトル化プロセスが重要な要素として注目されています。適切に設計されたパイプラインは、手動の作業を最小限に抑えることで実験の再現性を保証し、運用中に発生する障害に対するオブザーバビリティ（可観測性）を提供します。
ツール選定において重要な理由
AIツールを選定する際、パイプラインのオブザーバビリティ（可観測性）やモジュール化のレベルを必ず確認する必要があります。単なる自動化を超えて、データソースの変更時にモデルの性能変化を追跡できるか、特定のステップでエラーが発生した際に部分的な再実行が可能であるかが、運用コストを左右します。特にLLMの時代においては、非構造化データをリアルタイムで処理する能力や、ベクトルデータベースとの有機的な統合ができているかが核心的な選定基準となります。
確認すべきポイント
- 再現性：同一のコードとデータを使用して、いつでも同じ結果のモデルを生成できるか？
- 可観測性：ステップごとのログや指標（メトリクス）を通じて、ボトルネックやエラーを即座に把握できるか？
- 拡張性：データ量やワークロードの増加に伴い、コンピューティングリソースを柔軟に拡張できるか？
- データ契約：データスキーマの変更がパイプラインの下流（後続ステップ）に及ぼす影響を制御できるか？
例
RAG（検索拡張生成）パイプライン：PDF文書の収集 → テキストの抽出およびクレンジング → 埋め込み（Embedding）モデルによるベクトル化 → ベクトルデータベースへの保存 → ユーザーの質問に基づく類似文書の検索 → LLMによる回答生成、というプロセスを経る自動化されたフローです。
混同しやすい用語
ワークフロー (Workflow)
ビジネスプロセス全般をカバーする上位概念であり、人間の承認プロセスや非ITのタスクを含めることができます。
ETL
パイプラインの一種であり、データの抽出（Extract）、変換（Transform）、書き込み（Load）を行うデータエンジニアリングプロセスに特化しています。