Pachyderm

Gitのようにデータをバージョン管理し、KubernetesでML（機械学習）パイプラインを自動化するMLOpsプラットフォーム

無料＋有料WebAPIオープンソース

概要

Pachydermは、HPE（Hewlett Packard Enterprise）に買収され、現在はHPE Machine Learning Data Managementの核となるデータレイヤーとして統合されたMLOpsプラットフォームです。Gitのようにデータをコミット単位でバージョン管理する独自の分散ファイルシステム（PFS）と、Kubernetesネイティブのパイプライン自動化（PPS）を通じて、AI開発ライフサイクルの再現性とデータ系統（リネージ）の追跡を保証します。2025年1月にv2.12.2がリリースされました。

差別化ポイント

DVCが既存ストレージの上でメタデータを管理するのに対し、Pachydermはデータリポジトリ、バージョニング、DAG処理、リネージュを一体化し、入力差分から自動的に必要な処理だけを再実行する点が特徴です。

主な機能

PFS（Pachyderm File System） — Gitスタイルのデータバージョン管理
PPS（Pachyderm Pipeline System） — コンテナベースのパイプライン自動化
エンドツーエンドのデータ系統（リネージ）の自動追跡
増分処理 — 変更されたデータのみを自動検知して再処理
HPE Determined AIの統合サポート
Kubernetesネイティブのデプロイおよび拡張
MLDM Pachyderm Jupyter Extension — MLDE Determined Notebooksとの統合

メリット・デメリット

ウェブ検索で収集したユーザーの声をまとめたものです

メリット

Gitに似たデータバージョニングと自動データリネージュにより、どの入力データがどのモデル・成果物につながったかを追跡できます。変更分だけを再処理するIncremental Processingは大規模データで計算コストを抑え、Kubernetesネイティブなパイプラインで再現性の高いMLワークフローを構築できます。