Lilac

アイドル状態のGPUリソースを接続し、スタートアップや研究者に安価なコンピューティングパワーを提供するGPU共有プラットフォーム

無料WebLinuxDockerオープンソース

概要

Lilacは、LLMのトレーニング・ファインチューニング・モニタリング用データセットの探索、キュレーション、品質管理のためのオープンソースツールです。Cohere、Databricksなどの主要なAI企業が、事前トレーニングやファインチューニングのデータ品質向上のために活用しました。Databricksに買収され、現在はDatabricks Mosaic AIツールの一部として統合されています。Lilac Gardenクラウドサービスを通じて、GPU加速クラスタリング、埋め込み（インベディング）、PII（個人情報）検出などの高コスト演算を高速に処理できます。

差別化ポイント

Lilacは、AWS、GCP、Azureなどの主要クラウドが提供するスポットインスタンスと比べ、複数のクラウドプロバイダーや企業のアイドルGPUを統合型マーケットプレイスとして提供するアプローチで差別化されています。Vast.aiやLambda Labsと同様に低価格のGPUレンタルを提供しますが、LilacはKubernetesネイティブ統合を中核に据え、既存のK8sワークフローをそのまま利用できる点を強調しています。ただし、比較的新しいプラットフォームであるため、安定性やGPUの可用性については、さらなる検証が必要との意見もあります。

主な機能

データセットの視覚化およびセマンティッククラスタリング検索
PIIおよび有害コンテンツの自動検出と削除
LLMトレーニングデータのキュレーションおよび重複排除
Lilac GardenクラウドのGPU加速演算
オープンソースデータエクスプローラー（ローカルまたはクラウド）

メリット・デメリット

ウェブ検索で収集したユーザーの声をまとめたものです

メリット

主要クラウドと比べてGPU料金が最大70%安いというユーザー評価があり、特にH100やA100などの高性能GPUを必要とするAIスタートアップでは、大幅なコスト削減効果が期待できます。Kubernetesに適した設計で、既存のkubectlコマンドやHelmチャートをそのまま利用できるため、学習コストが低い点もメリットとして挙げられます。複雑な設定を行わずに、マルチクラウド環境のアイドルGPUを単一のインターフェースから検索して割り当てられる利便性も提供します。

デメリット

アイドルリソースを基盤としているため、特定のGPUモデルの可用性は保証されず、緊急性の高いタスクにはリスクが伴う可能性があります。比較的新しいプラットフォームであることから、AWSやGCPなどの大手クラウドと比べて、ドキュメントやコミュニティサポートが不足している可能性も懸念されます。スポットインスタンスの性質上、プリエンプションによってタスクが中断される可能性を考慮する必要があり、日本語サポートや国内の決済手段に関する情報については、追加確認が必要です。