ハルシネーション検知 (Hallucination Detection)
用語名をコピー
技術用語約1分で読めます
大規模言語モデル（LLM）が生成した回答が、提供された根拠文書に基づいているか、または客観的事実と矛盾していないかをチェックし、虚偽情報の可能性を識別する技術です。
別名
Hallucination EvaluationGroundedness Check根拠に基づく検証
詳しい説明
ハルシネーション検知は、LLMが論理的に尤もらしいものの事実とは異なる情報を生成する問題を識別し、軽減するための検証手法です。主にRAG（検索拡張生成）環境において、検索されたコンテキストと生成された回答との間の一貫性を検証する忠実度（Faithfulness）測定、外部知識ベースとの事実関係の対照、LLM-as-a-JudgeまたはNLI（自然言語推論）ベース of 分類などを組み合わせて実行されます。最近では、Amazon Bedrock、Azure AI Content Safety、OpenAI Guardrails、NVIDIA NeMo Guardrailsのように、根拠性や出力の検証機能を製品化した事例が増えています。法律、医療、金融のように回答の正確性が極めて重要なドメインでは、ユーザーに回答を表示する前に、根拠不足や事実不一致を検知して警告を表示し、運用リスクを低減するチェックプロセスとして活用されています。
ツール選択において重要な理由
LLMの非決定的（確率的）な特性により、実際のサービス提供時に誤った回答が生成される可能性があります。企業向けソリューションを選択する際は、リアルタイムの検知プロセスが備わっているか、根拠文書と回答の一致度をどのように算出するか、また検知精度と応答の遅延時間（レイテンシ）とのバランスが業務要件に適合しているかを確認する必要があります。
確認すべき点
- 提供された根拠（Context）と回答との一致度を数値化して示しているか確認します。
- 回答生成後（Post-processing）にリアルタイムでフィルタリングや再作成ができるガードレール機能をサポートしているか確認します。
- 金融や法律など、特定のドメインにおける用語や事実関係を検証できるように、内部ナレッジベースを連携できるか確認します。
例
顧客対応AIが「商品Aの手数料は無料です」と回答した際、ハルシネーション検知プロセスが内部ポリシー文書と回答を照合し、その内容に根拠があるかを検証します。根拠が不足している場合、回答を保留したり、オペレーターによる確認ステップへ回したりすることができます。