アテンション

AI概念

約1分で読めます

入力シーケンスのすべての要素のうち、現在の処理に最も重要な情報に対して高い重み（ウェイト）を付与するメカニ즘です。固定されたベクトルサイズの限界を克服し、可変的な文脈を精密に抽出することで、AIの理解力を高めます。

別名

AttentionアテンションメカニズムSelf-Attentionセルフアテンション

詳しい説明

アテンションは、データの特定の部分に「注意」を集中させて情報を処理するディープラーニングの手法です。「クエリ（Query）」と「キー（Key）」の間の類似度を計算して「値（Value）」に付与する重みを決定し、これによりモデルはシーケンス内で遠く離れた要素間の相関関係を正確に捉えることができます。従来のRNNのボトルネック現象や長期依存性の課題を解決し、文章全体を一度に処理する「セルフアテンション（Self-Attention）」へと発展したことで、Transformer（トランスフォーマー）および現代の巨大言語モデル（LLM）のコアアーキテクチャとなりました。

ツール選定において重要な理由

アテンションメカニズムの効率性は、AIツールの「コンテキストウィンドウ（Context Window）」のサイズや処理速度を左右します。最新のAIツールは、FlashAttentionやSparse Attentionといった技術を導入し、膨大な量の文書を分析する際にも正確性を維持しながら、演算コストを画期的に削減しています。

確認事項

長い文脈を処理する際、情報の損失や歪曲（ハルシネーション）が発生しないか？
FlashAttentionなどの最新の加速技術に対応し、応答速度が最適化されているか？
入力データの特定の部分にどのように重みが付与されているかを、視覚化または説明できるか？

例

英文の「The animal didn't cross the street because it was too tired」において、アテンションメカニズムは、文脈的な重み計算を通じて「it」が指す対象が「street」ではなく「animal」であることを正確に特定します。

混同しやすい用語

RNN (リカレントニューラルネットワーク)

データを時系列で順番に入力するため前方の情報を忘れやすいのに対し、アテンションはデータ全体を一度に並列で参照します。

セルフアテンション

アテンションの一種であり、入力された文章内の単語同士で互いの関係性を計算する特殊な方式です。

参考リンク

用語一覧