トランスフォーマー

今日使用されているチャットボット、コーディングアシスタント、翻訳ツールの大部分が、トランスフォーマー系のモデル上で動作しています。アーキテクチャ自体を直接扱う機会は少ないですが、モデルが一度に参照できる入力の長さ（コンテキストウィンドウ）や処理コストが、この構造のアテンション演算に起因していることを知ることで、長い文書の処理や、コスト・遅延の比較が必要なツールを選択する際の判断基準が明確になります。

• ツールが使用するモデルがコンテキストウィンドウ（一度に処理できるトークン数）をどの程度サポートしているか
• 入力の長さが伸びたときに、応答の遅延やトークンコストがどのように増加するか
• テキスト以外の画像・音声入力を同時に処理するマルチモーダルモデルであるか
• オープンウェイトモデルか、API専用モデルであるかによる活用上の制約はないか

数十ページにおよぶ契約書を一度に入力して主要な条項を抽出するには、モデルのコンテキストウィンドウがその長さに対応できる必要があります。トランスフォーマーのアテンションは入力が長くなるほど演算量が急激に増加するため、同じ作業であっても、モデルやツールによって処理可能な長さやコストが大きく異なります。