Transformer アーキテクチャは、Vaswani らによる論文「Attending Is All You Need」で導入されて以来、自然言語処理の分野やその他の領域に革命をもたらしてきました。 Transformer の中核にはエンコーダがあり、入力シーケンスの処理において重要な役割を果たします。このブログでは、トランスのサプライヤーとして、Transformer エンコーダの内部動作を詳しく掘り下げ、その主要なコンポーネントとそれらがどのように相互作用して入力データを意味のある表現に変換するかについて説明します。
トランスエンコーダの全体構造
Transformer エンコーダは、互いに積み重ねられた複数の同一のレイヤーで構成されます。各層は、マルチヘッド自己注意メカニズムとフィードフォワード ニューラル ネットワークという 2 つの主要なサブ層で構成されます。エンコーダーはトークンの入力シーケンスを受け取り、各トークンは最初にベクトル表現に埋め込まれます。
まずは入力エンベディングを見てみましょう。入力トークンは通常、自然言語処理タスクの単語またはサブワードです。これらのトークンは、埋め込み層を通じて固定長ベクトルに変換されます。埋め込み層は各トークンを高次元空間のベクトルにマッピングし、モデルがトークンに関する意味論的および構文的な情報をキャプチャできるようにします。
マルチヘッドセルフアテンション
マルチヘッドセルフアテンション機構は、Transformer エンコーダの最も特徴的な機能です。これにより、モデルは入力シーケンスのさまざまな位置のさまざまな部分に対応できるようになります。セルフ アテンション メカニズムは、ペアごとの関係に基づいて入力ベクトルの重み付けされた合計を計算します。
自己注意がどのように機能するかを理解するには、まずクエリ (Q)、キー (K)、および値 (V) という 3 つの行列を導入する必要があります。入力シーケンス内の各入力ベクトル (x_i) について、(x_i) に 3 つの異なる重み行列 (W^Q)、(W^K)、および (W^V) をそれぞれ乗算することによって、クエリ (q_i)、キー (k_i)、および値 (v_i) を計算します。
2 つの位置 (i) と (j) の間の注目スコアは、クエリ (q_i) とキー (k_j) の間のドット積として計算されます。このスコアは、(j) 番目の位置が (i) 番目の位置とどの程度関連しているかを測定します。内積が大きくなりすぎるのを防ぐために、内積をキー ベクトルの次元の平方根 (\sqrt{d_k}) で割ります。ここで (d_k) はキー ベクトルの次元です。
次に、注意スコアはソフトマックス関数に渡されて、注意の重みが取得されます。これらの重みは、値ベクトルの重み付き合計を計算するために使用されます。 (i) 番目の位置に対するセルフ アテンション メカニズムの出力は、シーケンス内のすべての値ベクトルを組み合わせた新しいベクトル (z_i) であり、アテンションの重みによって重み付けされます。
マルチヘッドセルフアテンションでは、(Q)、(K)、(V) の異なる重み行列を使用してセルフアテンション操作を複数回並行して実行します。これらの複数のセルフ アテンション ヘッドの出力は、別の重み行列を通じて連結および射影され、マルチヘッド セルフ アテンション レイヤーの最終出力が得られます。
マルチヘッドセルフアテンションメカニズムにより、モデルは入力シーケンス内のさまざまなタイプの関係をキャプチャできます。たとえば、あるヘッドはローカルな関係に焦点を当て、別のヘッドは長距離の依存関係をキャプチャする場合があります。
フィードフォワードニューラルネットワーク
マルチヘッドセルフアテンション層の後、出力はフィードフォワードニューラルネットワークを通過します。フィードフォワード ネットワークは、間に ReLU 活性化関数を挟んだ 2 つの線形層で構成されます。
最初の線形層は入力ベクトルを高次元空間にマッピングし、ReLU 活性化関数により非線形性が導入されます。 2 番目の線形層は、ReLU の出力を元の次元にマッピングします。
フィードフォワード ネットワークは、モデルが自己注意層から取得した表現をさらに変換するのに役立ちます。入力特徴間の複雑な非線形関係を学習し、モデルの表現力を強化します。
層の正規化と残留接続
Transformer エンコーダのトレーニングの安定性とパフォーマンスを向上させるために、層の正規化と残差接続という 2 つの重要な手法が使用されます。
層正規化は、各サブ層（マルチヘッドセルフアテンションおよびフィードフォワードネットワーク）の後に適用されます。特徴次元全体にわたって入力ベクトルを正規化し、トレーニング プロセスをより安定させます。レイヤーの正規化は、入力を正規化することで、トレーニング中に勾配が消失したり爆発したりするのを防ぐのに役立ちます。
スキップ接続としても知られる残留接続は、サブレイヤーの入力をその出力に接続するために使用されます。サブレイヤーの出力を次のレイヤーに渡すだけでなく、サブレイヤーの入力をその出力に追加します。これにより、モデルは恒等マッピングをより簡単に学習できるようになり、勾配消失の問題を軽減するのに役立ちます。
アプリケーションと当社の製品
Transformer エンコーダは、機械翻訳、テキスト要約、質問応答システムなどのさまざまなアプリケーションで広く使用されています。変圧器のサプライヤーとして、当社はさまざまなニーズを満たす幅広い変圧器を提供しています。
たとえば、私たちが提供するのは、乾式パッドマウントトランス安全性と信頼性が重要な屋外用途に適しています。これらの変圧器は過酷な環境で動作するように設計されており、メンテナンスは最小限で済みます。
もご用意しております埋込変圧器、配電システムで一般的に使用されます。浸漬変圧器には絶縁油が充填されており、熱の放散に役立ち、電気絶縁性が向上します。
購入および相談に関するお問い合わせ
当社の変圧器製品にご興味がある場合、または変圧器エンコーダとそのアプリケーションについてご質問がある場合は、購入についてのご相談のために当社にお問い合わせいただくことをお勧めします。当社の専門家チームは、お客様の特定の要件に最適な変圧器の選択をお手伝いいたします。大規模な電力プロジェクトに携わっている場合でも、小規模な産業用途に携わっている場合でも、当社はお客様に最適なソリューションを提供します。
参考文献
Vaswani、A.、Shazeer、N.、Parmar、N.、Uszkoreit、J.、Jones、L.、Gomez、AN、... & Polosukhin、I. (2017)。必要なのは注意力だけです。神経情報処理システムの進歩、30．
