GPU性能とAI

1. GPUのメモリ階層

単純化すると次の階層があります。

thread private registers      最速・小さい
block shared memory / L1      同じblockで共有
GPU-wide L2 cache
global memory (VRAM)          大容量・高帯域・高レイテンシー
CPU system memory             接続越しの転送が必要な場合

GPUは演算器が多いため、必要データを十分な速度で供給できないと演算器が待ちます。計算だけでなくデータの場所と移動量が重要です。

2. coalescing

隣接threadが隣接アドレスへアクセスすると、ハードウェアが少数のメモリトランザクションへまとめやすくなります。

良い例：thread 0→A[0], 1→A[1], 2→A[2]...
悪い例：thread 0→A[0], 1→A[1000], 2→A[2000]...

後者でも正しい結果は得られますが、多数の転送が必要になり帯域を有効利用しにくくなります。

3. 共有メモリで再利用する

global memoryから読み込んだデータをblock内の共有メモリへ置き、複数threadで再利用すると転送量を減らせます。

行列積では行列を小さなtileへ分割し、AとBのtileを共有メモリへ置いて複数の積和演算に再利用します。

4. Arithmetic intensity

転送1 byteあたり何回の演算を行うかという考え方です。

• intensityが低い：データを少し計算してすぐ捨てる。メモリ帯域に制限されやすい。
• intensityが高い：読み込んだデータを何度も計算に使う。演算性能を活かしやすい。

配列コピーは低く、うまくtile化した大規模行列積は高くできます。

5. occupancy

SMが保持可能な最大warp数に対し、実際に常駐しているwarpの割合を指す代表的な指標です。レジスタ、共有メモリ、block sizeなどで制約されます。

occupancyは高ければ常に最高性能というものではありません。十分に待ち時間を隠せた後は、データ再利用や命令効率など別の要因が支配します。

6. 行列積とAI

ニューラルネットワークの多くの処理は、行列積や畳み込みとして表せます。

C[i,j] = Σ A[i,k] × B[k,j]

各出力要素には似た積和演算があり、データをtile単位で再利用できるためGPUに適します。

Tensor Coreなどの専用演算器は、小さな行列ブロックの積和演算を高いスループットで実行します。GPUのすべての命令がTensor Coreで速くなるわけではありません。

7. 数値精度

低精度にすると、同じメモリ容量・帯域で多くの値を扱え、対応演算器のスループットも上がる場合があります。一方、丸め誤差、overflow、モデル精度への影響を評価する必要があります。

8. CPUとGPUの協調

典型的にはCPUがプログラム全体を制御し、GPUへkernelを起動します。

CPU：入力準備 → GPUへ転送 → kernel起動 → 結果待ち → 後処理
GPU：大量の要素を並列計算

処理が小さすぎると、起動や転送の固定コストが計算時間を上回り、CPUだけの方が速いことがあります。