テンソル並列

テンソル並列とは、大規模LLMのモデル並列化手法のひとつで、モデルの重み行列（テンソル）を複数のGPUに分割して同時に計算する技術です。Transformerのアテンション層やFFN層の行列積演算を複数GPUで並列実行することでVRAMの制約を超えた大規模モデルの処理が可能になります。