パイプライン並列

パイプライン並列とは、LLMのレイヤーを複数のグループに分割し、各グループを異なるGPUまたはノードに割り当てて順次処理するモデル並列化手法です。テンソル並列と組み合わせた3D並列（テンソル並列×パイプライン並列×データ並列）が大規模LLM学習の標準的なアプローチとなっています。