NCCL

NCCLとは、NVIDIAが提供するGPU間の集合通信（AllReduce・AllGather・Broadcastなど）を効率化するライブラリです。分散学習においてモデルの勾配をノード内外の全GPUで同期する処理に使われ、InfiniBandやNVLinkの帯域幅を最大限に活用するよう最適化されています。