量子化

量子化とは、AIモデルのパラメータや演算の数値精度をFP32・FP16からINT8・INT4などの低精度フォーマットに変換することでモデルサイズを削減し、推論速度を高める技術です。精度をわずかに犠牲にする代わりにGPUのVRAM使用量を大幅に削減でき、より少ないGPUリソースで大規模モデルを実行できるようになります。