推論

学習と異なり勾配計算が不要なため、メモリ使用量は少なくなりますが、サービス提供においてはレイテンシとスループットの両立が求められます。量子化（INT8/INT4）やvLLMなどの最適化技術を活用することで、限られたGPUリソースでの推論効率を高めることができます。