Auto Scaling
オートスケーリング
オートスケーリングとは、AIサービスへのリクエスト量やGPU使用率に応じて、自動的にリソース（GPUインスタンス数・コンテナ数など）を増減させる仕組みです。トラフィックの急増時には自動でスケールアウトし、閑散時にはスケールインしてコストを削減します。
KubernetesのHPA（Horizontal Pod Autoscaler）やクラウドプロバイダーのオートスケーリンググループを活用することで実現できます。LLM推論サービスにおいては、リクエストキューの長さやGPU使用率を指標としたスケーリング設定がコスト効率と応答性能のバランスに直結します。
