GPU-автоскейлинг на Kubernetes с KEDA: создание внешнего скейлера (opens in new tab)

Covers pmady/keda-gpu-scaler: KEDA External gRPC Scaler for GPU workloads — native NVML metrics via DaemonSet, no Prometheus required

Если вы запускаете GPU-нагрузки (графические ускорители) на Kubernetes — vLLM, Triton, обучающие задачи или более новые стеки агентного инференса, — вы наверняка сталкивались со знакомой проблемой:...

Read the original article