vLLM Scale-to-Zero sur GKE: KEDA & Datadog
Surveiller et scaler une stack vLLM sur Google Kubernetes Engine avec Datadog, en utilisant un proxy personnalisé pour le scale-to-zero synchrone.
Bonjour, je suis Iheb Besbes
Senior Tech Lead — DataOps, DevOps & IA. Publications sur la Data, le Cloud et le développement de l'IA.
Derniers Articles
De DataZone à SageMaker Unified Studio : Une évolution du catalogage
Une vue d'ensemble de la transition d'Amazon DataZone à SageMaker Unified Studio, explorant les changements structurels et l'impact de la migration.
Serveur AWS MCP et Widgets
Connecter un hôte d'UI générative au véritable serveur AWS MCP : proxy CORS, connexion OAuth 2.1 et données AWS en direct rendues sous forme de widgets.
Mise à l'échelle de vLLM à zéro avec KEDA sur GKE
Une plongée en profondeur pour réduire les coûts d'inactivité en mettant à l'échelle un nœud GPU vLLM à zéro avec KEDA et son add-on HTTP sur GKE.
Partage de données inter-comptes et inter-régions SageMaker Unified Studio
Plongée dans la création de projets avec le blueprint Lakehouse Database à travers plusieurs comptes et régions depuis un domaine SageMaker Unified Studio.