LiteLLM : un gateway unique pour parler à tous vos LLM

Utiliser plusieurs LLM (Anthropic, OpenAI, un modèle Ollama local) dans une même stack multiplie vite le code de branchement : chaque fournisseur a son propre SDK, son format de réponse, sa façon de gérer les clés.

Ce que fait LiteLLM

LiteLLM est un proxy open source qui expose une seule API compatible OpenAI devant n'importe quel fournisseur. Votre code applicatif appelle toujours le même endpoint ; LiteLLM route vers le bon modèle en coulisses.

Bénéfices concrets pour une stack d'agents :

• Un seul point de bascule entre modèles : changer de fournisseur ne touche pas le code des agents, seulement la config du proxy.
• Cache de réponses intégré, utile quand plusieurs agents posent des questions similaires.
• Suivi des coûts centralisé, par clé API ou par agent, au lieu de reconstituer la facture depuis plusieurs consoles fournisseurs.

Auto-hébergement vs SaaS

LiteLLM existe en version cloud managée, mais le proxy s'auto-héberge très simplement en un seul container Docker. Pour une stack qui tourne déjà sur un VPS, l'auto-hébergement évite d'exposer le trafic LLM à un service tiers supplémentaire et garde les clés API sur votre propre infrastructure.

Limite à connaître

LiteLLM ajoute un saut réseau supplémentaire entre vos agents et le fournisseur final. Sur des tâches très sensibles à la latence, ce surcoût (généralement de quelques millisecondes si le proxy tourne sur la même machine ou le même réseau privé) reste négligeable face aux bénéfices d'observabilité.