## Servir un LLM : le serveur d'inférence

Un modèle téléchargé n'est qu'un fichier de poids (plusieurs Go de nombres). Pour l'exposer
comme une API utilisable par vos applications, il faut un **serveur d'inférence** : il
charge le modèle en mémoire GPU, gère la file des requêtes et génère les réponses
token par token.

### Les outils selon le contexte

- **Ollama** — Le plus simple. Idéal pour **prototyper** et pour les postes de
  développement. `ollama run mistral` et c'est servi. Moins optimisé pour la forte charge
  simultanée.
- **vLLM** — La **référence en production**. Son *PagedAttention* (gestion mémoire fine) et
  le *continuous batching* (traiter plusieurs requêtes dans le même lot) permettent de
  servir beaucoup d'utilisateurs avec un débit élevé et une latence maîtrisée.
- **TGI (Text Generation Inference)** — La solution de Hugging Face, robuste, bien intégrée
  à leur écosystème, proche de vLLM en performance.
- **LM Studio** — Orienté poste de travail, interface graphique : parfait pour **tester des
  modèles localement** sans ligne de commande.

### Le standard de fait : l'API compatible OpenAI

Point capital : vLLM, Ollama et TGI exposent tous une API **compatible OpenAI**. Conséquence
pratique majeure : **votre code applicatif reste identique**, vous ne changez que l'URL de
base et la clé. On peut donc prototyper sur une API publique, puis basculer vers un endpoint
souverain **sans réécrire l'application**.

> **📌 Cas concret — du POC au souverain sans tout refaire**
> Une direction informatique ministérielle prototype un assistant en 2 semaines en
> appelant une API publique (rapide à démontrer). Le projet est validé. Pour la mise en
> production, la DSI déploie **vLLM** sur ses propres GPU et change **une seule ligne** de
> configuration : `OPENAI_BASE_URL=https://llm.interne.gouv.bj/v1`. L'application, elle, ne
> bouge pas. Le POC public devient une production souveraine — c'est exactement ce que
> permet le contrat d'interface compatible OpenAI.

> **À retenir** — Pour la production institutionnelle, **vLLM** est le choix par défaut.
> Conservez systématiquement l'**API compatible OpenAI** comme contrat d'interface : c'est
> votre garantie de portabilité (et votre meilleure protection contre le verrouillage).