## Combien de VRAM pour quel modèle ?

La contrainte n°1 d'un LLM souverain est la **mémoire GPU (VRAM)**. Sous-dimensionner = le
modèle ne charge pas ; sur-dimensionner = facture inutile. Règle d'estimation rapide pour
les **poids** :

- **FP16** (précision native) : **~2 Go de VRAM par milliard de paramètres**.
  Un modèle 7B ≈ 14 Go, un 70B ≈ 140 Go (donc plusieurs GPU).
- Il faut **ajouter** la mémoire du *KV-cache* (le « brouillon » du modèle, proportionnel à
  la longueur du contexte **et** au nombre de requêtes simultanées). Compter **+20 à +40 %**.

### La quantization : faire entrer un gros modèle dans moins de VRAM

La **quantization** réduit la précision des poids (FP16 → 8 bits, voire 4 bits) pour diviser
l'empreinte mémoire, au prix d'une **légère** perte de qualité :

- **INT8** : ~1 Go/milliard. Perte quasi imperceptible. Excellent compromis par défaut.
- **INT4 (GPTQ, AWQ, GGUF)** : ~0,5 Go/milliard. Permet de faire tourner un **70B sur un
  seul GPU 48 Go**. Perte modérée, acceptable pour beaucoup d'usages.

### Mettre des chiffres sur une décision

| Besoin | Modèle | Précision | VRAM ≈ | GPU type |
|---|---|---|---|---|
| Tri / classement de documents | 8B | INT8 | ~10–12 Go | L4 24 Go |
| Assistant RAG général | 8B–14B | INT8 | ~14–18 Go | A10 / L4 |
| Raisonnement complexe | 70B | INT4 | ~40 Go | A100 48 Go |

> **📌 Cas concret — choisir un GPU pour une administration**
> Un organisme veut un assistant documentaire pour ~200 agents, avec un budget contraint.
> Plutôt qu'un coûteux serveur multi-GPU pour un 70B, on retient un **Mistral/Llama 8B en
> INT8** sur un **seul GPU L4 24 Go** : il tient le modèle **et** le KV-cache pour plusieurs
> requêtes simultanées, pour quelques milliers d'euros. La qualité est largement suffisante
> pour de la recherche documentaire bien outillée (RAG). On garde la marge budgétaire pour
> un second GPU si la charge monte.

> **À retenir** — Choisissez d'abord la **taille de modèle au plus juste** pour le besoin,
> **puis** quantifiez. Un 8B bien quantifié et bien outillé bat souvent un 70B
> sous-dimensionné qui sature la VRAM.