## Industrialiser : le LLMOps

Mettre un LLM en production, c'est l'exploiter comme un **service critique** sur la durée,
avec les mêmes exigences qu'un système d'information sérieux — plus quelques spécificités.

### Observabilité spécifique aux LLM
Au-delà des métriques classiques (latence, taux d'erreur), on **trace chaque interaction** :
prompt complet, **contexte récupéré**, réponse, tokens consommés, coût, outils appelés. Des
outils comme **Langfuse** (auto-hébergeable, donc souverain) ou Phoenix offrent ce *tracing*.
Indispensable pour **diagnostiquer** une mauvaise réponse a posteriori.

### Évaluation continue (non-régression)
Le pipeline **RAGAS** (Jour 2) tourne en **intégration continue** : à chaque changement de
prompt, de modèle ou de pipeline, on **rejoue le jeu de test** et on **bloque** toute
régression de qualité avant la mise en production.

### Traçabilité — une exigence institutionnelle
Pour un organisme public ou une fonction de contrôle, pouvoir **rejouer et justifier** une
réponse (quelles sources exactes, quel modèle, quelle version) n'est **pas optionnel** :
c'est une exigence d'**auditabilité**. Elle doit être pensée **dès la conception**, pas
ajoutée après coup.

> **📌 Cas concret — « pourquoi l'assistant a-t-il répondu cela ? »**
> Trois mois après la mise en service, un agent conteste une réponse de l'assistant qui
> aurait orienté une décision. Grâce au **tracing**, l'équipe **rejoue** l'interaction : on
> voit la **question exacte**, les **3 extraits** qui ont servi (avec numéro d'article et
> version du document), le **modèle** et sa version. On constate que la réponse était fidèle
> aux sources, mais qu'**un document était périmé**. Le problème est dans la donnée, pas dans
> le modèle — et on peut le **prouver**. Sans traçabilité, ce serait parole contre parole.

> **À retenir** — Le *tracing* des interactions est au LLMOps ce que les logs sont au
> DevOps : **non négociable**. Privilégiez un outil **auto-hébergeable** pour rester
> souverain, et concevez la traçabilité dès le départ.