Ce que coûte réellement une fonctionnalité LLM sur un an

Toute fonctionnalité IA paraît bon marché dans le prototype et hors de prix sur la facture. L’écart entre ces deux chiffres est fait de détails, et cette note parle des détails.

Ce que je fais à la place

La première chose que je fais désormais, c’est d’écrire l’éval avant la fonctionnalité. Pas une suite exhaustive — juste une douzaine de cas qui encodent ce que « bon » veut dire pour ce travail précis. Ça ressemble à une perte de temps jusqu’au jour où une mise à jour du modèle change silencieusement la sortie, et où l’éval est la seule chose à le remarquer.

La dégradation gracieuse est une décision de conception qu’on prend avant la panne, pas pendant. Décidez dès maintenant ce que fait la fonctionnalité quand le modèle est lent, indisponible ou faux, et le mauvais jour devient un non-événement au lieu d’un incident.

La partie que personne ne budgète

Le coût est fonction des tokens, et les tokens sont fonction des décisions que vous prenez dans le code. Le contexte que vous attachez, les retries que vous autorisez, la verbosité que vous demandez — chacun est un curseur, et la plupart des équipes livrent avec tous les curseurs poussés au maximum parce que personne n’a regardé.

Une checklist avant le lancement

La latence, c’est surtout ce que vous faites pendant que vous attendez. Streamez quand l’utilisateur lit, parallélisez quand les appels sont indépendants, et mettez en cache ce qui ne change pas. La vitesse brute du modèle est la part que vous contrôlez le moins.

Le déploiement, c’est là où une bonne ingénierie se fait défaire par l’impatience. Derrière un flag, vers une cohorte, avec une métrique en laquelle vous avez confiance et un coupe-circuit que vous avez réellement testé — c’est ça, la différence entre livrer et parier.

Rien de tout cela n’est exotique. C’est la plomberie ingrate qui décide si une fonctionnalité IA est un atout ou un passif six mois après le post de lancement. Livrez la plomberie.