Fallbacks, timeouts et l'art de se dégrader gracieusement

Toute fonctionnalité d’IA semble bon marché dans le prototype et coûteuse sur la facture. L’écart entre ces deux chiffres est fait de détails, et cette note parle des détails.

Là où ça casse

La première chose que je fais désormais, c’est écrire l’évaluation avant la fonctionnalité. Pas une suite exhaustive — juste une douzaine de cas qui encodent ce que « bon » signifie pour cette tâche précise. Ça ressemble à une surcharge inutile jusqu’au jour où une mise à jour du modèle change silencieusement la sortie, et où l’évaluation est la seule chose à le remarquer.

La dégradation gracieuse est une décision de conception que l’on prend avant la panne, pas pendant. Décidez maintenant de ce que fait la fonctionnalité quand le modèle est lent, en panne ou dans l’erreur, et la mauvaise journée devient un non-événement au lieu d’un incident.

Ce que je fais à la place

Le coût est une fonction des tokens, et les tokens sont une fonction des décisions que vous prenez dans le code. Le contexte que vous attachez, les relances que vous autorisez, la verbosité que vous réclamez — chacun est une molette, et la plupart des équipes livrent avec toutes les molettes à fond parce que personne n’a regardé.

La partie que personne ne budgétise

La latence, c’est surtout ce que vous faites pendant que vous attendez. Diffusez en continu quand l’utilisateur lit, parallélisez quand les appels sont indépendants, et mettez en cache les parties qui ne changent pas. La vitesse brute du modèle est la partie que vous contrôlez le moins.

Le déploiement, c’est là où une bonne ingénierie se fait défaire par l’impatience. Derrière un flag, sur une cohorte, avec une métrique de confiance et un interrupteur d’arrêt que vous avez réellement testé — c’est ce qui distingue le fait de livrer du fait de parier.

Rien de tout cela n’est exotique. C’est la plomberie sans gloire qui décide si une fonctionnalité d’IA est un atout ou un fardeau six mois après le billet de lancement. Livrez la plomberie.