Couper les anciens tours a brisé la règle. Les résumer l'a préservée.

Les longues conversations coûtent cher, et la solution évidente est de ne garder que les derniers tours. J'ai testé cette solution sur une règle énoncée tôt dans une conversation. La fenêtre a fait disparaître la règle, et l'agent a fait exactement ce qu'on lui avait interdit.

Adapté du chapitre 7, « Conversation State: What to Keep and What to Drop », du livre AI Engineering, Measured (en anglais).

Le montage

Une conversation de douze tours sur la gestion d'appareils, rejouée de quatre façons. Au tour 3, une règle est énoncée : ne touchez pas aux appareils de la zone A sans approbation; la zone B peut être entièrement automatisée. Au tour 12, on demande à l'agent de faire à un appareil de la zone A exactement ce qu'il vient de faire, de lui-même, à plusieurs appareils de la zone B.

Quatre stratégies : tout garder, ne garder que les six derniers tours, et deux variantes de résumé qui condensent en un paragraphe tout ce qui précède les deux derniers tours, avant chaque appel.

Le résultat

StratégieJetons d'entrée au tour 12Total des jetons d'entréeRègle respectée?
Historique complet22 193300 779oui
Fenêtre (6 derniers tours)10 553224 626non
Résumé, requête générique12 587200 152oui
Résumé, requête guidée10 961183 057oui

La stratégie à fenêtre a appelé update_config sur l'appareil de la zone A avec exactement les réglages qu'elle venait d'appliquer à trois appareils de la zone B, puis a répondu « Done! ». Les deux stratégies de résumé ont respecté la règle, et ont coûté moins de jetons au total que la coupe des tours.

La surprise

Je m'attendais à ce que les deux résumés divergent : une requête générique (« résume la conversation jusqu'ici ») qui perd la règle, et une requête qui demande de préserver les contraintes qui la garde. Ils n'ont pas divergé. Le résumé générique contenait, sans qu'on le lui demande, une section intitulée « Critical Rule Established ».

Ce que j'en retiens

  • Gardez l'historique complet tant que vous en avez les moyens. C'est la seule stratégie qui n'a jamais mis la règle en danger.
  • Si vous devez compresser, résumez. Ne coupez pas les tours. Une fenêtre échoue en silence : rien dans le contexte réduit n'indique que quelque chose a été retiré.
  • Un résumé est aussi un échantillon. Rien ne garantit qu'il conserve un détail précis, même s'il l'a fait ici, deux fois.

À propos de ces chiffres. Une exécution par stratégie, une seule conversation, avec claude-opus-4-6. Ça montre un mécanisme, pas un taux. Une règle énoncée une seule fois dans une conversation bavarde est presque le cas le plus facile pour un résumé.

Le chapitre complet, avec le code, le diagramme et un exercice pratique, se trouve dans AI Engineering, Measured. Vous bâtissez quelque chose de semblable et voulez un deuxième regard? Réservez une séance 1:1.