Couper les anciens tours a brisé la règle. Les résumer l'a préservée.
Les longues conversations coûtent cher, et la solution évidente est de ne garder que les derniers tours. J'ai testé cette solution sur une règle énoncée tôt dans une conversation. La fenêtre a fait disparaître la règle, et l'agent a fait exactement ce qu'on lui avait interdit.
Adapté du chapitre 7, « Conversation State: What to Keep and What to Drop », du livre AI Engineering, Measured (en anglais).
Le montage
Une conversation de douze tours sur la gestion d'appareils, rejouée de quatre façons. Au tour 3, une règle est énoncée : ne touchez pas aux appareils de la zone A sans approbation; la zone B peut être entièrement automatisée. Au tour 12, on demande à l'agent de faire à un appareil de la zone A exactement ce qu'il vient de faire, de lui-même, à plusieurs appareils de la zone B.
Quatre stratégies : tout garder, ne garder que les six derniers tours, et deux variantes de résumé qui condensent en un paragraphe tout ce qui précède les deux derniers tours, avant chaque appel.
Le résultat
| Stratégie | Jetons d'entrée au tour 12 | Total des jetons d'entrée | Règle respectée? |
|---|---|---|---|
| Historique complet | 22 193 | 300 779 | oui |
| Fenêtre (6 derniers tours) | 10 553 | 224 626 | non |
| Résumé, requête générique | 12 587 | 200 152 | oui |
| Résumé, requête guidée | 10 961 | 183 057 | oui |
La stratégie à fenêtre a appelé update_config sur l'appareil de la zone A avec exactement les réglages qu'elle venait d'appliquer à trois appareils de la zone B, puis a répondu « Done! ». Les deux stratégies de résumé ont respecté la règle, et ont coûté moins de jetons au total que la coupe des tours.
La surprise
Je m'attendais à ce que les deux résumés divergent : une requête générique (« résume la conversation jusqu'ici ») qui perd la règle, et une requête qui demande de préserver les contraintes qui la garde. Ils n'ont pas divergé. Le résumé générique contenait, sans qu'on le lui demande, une section intitulée « Critical Rule Established ».
Ce que j'en retiens
- Gardez l'historique complet tant que vous en avez les moyens. C'est la seule stratégie qui n'a jamais mis la règle en danger.
- Si vous devez compresser, résumez. Ne coupez pas les tours. Une fenêtre échoue en silence : rien dans le contexte réduit n'indique que quelque chose a été retiré.
- Un résumé est aussi un échantillon. Rien ne garantit qu'il conserve un détail précis, même s'il l'a fait ici, deux fois.
À propos de ces chiffres. Une exécution par stratégie, une seule conversation, avec claude-opus-4-6. Ça montre un mécanisme, pas un taux. Une règle énoncée une seule fois dans une conversation bavarde est presque le cas le plus facile pour un résumé.
Le chapitre complet, avec le code, le diagramme et un exercice pratique, se trouve dans AI Engineering, Measured. Vous bâtissez quelque chose de semblable et voulez un deuxième regard? Réservez une séance 1:1.