Un agent de code produit ce qu'on lui demande de rendre vrai, et il choisit le chemin le plus court pour y arriver. Si la seule consigne est « que les tests passent », supprimer un test qui échoue est un chemin valable. Cette leçon donne la boucle qui l'en empêche : écrire une spécification vérifiable, la découper en petites tranches, faire écrire les tests avant le code, puis refuser tout diff qui supprime ou affaiblit un test. Elle s'adresse aux développeurs et aux personnes d'un métier qui produisent du code avec l'IA. Elle ne dépend d'aucun assistant en particulier : un agent de code comme Claude Code, un assistant d'éditeur ou un générateur en ligne conviennent, du moment que vous pouvez lire le diff avant de l'accepter.
Ce que vous allez apprendre
Section intitulée « Ce que vous allez apprendre »- Écrire une exigence avec un critère d'acceptation relié à un test nommé.
- Découper une demande en tranches que l'on peut relire en quelques minutes.
- Faire écrire le test avant le code et le relire avant de lancer la génération.
- Repérer un diff qui supprime, ignore ou affaiblit un test.
- Refuser ce diff et consigner la raison pour que son auteur la retrouve.
Prérequis
Section intitulée « Prérequis »Vous savez lire un git diff et faire un commit. La leçon
Enregistrer des modifications : add, diff, commit
enseigne git add, git commit et git diff, et la leçon
Consulter l'historique : log, show, HEAD
enseigne git log et git show. Vous avez déjà vu un
test écrit avec
pytest : les exemples
sont en Python, mais le raisonnement vaut pour tout langage. Vous savez créer un
environnement virtuel et y installer un paquet avec pip, ce qu'explique la page
Les environnements virtuels Python : venv, pip et requirements.txt.
Vous lisez et écrivez un petit programme Python, comme le montre la leçon
Premiers pas en Python : programme, variables et types,
et vous savez lancer une commande dans un terminal Linux, ce qu'enseigne la
leçon Le prompt et le terminal.
Le module « Bases techniques » de la formation réunit ces leçons ; il est
facultatif pour qui sait déjà faire tout cela. Pour taper les commandes de la
leçon, il vous faut aussi Python 3.11 ou plus et pytest installé.
Pourquoi une suite verte ne suffit-elle pas ?
Section intitulée « Pourquoi une suite verte ne suffit-elle pas ? »Une suite de tests verte dit que rien n'a échoué, pas que chaque test a tourné. Un agent qui doit « faire passer les tests » dispose de trois moyens : corriger le code, modifier le test pour qu'il accepte le résultat actuel, ou retirer le test. Les deux derniers donnent aussi une suite verte, et ils sont plus rapides que le premier.
Le vibe coding au sens strict ne regarde pas le
diff et ne voit donc rien de cela. Le développement assisté par IA le regarde,
mais le regard doit savoir quoi chercher. Prenons le portail-achats, le
fil rouge de la formation, du côté de l'acheteuse qui l'a généré. Elle demande à
l'agent : « un fournisseur bloqué ne doit plus pouvoir recevoir de commande ».
L'agent modifie le code, un test existant échoue, et le diff qu'il propose
contient aussi une ligne @pytest.mark.skip ajoutée sur ce test. La suite
passe. La règle est pourtant toujours violée, et plus personne ne le sait.
La boucle suivante ne repose pas sur la confiance dans l'agent. Elle place la décision à un endroit que l'agent ne contrôle pas : la spécification et les tests, écrits et relus avant la génération.
Regardez les deux losanges, c'est là que se joue la méthode. Le premier (« les tests passent ? ») est celui que tout le monde regarde. Le second (« le diff touche-t-il aux tests ? ») est celui qu'on oublie, et c'est lui qui arrête l'agent qui triche. Le test écrit d'abord, au début de la ligne, est ce qui rend le second losange possible : on peut comparer ce que l'agent propose à ce que l'on avait décidé. La section « Comment repérer un diff qui supprime ou affaiblit un test ? » donne trois contrôles pour répondre à cette question.
Comment écrire une spécification vérifiable ?
Section intitulée « Comment écrire une spécification vérifiable ? »Une spécification est vérifiable quand chaque exigence a un critère d'acceptation relié à un test précis. Sans critère, personne ne peut dire si le code répond à l'exigence, ni l'agent, ni vous. Le format tient en trois éléments : l'exigence en une phrase, le critère qui dit comment on la constate, et l'identifiant du test qui la prouve.
Voici une exigence du portail-achats, écrite dans un fichier SPEC.md à la racine
du projet. L'identifiant du test est celui que pytest affiche, sous la forme
chemin::nom.
- **R4** : une commande adressée à un fournisseur au statut `bloque` est refusée. Une commande adressée à un fournisseur `actif` est acceptée.
- AC-4 [R4] : créer une commande pour un fournisseur `bloque` lève une erreur `FournisseurBloque`. Test : `tests/test_commandes.py::test_fournisseur_bloque_refuse`- AC-5 [R4] : créer une commande pour un fournisseur `actif` réussit. Test : `tests/test_commandes.py::test_fournisseur_actif_accepte`L'exigence parle du comportement, pas de la façon de coder. Les deux critères couvrent le cas qui doit échouer et celui qui doit réussir : un test qui ne vérifie que le refus laisserait passer une implémentation qui refuse tout. Le contenu du critère se tient aussi près que possible de ce qui s'observe (« lève une erreur », « totalise 224,80 »), pas d'un adjectif (« gère correctement »). Un adjectif ne se teste pas.
Cette spécification a un autre usage : c'est le premier texte que vous donnez à l'agent. Le guide prompting de base avec Claude Code explique comment formuler une demande ; la spécification en est le noyau, et elle reste valable si vous changez d'assistant.
Comment découper le travail en tranches ?
Section intitulée « Comment découper le travail en tranches ? »Une tranche est la plus petite modification qui rend une exigence vraie, et dont le diff se relit en quelques minutes. La règle pratique : une exigence, un ou deux tests, un diff. Demander « ajoute toute la gestion des fournisseurs » produit un diff de plusieurs centaines de lignes que personne ne relit vraiment, et le risque revient par la porte du dessus : on accepte parce que c'est trop long à lire.
Pour le portail-achats, la demande « bloquer les fournisseurs » se découpe ainsi, chaque ligne étant une tranche que l'on accepte ou refuse seule :
- R4, un fournisseur bloqué ne reçoit pas de commande ;
- R5, un fournisseur peut être bloqué et débloqué par un responsable ;
- R6, le blocage est visible dans la liste des fournisseurs.
Une tranche se termine par un commit. Si l'agent a fait deux choses dans le même diff, refusez le diff entier et redemandez la tranche seule : un diff mélangé cache ce qu'il change vraiment. Le guide construire un projet complet piloté par Claude Code reprend ce découpage en « tranches verticales » sur un projet entier.
Pourquoi faire écrire les tests avant le code ?
Section intitulée « Pourquoi faire écrire les tests avant le code ? »Quand le test existe avant le code, il exprime ce que vous avez décidé, et l'agent ne peut plus l'adapter à ce qu'il a produit. Si l'agent écrit test et code dans le même mouvement, le test décrit ce que le code fait, pas ce qu'il devrait faire : il passe toujours, et il ne protège de rien.
Le geste tient en quatre temps pour chaque tranche :
- Demandez à l'agent d'écrire seulement le test du critère, sans toucher au code.
- Relisez ce test. Vérifiez qu'il contrôle bien ce que dit le critère : le cas d'erreur, la valeur attendue, pas seulement l'absence d'exception.
- Lancez-le : il doit échouer, et échouer pour la bonne raison. Avec pytest,
pytest tests/test_commandes.py::test_fournisseur_bloque_refusedoit afficher un test en échec, parce que le comportement n'existe pas encore. Un test qui passe avant que le code existe ne teste rien. - Demandez ensuite à l'agent d'écrire le code qui le fait passer, sans modifier le test.
Le test écrit par l'agent n'est donc pas le problème, c'est le test que personne n'a relu. Le guide stratégies de tests explique pourquoi écrire le test d'abord force à préciser ce que le code doit faire, et la page tests avancés en Python montre comment écrire des tests qui détectent vraiment les défauts.
Comment repérer un diff qui supprime ou affaiblit un test ?
Section intitulée « Comment repérer un diff qui supprime ou affaiblit un test ? »Trois contrôles permettent de reconnaître un diff qui touche aux tests. Lancez-les
avant d'accepter la tranche. Avant de lancer l'agent, relevez deux repères :
le nombre de tests collectés, avec pytest --collect-only -q | tail -1, et le
commit de départ. Sans eux, vous ne pourrez pas dire après coup si un test a
disparu. Dans cette commande, le | envoie la sortie de pytest à tail -1,
qui ne garde que la dernière ligne, celle qui donne le total.
Les commandes ci-dessous comparent le dossier de travail au dernier commit avec
git diff HEAD, qui couvre les changements indexés (git add) comme les
autres. git diff sans argument ne montre que les changements pas encore
indexés : il ne voit rien de ce que l'agent a indexé. Si l'agent a commité la
tranche, git diff HEAD ne montre plus rien : remplacez HEAD par HEAD~1
(ou par le commit de départ si l'agent a fait plusieurs commits), ou lisez
git show --stat. HEAD désigne le dernier commit, et HEAD~1 le commit
juste avant lui : une fois la tranche commitée, comparer à HEAD~1 montre ce
que le commit de l'agent a changé.
Le premier contrôle est de regarder quels fichiers le diff modifie.
git diff HEAD --statLa sortie liste les fichiers modifiés et le nombre de lignes. Cherchez-y tout
chemin sous tests/, mais aussi conftest.py, pytest.ini, pyproject.toml
ou le fichier de configuration de l'intégration continue : une option comme
--deselect, un testpaths réduit ou un -k ajouté retirent des tests de la
suite sans en supprimer un seul. Si la tranche concerne le code d'une exigence,
aucun de ces fichiers ne devrait apparaître. Si l'un apparaît, lisez-le en
premier.
Le deuxième contrôle est de chercher les lignes retirées et les mots qui neutralisent un test dans la partie du diff qui porte sur les tests.
git diff HEAD -U0 -- tests/ | grep -E '^[-+].*(skip|xfail|assert|raises)'Le | envoie la sortie de git diff à grep. Le motif
'^[-+].*(skip|xfail|assert|raises)' garde les lignes ajoutées (+) ou
retirées (-) qui contiennent l'un de ces quatre mots.
Une ligne - portant un assert est une vérification supprimée. Une ligne +
portant skip ou xfail désactive un test. Une ligne - qui contenait une
valeur précise, remplacée par un assert plus lâche
(assert total == Decimal("224.80") devenu assert total), est un
affaiblissement : le test passe pour presque n'importe quel résultat. Ce motif
ne voit pas un test renommé pour qu'il ne soit plus collecté, ni un changement
qui ne contient aucun de ces mots : le troisième contrôle repère le test
renommé ou ignoré.
Le troisième contrôle est de compter les tests qui ont tourné, pas seulement
lire le mot « passed ». Les options -rs et -rx demandent à pytest d'ajouter,
en fin d'exécution, une section « short test summary info » qui liste les tests
ignorés et les tests attendus en échec. Le libellé exact des lignes varie d'une
version de pytest à l'autre : les sorties ci-dessous en donnent la forme, relevée avec pytest 9.2.0
et Git 2.47.3, à vérifier sur votre version.
pytest -rsxPour un test ignoré par @pytest.mark.skip(reason="flaky"), la section contient
une ligne de la forme SKIPPED [1] tests/test_commandes.py:14: flaky. Elle
donne le fichier, la ligne et la raison, et le nombre entre crochets compte les
tests ignorés pour ce même emplacement et cette même raison. Un s apparaît
aussi dans la ligne de points. La suite n'est pas rouge, mais un test n'a pas
tourné.
Comparez ensuite le nombre de tests collectés avec celui relevé avant l'agent,
grâce à pytest --collect-only -q | tail -1 (même commande que plus haut : le
| passe la sortie à tail -1, qui garde la dernière ligne). La ligne est de
la forme 2 tests collected suivi de la durée. Quand -k ou --deselect écarte des
tests, elle devient de la forme 1/2 tests collected (1 deselected). Si le
nombre de tests retenus baisse alors que vous n'avez rien retiré, un test a
disparu.
Ce troisième contrôle ne voit pas un test affaibli : il reste collecté et il
passe, donc ni -rsx ni le nombre de tests ne bougent. Seule la lecture du diff
de tests/, le deuxième contrôle, le trouve : un assert plus lâche se lit
dans les lignes - et +. Quand une tranche touche à un fichier de tests/,
lisez donc ce diff en entier.
Un test modifié n'est pas toujours un test affaibli : une exigence qui change justifie un changement de test. La règle est que cette modification vient de vous, avant la génération, jamais de l'agent pendant qu'il génère. Pour relire un diff avec méthode, la page relire une automatisation apprend à le faire sans tout lire ligne à ligne, et le guide mode plan, diff et validations montre comment forcer l'agent à proposer un plan et à attendre votre accord avant d'écrire.
Que faire quand on refuse un diff ?
Section intitulée « Que faire quand on refuse un diff ? »Refuser un diff se fait en deux gestes : ne pas l'appliquer, et écrire la raison pour qu'elle serve à l'agent, à votre équipe et à la prochaine relecture. Une raison utile dit précisément ce qui est refusé : le fichier, le test, la ligne.
- tranche: R4, fournisseur bloqué decision: refusee raison: > Le diff ajoute @pytest.mark.skip sur tests/test_commandes.py::test_fournisseur_bloque_refuse (ligne 14). Le critère AC-4 n'est plus vérifié. Redemander la tranche sans toucher aux tests.Une raison comme « mauvais diff » ne sert à rien : l'agent et vous la
retrouverez dans trois semaines sans pouvoir la rejouer. Le refus se reformule
ensuite à l'agent avec la même précision : « ne modifie pas tests/, corrige
commandes.py pour que test_fournisseur_bloque_refuse passe ». Si l'agent
persiste, c'est un signal : arrêtez la session et recadrez, comme l'explique le
guide erreurs courantes et
recadrage.
Quelles sont les limites de cette méthode ?
Section intitulée « Quelles sont les limites de cette méthode ? »Cette boucle réduit un risque précis, le code qui ne répond pas à ce que vous avez décidé, mais elle ne le supprime pas, et elle laisse d'autres risques ouverts.
Un test ne vaut que ce que vaut la spécification qu'il traduit. Si l'exigence oublie un cas, par exemple un fournisseur au statut inconnu, la suite reste verte et le défaut passe. Les tests ne détectent pas non plus une faille de sécurité que personne n'a décrite : un contrôle d'accès absent ne fait échouer aucun test qu'on n'a pas écrit. Cette boucle décrit ce que vous faites. Détecter ces défauts automatiquement, avec un scanner de code par exemple, est un autre sujet.
Enfin, la méthode repose sur votre discipline : rien n'empêche techniquement l'agent de modifier un test si vous ne le lui interdisez pas. Écrire la règle dans les instructions du projet aide, la faire appliquer par un contrôle automatique est plus sûr, et c'est un autre sujet. En attendant, les trois contrôles vus plus haut permettent de la tenir à la main.
Dépannage
Section intitulée « Dépannage »Le tableau part de ce que vous observez après une tranche et mène au contrôle à lancer.
| Symptôme | Cause probable | Correction |
|---|---|---|
| Le test écrit d'abord passe tout de suite | Il ne vérifie pas le comportement attendu, ou le code existait déjà | Relire l'assertion ; ajouter le cas d'erreur ; refaire échouer le test avant de générer |
| Le diff fait plusieurs centaines de lignes | La tranche est trop grosse | Refuser et redemander une exigence à la fois |
La suite est verte mais pytest -rsx liste des tests ignorés | Un test a reçu skip ou xfail | Refuser le diff, consigner la ligne, demander la correction du code |
| Le nombre de tests collectés a baissé | Un test, un fichier ou une option de configuration a été retiré | git diff HEAD --stat (HEAD~1 si l'agent a commité) puis relire conftest.py et pytest.ini |
| Le nombre de tests n'a pas bougé, mais un test passe pour trop de résultats | Un assert a été affaibli, dans un changement indexé ou commité | git diff HEAD -U0 -- tests/ (HEAD~1 si commité) et lire les lignes - et + |
| L'agent réécrit le test à chaque tentative | Les instructions ne l'interdisent pas | Dire explicitement de ne pas modifier tests/ ; sinon arrêter la session |
Mettre en pratique
Section intitulée « Mettre en pratique »Le lab reprend le portail-achats, le fil rouge de la formation, et fait
pratiquer les gestes de cette leçon sur un module de commandes. Il est
recommandé : c'est la preuve du geste. Il faut un terminal, Python 3.11 ou plus,
pytest installé, et patch ou git pour appliquer un changement.
Un agent simulé propose deux changements au module des commandes. Vous lancez la suite avant de toucher à quoi que ce soit, lisez chaque patch, appliquez celui qui respecte la spécification et refusez l'autre en consignant la raison dans le journal de revue. Vous écrivez ensuite un critère d'acceptation relié à un test pour la nouvelle exigence. La validation relance toute la suite : le changement accepté doit passer, chaque test d'origine doit toujours s'exécuter et réussir, les totaux doivent rester exacts, le refus doit figurer au journal avec sa raison, et le test du critère doit échouer dès que l'exigence est cassée.
Les fichiers du lab portent des noms anglais (orders.py, SPEC.md), et non
ceux du portail-achats de la leçon (commandes.py) : la méthode est la même.
À retenir
Section intitulée « À retenir »- Un agent de code optimise ce que vous mesurez : une suite verte s'obtient aussi en supprimant, en ignorant ou en affaiblissant un test.
- Chaque exigence porte un critère d'acceptation relié à un test nommé.
- Une tranche est la plus petite modification qui rend une exigence vraie, et son diff se relit en quelques minutes.
- Le test s'écrit et se relit avant le code, et il doit échouer pour la bonne raison avant la génération.
- Avant de lancer l'agent, notez le nombre de tests collectés. Avant
d'accepter, vérifiez les fichiers modifiés (
git diff HEAD --stat, avecHEAD~1si l'agent a commité), les lignes retirées danstests/et le nombre de tests qui ont réellement tourné. Un test affaibli ne se voit que dans le diff detests/. - Refuser un diff se consigne avec le fichier, le test et la ligne concernés.
- La méthode ne remplace ni une spécification complète ni une revue de sécurité : un cas oublié reste un cas non testé.
Contrôle de connaissances
Section intitulée « Contrôle de connaissances »Ces huit questions portent sur la spécification vérifiable, le découpage en tranches, le test écrit d'abord et le refus d'un diff qui affaiblit un test.
Contrôle de connaissances
Validez vos connaissances avec ce quiz interactif
Informations
- Le chronomètre démarre au clic sur Démarrer
- Questions à choix multiples, vrai/faux et réponses courtes
- Vous pouvez naviguer entre les questions
- Les résultats détaillés sont affichés à la fin
Lance le quiz et démarre le chronomètre
Vérification
(0/0)Score par domaine
Un domaine regroupe plusieurs guides et reçoit plusieurs questions : son score est plus fiable qu'un score par thème, qui porte souvent sur une seule question.
Bilan
Points forts
Aucun sujet réussi à 80 % sur au moins deux questions pour l’instant.
Points faibles
Aucun sujet sous le seuil de réussite.
À faire ensuite
Des indices pour retenter votre chance ?
Continuer le cours : Vérifier une dépendance proposée par l'IA avant de l'installer
Nouveau quiz complet avec des questions aléatoires
Retravailler uniquement les questions ratées
Retour à la liste des certifications