Set-OPS-Public/wiki/La-preuve.md

138 lines
6.7 KiB
Markdown
Raw Normal View History

# La preuve — prouver, pas affirmer
> **Unité d'apprentissage.** Moule : ① concept → ② Set-OPS → ③ transférable → ④ à toi de jouer.
---
## ① Le concept *(générique)*
Une affirmation sans **vérification rejouable** n'est que du marketing. « C'est sécurisé »,
« c'est sauvegardé », « ça fonctionne » — *prouve-le*. La discipline se résume à une règle :
> **Ne jamais affirmer plus que ce qu'on prouve.**
Trois idées la portent :
- **Registre d'affirmations** — chaque promesse publique est tracée vers une **commande qui la
vérifie**, ou marquée honnêtement « non prouvée ».
- **Harnais rejouable** — une seule commande rejoue *toutes* les preuves et produit une **pièce
justificative datée**. On ne « croit » pas : on **relance**.
- **Le registre a le droit de perdre** — une preuve qui échoue fait *redescendre* l'affirmation.
C'est la seule condition pour qu'un tel registre ait de la valeur.
---
## ② Comment Set-OPS le fait
- **Le registre** : `docs/audit/affirmations.md` — chaque affirmation du dépôt (README, docs,
aide `make`, GUI) reliée à une preuve et un statut (✅/🟡/❌/⚪).
preuves : trois gardes pour ce que ma lecture ne tiendra pas Une revision de documentation vieillit comme le reste. Ce qui tient, c est ce qu une machine verifie — et trois lacunes etaient nommees sans etre gardees. P58 HABILITATIONS. autorisation.md posait la regle (un service nomme un GROUPE, jamais une personne, D-66) et meta/acces.yml la portait ; rien ne la verifiait. P29 gardait les POSITIONS d authentification, personne ne gardait les DROITS. Le controle qui porte la preuve est un croisement : une entree porte_par: role-realm affirme que l habilitation voyage par un role de realm projete depuis un groupe LDAP. P58 le confronte a serveur_keycloak. Sans ca, un service annonce une habilitation que rien ne transporte, et l ecran reste vide sans que personne sache pourquoi. CE QU ELLE N EXIGE PAS, et c est le point le plus important : que les groupes nommes existent dans l annuaire. Ce serait contredire le regime du paragraphe 2 — le depot AMORCE un acces et se retire, les appartenances appartiennent a une personne. dev et personnel n existent dans aucun code, et ce n est pas un defaut. P59 ENUMERATIONS ANNONCEES. Les deux ecarts trouves a la main pendant la tournee — cinq portes annoncees devant une table de six, huit lignes renvoyees vers une fiche qui en compte dix — etaient d une forme que P57 ne voit pas. Ma premiere version a signale CINQ ecarts, et les cinq etaient du bruit : dans « reprise dans les deux devis : », le nombre qualifie autre chose que la liste. Cent pour cent de faux positifs — la preuve qui crie sur un cas sain et qu on apprend a ignorer. Resserree aux deux formes ou le nombre ne peut compter rien d autre. Etroite et vraie plutot que large et devineuse. P60 WIKI PUBLIE. Le wiki est publie DEPUIS le depot ; rien ne mesurait l ecart, et il s est creuse de VINGT-SEPT JOURS en silence. Deux unites jamais publiees, vingt et une differentes : pour qui lit la forge plutot que le depot, toute la revision n existait pas. Le harnais est STATIQUE, zero appel reseau — cloner la forge romprait la seule propriete qui fasse qu une preuve vaille hors de ce poste. La mesure passe donc par un TEMOIN que make wiki-publier depose. Amorce avec la valeur MESUREE : le wiki d eregion porte b6167f2, dont le message dit source: ac85278. Ce qu elle ne prouve pas : un temoin dit ce qui est PARTI, jamais ce qui est ARRIVE. LES TROIS SONT EPROUVEES DANS LES DEUX SENS Douze essais negatifs, douze refus : groupe non projete, acces.yml disparu, personne au lieu d un groupe, mecanisme invente, raison manquante, compte revenu a cinq, septieme porte ajoutee sans toucher au compte, renvoi croise fausse, temoin absent, temoin d un autre depot. Une garantie qu on n a jamais vu dire non n est pas une garantie, c est une habitude. ETAT : NON CONFORME, 58 OK, 1 echec, 1 saute. P60 est rouge, et c est le comportement voulu : le registre a le droit de perdre. Le retard qu elle signale est reel et anterieur a elle. Une commande le ferme, et elle vient ensuite. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-08 12:47:18 -04:00
- **Le harnais** : `make prouver` rejoue les preuves automatisables (**P01–P60**, sans trou dans la série) et écrit
`docs/audit/preuve-<date>.md`. `make verifier` les inclut : il **échoue** si une preuve échoue.
- **Chaque preuve garde une classe d'erreur.** Extrait :
| Preuve | Ce qu'elle empêche de mentir |
|---|---|
| P03 | l'inventaire n'est pas généré du plan (**diff vide**) |
| P06 | un registre incohérent (dont l'**hôte fantôme**) |
| P17 | un **modèle** invalide (tous, pas seulement le socle) |
| P18 | un **gabarit de voûte** incomplet |
| P19 | un champ du plan que le **GUI** ne sait pas éditer |
| P20 | de l'**adressage stocké** (tout doit dériver du seed) |
| P21 | une **collision d'index** entre instances fédérées |
| P31 | une capacité du dépôt **non expliquée** (script muet, cible sans aide, rôle sans README) |
| P32 | un intrant qu'un rôle **exige** et que l'instance ne fournit pas |
| P33 | deux rôles co-localisés qui **revendiquent le même port** |
portabilite : Technolibre debout, six devis, et P35 L'epreuve de portabilite est passee. Un second ecosysteme souverain complet, monte depuis zero par le meme moteur : 14 hotes, 2583 taches ok, 331 changed, 0 failed. Plan distinct, voute separee, realm technolibre, sa propre AC — et une topologie differente : LDAP et SSO sur des machines separees la ou Chezlepro les co-localise. Cinq devis CONFORME (identite, certificats, PostgreSQL, courriel, frontiere — 55 lignes 0 ecart). Le sixieme dit exactement la bonne chose : les 6 services repondent depuis l'edge, aucun depuis le poste, qui ne resout pas encore technolibre.internal (6 entrees /etc/hosts absentes — le plancher). SIXIEME DEFAUT MOTEUR. Le devis d'identite interrogeait LDAP en `ldapi:///` — un socket UNIX LOCAL — depuis l'hote serveur_keycloak. Cela ne marchait que par CO-LOCATION ACCIDENTELLE. Un tenant qui separe l'annuaire du SSO echouait sur « Failed to import python-ldap » : l'hote SSO n'a pas de client LDAP. Les deux lectures sont deleguees a l'hote DERIVE par resoudre_annuaire. P35 (D-75) : toute application dont le role exige une base en a une au plan. La garde de resoudre_base existait deja, mais s'est declenchee a la 92e tache de collab-01, apres quarante minutes, pour un ecart entierement lisible dans le plan. Rien n'y est code en dur : les roles concernes sont ceux qui INCLUENT resoudre_base, et le groupe reclame est lu dans le DEFAUT de la variable passee — jamais deduit du nom. serveur_icingaweb2 reclame la base de serveur_icinga ; une preuve supposant « role = groupe » aurait crie sur un cas sain. Eprouvee dans les deux sens ET sur les deux tenants, dont les registres n'ont pas la meme portee : base retiree -> ECHEC la nommant ; restauree -> OK. Verifie : prouver.py 35 OK sur les deux instances, ansible-lint production. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-10 13:36:44 -04:00
| P35 | une application dont le rôle **exige une base** sans entrée au plan — sinon l'écart n'apparaît qu'après quarante minutes de déploiement |
preuve : P34 — chaque document declare son lecteur (D-74) La refonte de ce matin posait une convention. Une convention qu'on n'outille pas tient tant que quelqu'un y pense : c'est le raisonnement de D-70, applique au corpus documentaire. Etat de depart mesure : 2 documents sur 34 declaraient leur lecteur. Les 32 autres disaient leur SUJET — ce qui avait enfoui le runbook de reprise le plus utile du depot au §6 de autorisation.md. Les 38 le declarent desormais, lecteur determine document par document et non colle au gabarit : l'exploitant (devis, migration de tenant, cycle de vie, gabarit d'or), le mainteneur (conceptions, registres, carte), le lecteur externe (ecosysteme-chezlepro), l'agent IA (MISE-A-JOUR-CODEX-CLAUDE). Deux exemptions DERIVEES, pas listees — un chemin en dur aurait vieilli a la premiere page ajoutee : un document qui s'annonce genere, et un fragment sans titre. Les 13 exemptes verifies un par un ; aucun document ecrit a la main n'est exempte par accident. La preuve ne lit que l'EN-TETE, ce qui empeche frontiere-opnsense.md et plan-et-generation.md — qui parlent de generation dans leur corps — d'etre exemptes a tort. Eprouvee dans les deux sens. Elle a echoue seule des sa premiere execution en nommant deux documents que mon inventaire avait manques (docs/audit/). Puis test negatif delibere : declaration retiree de meta-classe.md -> ECHEC la nommant ; restauree -> OK. Ce qu'elle ne teste pas : que le lecteur declare soit le BON. Ca se juge en revue ; elle garantit qu'on a du y penser. P01–P34. Comptes perimes corriges au passage (AGENTS.md et devis-services.md annoncaient encore 30 preuves). Verifie : prouver.py 0 (34 OK), plan-recette inchange. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
2026-08-10 07:53:04 -04:00
| P34 | un document qui ne **déclare pas son lecteur** — il finirait rangé par sujet, donc introuvable |
> **Ce que ces preuves ne font pas, et il faut le savoir avant de leur faire confiance.** Elles
> sont toutes **statiques** : elles lisent le dépôt, sans un seul appel réseau. Elles établissent
> qu'il est cohérent *avec lui-même* — jamais que le système déployé lui ressemble. C'est dans
> cet angle mort qu'un certificat d'autorité a pu rester expiré huit heures sous un harnais vert.
> La conformité du **déployé** est l'affaire des **devis de service** (voir `docs/devis-services.md`).
Ce n'est pas un framework de test parallèle : le harnais **orchestre** l'outillage existant, il ne
réimplémente aucune validation.
---
## ③ Pourquoi c'est transférable
| Set-OPS | Équivalents ailleurs |
|---|---|
| `make prouver` | tests automatisés, **CI/CD**, `terraform validate` |
| registre d'affirmations | *traçabilité de conformité* (SOC 2, ISO) |
| pièce justificative datée | *audit trail*, preuve d'audit |
| « le registre peut perdre » | un test vert n'est utile que s'il peut virer rouge |
Tu as appris **la vérification rejouable, la preuve d'audit, la culture du test** — pas « le
harnais de Set-OPS ».
---
## ④ À toi de jouer
1. **Produis une preuve.** `make prouver` (voûte exportée). Lis
`docs/audit/preuve-<date>.md` : chaque preuve, son verdict, l'affirmation couverte.
2. **Fais échouer une preuve — exprès.** Introduis un **hôte fantôme** : dans `applications.yml`,
pointe une appli vers un hôte qui n'existe pas dans `serveurs.yml`. `make prouver` : **P06
échoue**, en nommant l'hôte. Corrige (ou via le `<select>` de la GUI) : vert.
3. **Une autre.** Remets de l'adressage dans une nomenclature (`vlan: 42`), `make prouver` :
**P20 échoue**. Retire-le : vert.
4. **Lis le registre.** Ouvre `docs/audit/affirmations.md` : trouve une affirmation ⚪
(*non prouvable localement*) — vois comment elle est **assumée comme intention**, jamais
présentée comme prouvée.
5. **Comprends la valeur.** Demande-toi : *quelle promesse est-ce que je fais sans preuve ?*
C'est exactement ce que ce registre force à regarder en face.
---
## Le défaut le plus dangereux n'est pas l'erreur, c'est la **copie**
Set-OPS pilote plusieurs écosystèmes. Avant d'agir, chaque script doit donc savoir
**lequel il regarde** — par le lien `instance`, ou par la variable `SETOPS_INSTANCE`.
En août 2026, **neuf scripts avaient chacun écrit leur propre réponse** à cette question.
Trois lignes chacun. Aucune n'était fausse en soi.
Le problème n'est pas l'erreur : c'est que **neuf copies ne vieillissent pas ensemble**.
Quand on améliore l'une, les huit autres ne le savent pas. Et personne ne peut le voir,
parce que de l'intérieur d'un fichier, la copie locale a toujours l'air correcte.
### Ce que ça donnait
`make placement-plan` visait patient 0 et répondait :
```
Devis du placement — tenant « instance »
noeud asgard · stockage TrueNAS · gabarit 99998 → CONFORME
```
C'était vrai — **sur l'autre écosystème**. Sa copie lisait le lien au lieu de la variable.
Comme les deux tenants portaient les mêmes valeurs de placement, le verdict semblait
juste. C'est très exactement la circonstance où une erreur ne se voit pas.
Cinq défauts de cette famille sont sortis en cinq jours. Tous dans des outils qui
**constatent** — preuves et devis — jamais dans ceux qui agissent. C'est moins grave et
plus insidieux : un outil qui agit mal, on le voit ; un outil qui mesure mal dit
« conforme », et on passe à la suite.
### La réponse
Une **source unique** : une fonction, dans un fichier, que tous appellent. Si elle est
fausse, elle l'est partout d'un coup — donc visible, donc corrigée une fois.
Et une preuve, **P41**, qui refuse la prochaine copie. Elle en a trouvé une dixième le
jour de son écriture, dans le fichier des preuves lui-même.
> **C'est la même leçon que `proxmox-hebergeur.yml`** : les nœuds et stockages du cluster
> recopiés chez chaque tenant avaient divergé. Une source, pas N copies — pour les données
> comme pour le code.
---
## Pour aller plus loin *(dépôt)*
- Le mode d'emploi : `docs/audit/README.md`.
- Le registre : `docs/audit/affirmations.md` ; le harnais : `scripts/prouver.py`.
- L'épreuve humaine (« exploitable sans IA ») : `docs/audit/protocole-operateur-independant.md`.