2026-06-24 20:17:46 -04:00
|
|
|
---
|
|
|
|
|
- name: Installer node_exporter
|
|
|
|
|
ansible.builtin.apt:
|
|
|
|
|
name: "{{ client_metrique_paquets }}"
|
|
|
|
|
state: present
|
|
|
|
|
update_cache: true
|
|
|
|
|
cache_valid_time: 3600
|
|
|
|
|
|
metriques : le client installait un pilote IPMI qui echoue a chaque demarrage
LE REDEMARRAGE A TENU. obs-01 a redemarre avec son disque cloud-init
RETIRE de Proxmox — sans paquet et sans source de donnees — et elle est
revenue avec son adresse, sa passerelle et son resolveur. Le retrait de
cloud-init est desormais prouve par un demarrage reel.
ET IL A REVELE AUTRE CHOSE. Une unite en echec : openipmi.service. La
chaine est prometheus-node-exporter -> recommande collectors -> recommande
ipmitool -> recommande openipmi. Trois recommandations en cascade,
raisonnables sur du metal. Dans une VM il n y a pas de BMC et le script d
init echoue a chaque demarrage.
LE POINT N EST PAS LE PAQUET, C EST POURQUOI PERSONNE NE L AVAIT VU.
openipmi datait du 2026-09-02. systemctl --failed rendait pourtant ZERO
sur les quatorze machines — non parce qu elles allaient bien, mais parce
qu aucune n avait REDEMARRE depuis. Six jours et vingt heures pour obs-01.
Un controle qui ne peut echouer qu au demarrage ne mesure rien tant que
rien ne demarre.
Le degat n est pas cosmetique : une unite en echec permanent use le seul
signal qui devrait alerter. Le jour ou une vraie unite tombe, --failed
rend 2 au lieu de 1, et personne ne fait la difference.
CORRECTION A LA SOURCE ET CONDITIONNELLE. client_metrique retire ipmitool
et openipmi, mais SEULEMENT dans une VM (virtualization_role == guest) :
sur du metal le collecteur IPMI est legitime. Ils ne sont que RECOMMANDES,
donc les retirer n emporte pas les collectors, qui servent. Un handler
efface l etat failed que le retrait ne nettoie pas.
Applique aux quatorze : ipmi=0, collectors=1, node_exporter=active,
echecs=0. Second passage : zero changement sur zero hote.
RESTE OUVERT : rien dans le harnais ne regarde systemctl --failed sur la
flotte. Ce defaut a ete trouve parce qu un humain a redemarre une machine.
make prouver : CONFORME, 63 OK, 0 echec, 0 saute.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-09 16:20:32 -04:00
|
|
|
# Retire APRES l'installation, et pas avant : c'est elle qui les fait venir, en cascade
|
|
|
|
|
# de recommandations. `ipmitool` et `openipmi` ne sont que RECOMMANDES — les retirer
|
|
|
|
|
# n'emporte donc pas `prometheus-node-exporter-collectors`, dont les collecteurs
|
|
|
|
|
# textfile, eux, servent.
|
|
|
|
|
- name: Retirer le materiel qui ne peut pas exister dans une VM (IPMI)
|
|
|
|
|
ansible.builtin.apt:
|
|
|
|
|
name: "{{ client_metrique_paquets_sans_objet_en_vm }}"
|
|
|
|
|
state: absent
|
|
|
|
|
purge: true
|
|
|
|
|
autoremove: false
|
|
|
|
|
when: ansible_facts.virtualization_role | default('') == 'guest'
|
|
|
|
|
# Retirer le paquet n'efface pas l'ECHEC deja enregistre : systemd garde l'unite en
|
|
|
|
|
# `failed` jusqu'au prochain demarrage. Sur une flotte qui ne redemarre pas, ca
|
|
|
|
|
# voudrait dire des semaines de `systemctl --failed` non vide pour une unite qui
|
|
|
|
|
# n'existe plus — exactement le bruit qu'on vient de supprimer, conserve par
|
|
|
|
|
# inadvertance.
|
|
|
|
|
notify: Effacer l etat d echec des unites retirees
|
|
|
|
|
|
2026-07-04 21:04:40 -04:00
|
|
|
# --- TLS : synchroniser le cert step_ca AVANT d'activer --web.config.file ---
|
|
|
|
|
- name: TLS — repertoire des certificats (prometheus)
|
|
|
|
|
ansible.builtin.file:
|
|
|
|
|
path: "{{ client_metrique_tls_dir }}"
|
|
|
|
|
state: directory
|
|
|
|
|
owner: prometheus
|
|
|
|
|
group: prometheus
|
|
|
|
|
mode: "0700"
|
|
|
|
|
when: client_metrique_tls_actif | bool
|
|
|
|
|
|
|
|
|
|
- name: TLS — script de synchronisation du certificat
|
|
|
|
|
ansible.builtin.template:
|
|
|
|
|
src: setops-node-exporter-cert-sync.sh.j2
|
|
|
|
|
dest: /usr/local/sbin/setops-node-exporter-cert-sync
|
|
|
|
|
owner: root
|
|
|
|
|
group: root
|
|
|
|
|
mode: "0755"
|
|
|
|
|
when: client_metrique_tls_actif | bool
|
|
|
|
|
|
|
|
|
|
- name: TLS — unites de synchronisation (service + path)
|
|
|
|
|
ansible.builtin.template:
|
|
|
|
|
src: "{{ item.s }}"
|
|
|
|
|
dest: "{{ item.d }}"
|
|
|
|
|
owner: root
|
|
|
|
|
group: root
|
|
|
|
|
mode: "0644"
|
|
|
|
|
loop:
|
|
|
|
|
- { s: "setops-node-exporter-cert-sync.service.j2", d: "/etc/systemd/system/setops-node-exporter-cert-sync.service" }
|
|
|
|
|
- { s: "setops-node-exporter-cert-sync.path.j2", d: "/etc/systemd/system/setops-node-exporter-cert-sync.path" }
|
|
|
|
|
loop_control:
|
|
|
|
|
label: "{{ item.d | basename }}"
|
|
|
|
|
when: client_metrique_tls_actif | bool
|
|
|
|
|
|
|
|
|
|
- name: TLS — activer la surveillance du certificat (path)
|
|
|
|
|
ansible.builtin.systemd:
|
|
|
|
|
name: setops-node-exporter-cert-sync.path
|
|
|
|
|
enabled: true
|
|
|
|
|
state: started
|
|
|
|
|
daemon_reload: true
|
|
|
|
|
when:
|
|
|
|
|
- client_metrique_tls_actif | bool
|
|
|
|
|
- not ansible_check_mode
|
|
|
|
|
|
|
|
|
|
- name: TLS — synchroniser le certificat maintenant
|
|
|
|
|
ansible.builtin.command: /usr/local/sbin/setops-node-exporter-cert-sync
|
|
|
|
|
changed_when: false
|
|
|
|
|
when:
|
|
|
|
|
- client_metrique_tls_actif | bool
|
|
|
|
|
- not ansible_check_mode
|
|
|
|
|
|
|
|
|
|
- name: TLS — deployer la web-config de node_exporter
|
|
|
|
|
ansible.builtin.template:
|
|
|
|
|
src: web-config.yml.j2
|
|
|
|
|
dest: "{{ client_metrique_web_config }}"
|
|
|
|
|
owner: root
|
|
|
|
|
group: prometheus
|
|
|
|
|
mode: "0640"
|
|
|
|
|
when: client_metrique_tls_actif | bool
|
|
|
|
|
notify: Redemarrer node_exporter
|
|
|
|
|
|
|
|
|
|
- name: TLS — verifier la presence du certificat synchronise
|
|
|
|
|
ansible.builtin.stat:
|
|
|
|
|
path: "{{ client_metrique_tls_dir }}/{{ item }}"
|
|
|
|
|
register: client_metrique_tls_stat
|
|
|
|
|
loop:
|
|
|
|
|
- node.crt
|
|
|
|
|
- node.key
|
|
|
|
|
when:
|
|
|
|
|
- client_metrique_tls_actif | bool
|
|
|
|
|
- not ansible_check_mode
|
|
|
|
|
|
|
|
|
|
- name: TLS — garde-fou, ne pas activer sans certificat en place
|
|
|
|
|
ansible.builtin.assert:
|
|
|
|
|
that:
|
|
|
|
|
- item.stat.exists
|
|
|
|
|
fail_msg: "Cert node_exporter absent ({{ item.item }}) — TLS non active."
|
|
|
|
|
loop: "{{ client_metrique_tls_stat.results | default([]) }}"
|
|
|
|
|
loop_control:
|
|
|
|
|
label: "{{ item.item }}"
|
|
|
|
|
when:
|
|
|
|
|
- client_metrique_tls_actif | bool
|
|
|
|
|
- not ansible_check_mode
|
|
|
|
|
|
2026-06-24 20:17:46 -04:00
|
|
|
- name: Definir les arguments de node_exporter (adresse d'ecoute)
|
|
|
|
|
ansible.builtin.template:
|
|
|
|
|
src: default-node-exporter.j2
|
|
|
|
|
dest: /etc/default/prometheus-node-exporter
|
|
|
|
|
owner: root
|
|
|
|
|
group: root
|
|
|
|
|
mode: "0644"
|
|
|
|
|
notify: Redemarrer node_exporter
|
|
|
|
|
|
|
|
|
|
- name: Activer et demarrer node_exporter
|
|
|
|
|
ansible.builtin.systemd:
|
|
|
|
|
name: "{{ client_metrique_service }}"
|
|
|
|
|
enabled: true
|
|
|
|
|
state: started
|
observabilite : le site cesse de ne rien voir de lui-meme
D-87 disait que l hebergeur n a pas le droit de voir les journaux de ses
locataires. La decision avait une face cachee : a force de refuser de voir
ceux des autres, le site s etait prive des siens. Ses sept machines
n expediaient nulle part.
Il prend donc sa propre pile : prometheus, loki et grafana sur site-mon-01,
sans aucun lien avec ceux d un tenant. L exemption qui bloquait portait sa
propre condition de levee, ecrite cinq jours plus tot dans le plan.
Grafana au site n a pas de SSO, et le role l ignorait : il reclamait l IdP
avant de regarder s il en voulait un. L interrupteur existait, il n etait
pas honore. Le role refuse desormais SSO eteint ET formulaire local eteint
- la combinaison deploie un Grafana en sante ou personne ne peut entrer -
et le reglage du formulaire sort du if du SSO, ou il disparaissait en
laissant le defaut amont decider en silence.
Deux manques se cachaient l un l autre dans le devis de la frontiere, et
Prometheus voyait 1 cible sur 7 :
- le devis derivait les groupes d une machine du site de applications.yml
seul, et ne voyait donc aucune integration universelle - alors que
client_metrique ouvre un port d ecoute ;
- une sortie vers un role du site visait !SETOPS_INTERNES, qui exclut
precisement la machine nommee. Le devis autorisait a expedier les
journaux du site a n importe quel Loki du monde, et a nul autre endroit
qu a celui-la. Neuf flux dans ce cas.
Et deux declarations justes ne font qu une regle : appliquer_opnsense pose
tout en direction: in (D-61).
Les deux agents se supervisent enfin eux-memes. La sonde des journaux ne
demande pas si Alloy tourne, elle lit ce qu il a du JETER. Elle a fait ses
preuves le jour meme : Alloy actif, /-/ready a 200, et cinquante lignes
perdues sur six machines.
Mesure : metriques 7/7 vert, journaux 1/7 - les six autres attendent la
regle de frontiere, et le disent. prouver 64 OK, ansible-lint 0 defaut.
Reste a la main de l exploitant : make frontiere-appliquer CONFIRMER=true,
et le secret vault_grafana_admin a deposer dans underlay.vault.yml.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-10 04:43:01 -04:00
|
|
|
|
|
|
|
|
# LA SONDE VIT AVEC LE ROLE QU'ELLE MESURE (docs/supervision-conception.md). Le porteur
|
|
|
|
|
# `client_sante` fait tourner tout ce qui vit dans ce repertoire ; il n'a pas a savoir ce
|
|
|
|
|
# que celle-ci mesure.
|
|
|
|
|
- name: Assurer le repertoire des sondes de supervision
|
|
|
|
|
ansible.builtin.file:
|
|
|
|
|
path: /usr/local/lib/setops/sondes
|
|
|
|
|
state: directory
|
|
|
|
|
owner: root
|
|
|
|
|
group: root
|
|
|
|
|
mode: "0755"
|
|
|
|
|
|
|
|
|
|
- name: Deposer la sonde des metriques servies
|
|
|
|
|
ansible.builtin.template:
|
|
|
|
|
src: sonde-metriques.sh.j2
|
|
|
|
|
dest: /usr/local/lib/setops/sondes/metriques.sh
|
|
|
|
|
owner: root
|
|
|
|
|
group: root
|
|
|
|
|
mode: "0750"
|