Set-OPS-Public/roles/serveur_grafana/tasks/main.yml
Daniel Allaire 05ec7a8743 grafana : un tableau de synthèse, au site et chez les locataires
- tableau-synthese : faut-il agir, marge, activité, où regarder ensuite ;
  hyperviseurs au site seulement ; chaque panneau dit quoi faire
- CHANGELOG 70

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-04 01:12:00 -04:00

513 lines
22 KiB
YAML

---
# UNE PORTE AU MOINS. Sans SSO et sans formulaire local, Grafana demarre, se porte
# bien, et personne n'entre. Les deux reglages sont independants et se sont deja
# retrouves a `false` ensemble : la combinaison se refuse ici, pas apres le
# deploiement, quand plus aucun chemin ne mene a la console.
- name: Exiger au moins un chemin de connexion
ansible.builtin.assert:
that:
- (serveur_grafana_oidc_actif | bool) or (serveur_grafana_connexion_locale | bool)
fail_msg: >-
Ni SSO (`serveur_grafana_oidc_actif`) ni formulaire local
(`serveur_grafana_connexion_locale`) : Grafana n'aurait aucune porte d'entree.
# L'URL PUBLIQUE de l'IdP se derive de l'exposition declaree au plan, elle ne se
# fabrique pas : `keycloak.<domaine>` n'est publie nulle part (voir resoudre_idp).
#
# ON NE RESOUT QUE CE QU'ON UTILISE. Le role reclamait l'IdP AVANT de regarder s'il
# en voulait un : au site, qui n'a ni Keycloak ni `domaines.yml` (D-87 : l'identite
# ne monte pas), le deploiement echouait sur un registre absent — pour derive une URL
# qu'aucun gabarit n'allait ecrire. L'interrupteur existait, il n'etait pas honore.
- name: Resoudre le fournisseur d'identite (role partage)
ansible.builtin.include_role:
name: resoudre_idp
vars:
resoudre_idp_realm: "{{ serveur_grafana_oidc_realm }}"
when: serveur_grafana_oidc_actif | bool
- name: Exiger le mot de passe admin Grafana (Vault)
ansible.builtin.assert:
that:
- serveur_grafana_admin_password | length > 0
fail_msg: "serveur_grafana_admin_password est requis (Ansible Vault)."
- name: Assurer le repertoire des trousseaux apt
ansible.builtin.file:
path: /etc/apt/keyrings
state: directory
owner: root
group: root
mode: "0755"
# Recuperee UNE FOIS. Sans garde, chaque deploiement recontactait le serveur du
# fournisseur : cinq cles x quatorze hotes = soixante-dix allers-retours externes pour
# des cles deja installees, et autant d'occasions qu'un tiers lent fasse tomber le
# deploiement. Arbitrage rendu le 2026-08-09 : une plateforme souveraine ne depend pas
# de six serveurs etrangers pour redeployer ce qu'elle possede deja.
#
# CONSEQUENCE ASSUMEE : une rotation de cle amont n'est plus recuperee toute seule. Elle
# ne passe pas inapercue pour autant — `apt` refuse alors le depot, bruyamment. Pour
# forcer le rafraichissement : supprimer le fichier et rejouer le role.
# UN FICHIER VIDE EXISTE (mesure du 2026-09-10).
#
# Cette garde demandait « ce fichier est-il la ? ». Un telechargement interrompu — un 503,
# un delai depasse, une coupure — laisse un fichier de ZERO octet, qui existe. La tache
# est donc sautee a tous les passages suivants, et la machine garde une ressource morte
# pour toujours, en silence.
#
# CE QUE CA A COUTE : `infra-mail-01` a garde une cle smallstep de 0 octet apres une
# epreuve hors ligne. Treize machines portaient 1022 octets, elle portait le vide :
#
# E: Le depot http://packages.smallstep.com/... n'est pas signe.
#
# Le meme jour, l'index `dists/trixie` du cache du site etait tombe de 140 416 a 4 332
# octets — meme famille, autre endroit. Un telechargement partiel ne se signale pas : il
# se fait passer pour un succes.
#
# On demande donc « est-il ENTIER ? » — a defaut de pouvoir demander « est-il JUSTE ? »,
# ce qui exigerait une empreinte de reference que l'amont ne publie pas toujours.
- name: Cette ressource est-elle deja recuperee ? (Telecharger la cle de signature Gr)
ansible.builtin.stat:
path: "{{ serveur_grafana_depot_cle_fichier }}"
register: telecharger_la_cle_de_signature_grafana_present
# ... ET IL FAUT LE RETIRER, PAS SEULEMENT LE REDEMANDER (mesure du 2026-09-10).
#
# Laisser la garde autoriser la tache ne suffit PAS. `get_url` sur une destination qui
# existe emet une requete CONDITIONNELLE : l'amont repond « non modifie », le module rend
# `ok`, et le fichier corrompu reste en place. Mesure : la tache s'executait bien
# (`ok: [infra-mail-01]`), et la cle faisait toujours 0 octet au passage suivant. Un
# `force: yes` manuel l'a reparee en une seconde.
#
# On efface donc la ruine avant de reconstruire. `state: absent` ne mord que sur un
# fichier vide : une cle valide n'est jamais retiree, et la doctrine « on ne retelecharge
# pas ce qu'on possede deja » reste intacte.
- name: Retirer une ressource VIDE avant de la redemander
ansible.builtin.file:
path: "{{ serveur_grafana_depot_cle_fichier }}"
state: absent
when:
- telecharger_la_cle_de_signature_grafana_present.stat.exists
- (telecharger_la_cle_de_signature_grafana_present.stat.size | default(0)) == 0
- name: Telecharger la cle de signature Grafana
when: not (telecharger_la_cle_de_signature_grafana_present.stat.exists and telecharger_la_cle_de_signature_grafana_present.stat.size | default(0) > 0)
# `force` PARCE QU'UNE REPRISE CONDITIONNELLE NE REPREND RIEN (2026-09-12).
#
# Sans lui, `get_url` envoie un `If-Modified-Since` des que le fichier existe. Le cache
# repond `304 Not Modified`, la tache reussit sans rien ecrire, et la boucle `until`
# — qui exige une taille non nulle — retente cinq fois contre un serveur qui repondra
# toujours 304 :
#
# HTTP Error 304: Not Modified size: 0 attempts: 5
#
# C'est la boucle de reprise qui se bat contre elle-meme. Le `when:` ci-dessus garantit
# deja qu'on ne retelecharge pas une cle valide ; `force` ne concerne donc que le cas
# ou l'on a DECIDE d'aller chercher.
ansible.builtin.get_url:
force: true
url: "{{ serveur_grafana_depot_cle_url }}"
dest: "{{ serveur_grafana_depot_cle_fichier }}"
owner: root
group: root
mode: "0644"
# LA CLE PASSE PAR LE CACHE, ELLE AUSSI (mesure du 2026-09-10).
#
# `get_url` ignore la configuration d'apt : le mandataire pose dans
# `/etc/apt/apt.conf.d/` ne vaut que pour apt. Les cles de signature sortaient donc
# TOUJOURS en direct, meme apres que tous les depots soient passes par le cache — un
# trou reste ouvert derriere une porte qu'on croyait fermee.
#
# Et ce n'est pas theorique : depuis `collab-01`, la route directe vers
# `www.collaboraoffice.com` EXPIRE, quand le cache l'atteint sans peine.
#
# en direct grafana 200 collabora TIMEOUT
# via le cache collabora 200
#
# Le meme geste corrige donc les deux : plus rien ne sort, et la machine qui n'avait
# pas de route en trouve une.
#
# DEGRADE, JAMAIS DEVINE : sans cache d'amorcage declare, la valeur est VIDE et
# `get_url` sort en direct comme avant. On n'invente pas un mandataire.
environment:
http_proxy: >-
{{ ('http://' ~ artefacts_amorcage) if (artefacts_amorcage | default('') | string | length > 0) else '' }}
https_proxy: ""
register: serveur_grafana_cle_depot
retries: 5
delay: 6
until: serveur_grafana_cle_depot is succeeded and (serveur_grafana_cle_depot.size | default(0)) > 0
# `apt_repository` AJOUTE, IL NE REMPLACE PAS (mesure du 2026-09-10).
#
# Passer une source de `https://` a `http://` y ecrit une SECONDE ligne au lieu de
# corriger la premiere. apt interroge alors les deux — et l'ancienne continue de sortir
# en direct sur Internet, ce que le passage au cache visait justement a supprimer. Le
# symptome le disait, sur les quatorze machines :
#
# W: La cible Packages est specifiee plusieurs fois dans grafana.list:1 et :2
#
# On retire donc explicitement la forme precedente. `state: absent` ne mord que si la
# ligne existe : sur une machine neuve, cette tache ne fait rien.
- name: Mesurer la cle de signature Grafana qui vient d'etre posee
ansible.builtin.stat:
path: "{{ serveur_grafana_depot_cle_fichier }}"
register: cle_grafana_posee
- name: Exiger une cle NON VIDE avant de s'en servir
# UNE REUSSITE N'EST PAS UN CONTENU (mesure du 2026-09-11). Sur une reconstruction a
# froid, `get_url` a rendu 0 octet sans erreur sur UNE machine des quatorze : le cache
# a servi un 200 au corps vide. La garde « retirer une ressource VIDE » ne mord qu'au
# passage SUIVANT, quand le fichier existe deja — au premier, elle n'a rien a retirer.
#
# Le defaut ne se lisait pas ici. Il se lisait deux cents lignes plus loin, dans un
# `apt` qui accusait la SIGNATURE : « Missing key ..., which is needed to verify
# signature ». Un message qui envoie chercher une cle revoquee chez le fournisseur,
# alors que le fichier local fait zero octet.
ansible.builtin.assert:
that:
- (cle_grafana_posee.stat.size | default(0)) > 0
fail_msg: >-
La cle de signature Grafana ({{ serveur_grafana_depot_cle_fichier }}) fait 0 octet.
Le depot a repondu sans corps — cache vide, ou amont injoignable. apt echouera
plus loin en accusant la signature : c'est ICI qu'il faut regarder.
- name: Retirer la forme HTTPS du depot (elle contournait le cache)
ansible.builtin.apt_repository:
repo: "{{ serveur_grafana_depot_source | replace('http://', 'https://') }}"
filename: grafana
state: absent
when: serveur_grafana_depot_schema == 'http'
- name: Ajouter le depot apt Grafana
ansible.builtin.apt_repository:
repo: "{{ serveur_grafana_depot_source }}"
filename: grafana
state: present
# LE CACHE DU CONTROLEUR D'ABORD, LE DEPOT DISTANT POUR LE RESTE (2026-09-03).
#
# Les depots tiers sont en HTTPS, et `client_artefacts` pose
# `Acquire::https::Proxy "DIRECT"` — ils CONTOURNENT donc le cache du site et sortent sur
# Internet a chaque construction de VM. `make cacher-paquets` les tire une fois, versions
# epinglees et empreintes verifiees ; ce role les depose depuis ce cache.
- name: Poser les paquets tiers depuis le cache du controleur
ansible.builtin.include_role:
name: paquets_tiers
vars:
paquets_tiers_noms: "{{ serveur_grafana_paquets }}"
- name: Installer Grafana
ansible.builtin.apt:
# CE QUE LE CACHE N'A PAS FOURNI, ET RIEN D'AUTRE. Les dependances Debian passent
# par le cache du site en HTTP ; seuls les paquets tiers non caches exigent Internet.
# Reinstaller ce que le cache vient de poser ferait un `update_cache` inutile — et
# hors ligne, il echouerait APRES un travail deja fait.
name: "{{ serveur_grafana_paquets | difference((paquets_tiers_disponibles | default({})).keys() | list) }}"
state: present
update_cache: true
when: (serveur_grafana_paquets
| difference((paquets_tiers_disponibles | default({})).keys() | list)) | length > 0
- name: Provisionner les datasources (Prometheus + Loki)
ansible.builtin.template:
src: datasources.yaml.j2
dest: /etc/grafana/provisioning/datasources/setops.yaml
owner: root
group: grafana
mode: "0640"
notify: Redemarrer grafana
- name: Assurer le repertoire des dashboards
ansible.builtin.file:
path: "{{ serveur_grafana_dashboards_dir }}"
state: directory
owner: root
group: grafana
mode: "0750"
- name: Deployer le provisioning des dashboards
ansible.builtin.template:
src: dashboards.yaml.j2
dest: /etc/grafana/provisioning/dashboards/setops.yaml
owner: root
group: grafana
mode: "0640"
notify: Redemarrer grafana
- name: Deployer les dashboards Set-OPS
ansible.builtin.copy:
src: dashboards/
dest: "{{ serveur_grafana_dashboards_dir }}/"
owner: root
group: grafana
mode: "0640"
directory_mode: "0750"
notify: Redemarrer grafana
# --- UN TABLEAU PAR ROLE QUI DECLARE DES PANNEAUX (2026-09-14) -------------------------
#
# LA MOITIE QUI MANQUAIT. Les roles declaraient leurs panneaux dans `meta/metriques.yml`,
# Prometheus en derivait deja ses cibles, les expressions repondaient — et RIEN ne les
# assemblait. Un panneau declare que personne ne peut regarder n'est pas une
# observabilite, c'est une intention.
#
# EXACTEMENT LE PATRON DE `serveur_prometheus`, qui lit les memes fichiers pour en tirer
# ses cibles de scrutation. Les deux moities de `metriques.yml` trouvent ainsi leur
# consommateur : l'`exportateur` chez Prometheus, les `panneaux` ici.
#
# `run_once` ET `delegate_to: localhost` : les declarations vivent dans le DEPOT, sur le
# controleur — pas sur la machine. On les lit une fois, on les rend pour tout le monde.
- name: Relever les metriques que les roles declarent
ansible.builtin.find:
paths: "{{ role_path }}/.."
patterns: metriques.yml
recurse: true
depth: 3
delegate_to: localhost
become: false
run_once: true
check_mode: false
register: serveur_grafana_metas
- name: Lire chaque declaration de metriques
ansible.builtin.slurp:
src: "{{ item.path }}"
delegate_to: localhost
become: false
run_once: true
check_mode: false
loop: "{{ serveur_grafana_metas.files }}"
loop_control:
label: "{{ item.path | dirname | dirname | basename }}"
register: serveur_grafana_declarations
# CE QUI SERA POSE, CALCULE UNE FOIS. On ne garde que les roles qui declarent vraiment des
# `panneaux` : un `metriques.yml` peut n'avoir qu'un `exportateur` — il aura une cible
# Prometheus et aucun tableau, et c'est un etat legitime, pas un oubli.
- name: Retenir les roles qui ont des panneaux a montrer
ansible.builtin.set_fact:
serveur_grafana_tableaux: >-
{{ serveur_grafana_declarations.results
| map(attribute='item.path') | map('dirname') | map('dirname') | map('basename')
| zip(serveur_grafana_declarations.results
| map(attribute='content') | map('b64decode') | map('from_yaml'))
| selectattr(1, 'mapping')
| selectattr('1.panneaux', 'defined')
| rejectattr('1.panneaux', 'none')
| list }}
run_once: true
- name: Assembler le tableau de chaque role
ansible.builtin.template:
src: tableau-role.json.j2
dest: "{{ serveur_grafana_dashboards_dir }}/{{ serveur_grafana_tableaux_prefixe }}{{ item.0 }}.json"
owner: root
group: grafana
mode: "0640"
# LE JSON EST VALIDE AVANT D'ETRE POSE. Grafana n'echoue pas sur un tableau illisible :
# il le SAUTE, en silence, et le tableau disparait simplement de la liste. Sans cette
# validation, une expression PromQL mal repliee ferait perdre un tableau sans qu'aucune
# tache ne devienne rouge.
validate: "python3 -c \"import json,sys; json.load(open(sys.argv[1]))\" %s"
loop: "{{ serveur_grafana_tableaux }}"
loop_control:
label: "{{ item.0 }} ({{ item.1.panneaux | length }} panneau(x))"
vars:
tableau_role: "{{ item.0 }}"
tableau_panneaux: "{{ item.1.panneaux }}"
notify: Redemarrer grafana
# --- LE MATERIEL (2026-09-17) -----------------------------------------------------------
#
# Les hyperviseurs n'ont aucun role Set-OPS pour declarer leurs capteurs : ils ne sont pas
# de la flotte. Le catalogue vient donc de l'inventaire du site (`scripts/materiel.py`), et
# c'est le meme que la sonde Icinga lit. Pas de prefixe `setops-role-` : la moisson des
# tableaux de roles orphelins ne doit pas le voir.
- name: Assembler le tableau du matériel
ansible.builtin.template:
src: tableau-materiel.json.j2
dest: "{{ serveur_grafana_dashboards_dir }}/setops-materiel.json"
owner: root
group: grafana
mode: "0640"
validate: "python3 -c \"import json,sys; json.load(open(sys.argv[1]))\" %s"
when: setops_materiel is defined
notify: Redemarrer grafana
# --- LA SYNTHESE (2026-10-04) — la porte d'entree, au site comme chez un locataire ------
#
# Le meme gabarit partout : il ajoute les hyperviseurs quand `setops_materiel` existe (au
# site), et ne voit que les machines de l'ecosysteme sinon. Pas de prefixe `setops-role-` :
# la moisson des tableaux orphelins ne doit pas le voir.
- name: Assembler le tableau de synthèse
ansible.builtin.template:
src: tableau-synthese.json.j2
dest: "{{ serveur_grafana_dashboards_dir }}/setops-synthese.json"
owner: root
group: grafana
mode: "0640"
validate: "python3 -c \"import json,sys; json.load(open(sys.argv[1]))\" %s"
notify: Redemarrer grafana
# --- UN ROLE QU'ON RETIRE DOIT POUVOIR DEFAIRE CE QU'IL A FAIT ------------------------
#
# Meme lecon que les sondes orphelines de `client_sante`, et elle s'est deja payee ici :
# quand un ecosysteme cesse de declarer un service, plus rien ne retire ce qu'on avait pose
# pour lui. Un tableau orphelin est moins grave qu'une sonde orpheline — il n'echoue pas,
# il MENT : il affiche « aucune donnee » pour un service qui n'existe plus, et celui qui
# regarde croit a une panne.
#
# LE PREFIXE EST CE QUI PROTEGE `journaux-flotte.json` : il n'en porte pas, donc la moisson
# ne le voit pas. On n'efface jamais un tableau ecrit a la main.
- name: Relever les tableaux derives reellement poses
ansible.builtin.find:
paths: "{{ serveur_grafana_dashboards_dir }}"
patterns: "{{ serveur_grafana_tableaux_prefixe }}*.json"
register: serveur_grafana_poses
- name: Retirer les tableaux qu'aucun role ne declare plus
ansible.builtin.file:
path: "{{ item.path }}"
state: absent
loop: "{{ serveur_grafana_poses.files }}"
loop_control:
label: "{{ item.path | basename }}"
when: >-
(item.path | basename
| regex_replace('^' ~ serveur_grafana_tableaux_prefixe, '')
| regex_replace('\.json$', ''))
not in (serveur_grafana_tableaux | map(attribute=0) | list)
notify: Redemarrer grafana
- name: Assurer le repertoire de drop-in systemd
ansible.builtin.file:
path: /etc/systemd/system/grafana-server.service.d
state: directory
owner: root
group: root
mode: "0755"
- name: Deployer la configuration d'environnement (domaine + secret)
ansible.builtin.template:
src: setops.conf.j2
dest: /etc/systemd/system/grafana-server.service.d/setops.conf
owner: root
group: root
mode: "0600"
no_log: true
notify: Redemarrer grafana
- name: Activer et demarrer Grafana
when: not ansible_check_mode
ansible.builtin.systemd:
name: "{{ serveur_grafana_service }}"
enabled: true
state: started
daemon_reload: true
# --- ROTATION DU COMPTE DE SECOURS -------------------------------------------
# `GF_SECURITY_ADMIN_PASSWORD` n'agit qu'a la CREATION du compte : changer la voute
# ne changeait rien, et la voute se mettait a mentir en silence. Le runbook de
# reprise (docs/autorisation.md §6) promet pourtant cette rotation — c'est ce qui
# transforme une livraison en transfert. Constate le 2026-08-07.
#
# Idempotence par EMPREINTE : on garde le sha256 du secret applique. Tant qu'il ne
# change pas, on ne touche a rien ; des qu'il change, on reapplique. On ne peut pas
# lire le mot de passe en place, donc on memorise ce qu'on a pose.
# EXIGER QUE LE SERVEUR REPONDE AVANT DE TOUCHER A SA BASE. La CLI qui suit echouait
# sinon cinq fois de suite sous `no_log`, en annoncant « the output has been hidden » —
# alors que la vraie cause etait ailleurs et parfaitement lisible : `grafana-server` ne
# demarrait pas, sa base ayant echoue une migration au premier lancement (2026-08-10,
# `no such column: uid`). Cinq reprises censurees contre un message clair : on prefere
# le message.
- name: Attendre que Grafana réponde avant de toucher au compte de secours
ansible.builtin.wait_for:
host: 127.0.0.1
port: "{{ serveur_grafana_port | default(3000) }}"
timeout: 120
register: serveur_grafana_pret
failed_when: false
when: not ansible_check_mode
- name: Dire que Grafana ne répond pas, plutôt que d'échouer sur sa CLI
ansible.builtin.fail:
msg: >-
Grafana n'écoute pas sur le port {{ serveur_grafana_port | default(3000) }} après
120 s : la rotation du compte de secours ne peut pas aboutir, et sa CLI ne dirait
rien d'utile. Regarder `journalctl -u grafana-server` — et y chercher la PREMIÈRE
erreur, pas la dernière : `Restart=on-failure` en empile plusieurs.
when:
- not ansible_check_mode
- serveur_grafana_pret is failed
- name: Empreinte du mot de passe admin en place
ansible.builtin.slurp:
src: "{{ serveur_grafana_marqueur_admin }}"
register: serveur_grafana_marque
failed_when: false
changed_when: false
no_log: true
- name: Appliquer le mot de passe du compte de secours (rotation)
ansible.builtin.command:
argv:
- grafana-cli
- "--homepath={{ serveur_grafana_homepath }}"
# `paths.data` DOIT etre impose : la CLI le prend par defaut a
# `<homepath>/data`, alors que le paquet Debian range la base dans
# /var/lib/grafana. Sans lui, la CLI cree une base FANTOME, y ecrit, et
# annonce « Admin password changed successfully » — pendant que le serveur
# lit l'autre. Constate le 2026-08-07 : le compte n'avait pas bouge depuis
# le deploiement initial, malgre quatre reinitialisations « reussies ».
- "--configOverrides=cfg:default.paths.data={{ serveur_grafana_donnees }}"
- admin
- reset-admin-password
- "{{ serveur_grafana_admin_password }}"
no_log: true
# La tache ne s'execute QUE si l'empreinte differe : quand elle tourne, elle
# change reellement le mot de passe.
changed_when: true
# PATIENTE : sur une machine neuve, cette commande suit de peu le premier
# demarrage de grafana-server, qui cree encore sa base. La CLI echoue alors sur
# une base absente ou verrouillee. Constate le 2026-08-08 pendant la premiere
# reconstruction from-zero ; rejouee seule quelques minutes plus tard, la meme
# commande passe. Meme classe que l'ecriture Keycloak qui suit la synchro LDAP :
# une COURSE de premier demarrage, pas une panne. On attend une condition, pas
# une duree.
register: serveur_grafana_reset
retries: 5
delay: 10
until: serveur_grafana_reset is succeeded
when: >-
(serveur_grafana_marque.content | default('') | b64decode | trim)
!= (serveur_grafana_admin_password | hash('sha256'))
notify: Redemarrer grafana
- name: Retenir l'empreinte appliquee
ansible.builtin.copy:
content: "{{ serveur_grafana_admin_password | hash('sha256') }}\n"
dest: "{{ serveur_grafana_marqueur_admin }}"
owner: root
group: root
mode: "0600"
no_log: true
# --- Sonde de supervision (docs/supervision-conception.md) --------------------------
# Le role qui possede la verite depose sa propre sonde ; le porteur (`client_sante`) la
# fait tourner et pousse le verdict, sans savoir ce qu'elle mesure.
- name: Assurer le repertoire des sondes de supervision
ansible.builtin.file:
path: /usr/local/lib/setops/sondes
state: directory
owner: root
group: root
mode: "0755"
- name: Deposer la sonde « tableaux »
ansible.builtin.template:
src: sonde-tableaux.sh.j2
dest: /usr/local/lib/setops/sondes/tableaux.sh
owner: root
group: root
mode: "0750"