Set-OPS-Public/roles/serveur_grafana/tasks/main.yml

---

# UNE PORTE AU MOINS. Sans SSO et sans formulaire local, Grafana demarre, se porte
# bien, et personne n'entre. Les deux reglages sont independants et se sont deja
# retrouves a `false` ensemble : la combinaison se refuse ici, pas apres le
# deploiement, quand plus aucun chemin ne mene a la console.
- name: Exiger au moins un chemin de connexion
  ansible.builtin.assert:
    that:
      - (serveur_grafana_oidc_actif | bool) or (serveur_grafana_connexion_locale | bool)
    fail_msg: >-
      Ni SSO (`serveur_grafana_oidc_actif`) ni formulaire local
      (`serveur_grafana_connexion_locale`) : Grafana n'aurait aucune porte d'entree.

# L'URL PUBLIQUE de l'IdP se derive de l'exposition declaree au plan, elle ne se
# fabrique pas : `keycloak.<domaine>` n'est publie nulle part (voir resoudre_idp).
#
# ON NE RESOUT QUE CE QU'ON UTILISE. Le role reclamait l'IdP AVANT de regarder s'il
# en voulait un : au site, qui n'a ni Keycloak ni `domaines.yml` (D-87 : l'identite
# ne monte pas), le deploiement echouait sur un registre absent — pour derive une URL
# qu'aucun gabarit n'allait ecrire. L'interrupteur existait, il n'etait pas honore.
- name: Resoudre le fournisseur d'identite (role partage)
  ansible.builtin.include_role:
    name: resoudre_idp
  vars:
    resoudre_idp_realm: "{{ serveur_grafana_oidc_realm }}"
  when: serveur_grafana_oidc_actif | bool
- name: Exiger le mot de passe admin Grafana (Vault)
  ansible.builtin.assert:
    that:
      - serveur_grafana_admin_password | length > 0
    fail_msg: "serveur_grafana_admin_password est requis (Ansible Vault)."

- name: Assurer le repertoire des trousseaux apt
  ansible.builtin.file:
    path: /etc/apt/keyrings
    state: directory
    owner: root
    group: root
    mode: "0755"

# Recuperee UNE FOIS. Sans garde, chaque deploiement recontactait le serveur du
# fournisseur : cinq cles x quatorze hotes = soixante-dix allers-retours externes pour
# des cles deja installees, et autant d'occasions qu'un tiers lent fasse tomber le
# deploiement. Arbitrage rendu le 2026-08-09 : une plateforme souveraine ne depend pas
# de six serveurs etrangers pour redeployer ce qu'elle possede deja.
#
# CONSEQUENCE ASSUMEE : une rotation de cle amont n'est plus recuperee toute seule. Elle
# ne passe pas inapercue pour autant — `apt` refuse alors le depot, bruyamment. Pour
# forcer le rafraichissement : supprimer le fichier et rejouer le role.
# UN FICHIER VIDE EXISTE (mesure du 2026-09-10).
#
# Cette garde demandait « ce fichier est-il la ? ». Un telechargement interrompu — un 503,
# un delai depasse, une coupure — laisse un fichier de ZERO octet, qui existe. La tache
# est donc sautee a tous les passages suivants, et la machine garde une ressource morte
# pour toujours, en silence.
#
# CE QUE CA A COUTE : `infra-mail-01` a garde une cle smallstep de 0 octet apres une
# epreuve hors ligne. Treize machines portaient 1022 octets, elle portait le vide :
#
#     E: Le depot http://packages.smallstep.com/... n'est pas signe.
#
# Le meme jour, l'index `dists/trixie` du cache du site etait tombe de 140 416 a 4 332
# octets — meme famille, autre endroit. Un telechargement partiel ne se signale pas : il
# se fait passer pour un succes.
#
# On demande donc « est-il ENTIER ? » — a defaut de pouvoir demander « est-il JUSTE ? »,
# ce qui exigerait une empreinte de reference que l'amont ne publie pas toujours.
- name: Cette ressource est-elle deja recuperee ? (Telecharger la cle de signature Gr)
  ansible.builtin.stat:
    path: "{{ serveur_grafana_depot_cle_fichier }}"
  register: telecharger_la_cle_de_signature_grafana_present

# ... ET IL FAUT LE RETIRER, PAS SEULEMENT LE REDEMANDER (mesure du 2026-09-10).
#
# Laisser la garde autoriser la tache ne suffit PAS. `get_url` sur une destination qui
# existe emet une requete CONDITIONNELLE : l'amont repond « non modifie », le module rend
# `ok`, et le fichier corrompu reste en place. Mesure : la tache s'executait bien
# (`ok: [infra-mail-01]`), et la cle faisait toujours 0 octet au passage suivant. Un
# `force: yes` manuel l'a reparee en une seconde.
#
# On efface donc la ruine avant de reconstruire. `state: absent` ne mord que sur un
# fichier vide : une cle valide n'est jamais retiree, et la doctrine « on ne retelecharge
# pas ce qu'on possede deja » reste intacte.
- name: Retirer une ressource VIDE avant de la redemander
  ansible.builtin.file:
    path: "{{ serveur_grafana_depot_cle_fichier }}"
    state: absent
  when:
    - telecharger_la_cle_de_signature_grafana_present.stat.exists
    - (telecharger_la_cle_de_signature_grafana_present.stat.size | default(0)) == 0

- name: Telecharger la cle de signature Grafana
  when: not (telecharger_la_cle_de_signature_grafana_present.stat.exists and telecharger_la_cle_de_signature_grafana_present.stat.size | default(0) > 0)
  # `force` PARCE QU'UNE REPRISE CONDITIONNELLE NE REPREND RIEN (2026-09-12).
  #
  # Sans lui, `get_url` envoie un `If-Modified-Since` des que le fichier existe. Le cache
  # repond `304 Not Modified`, la tache reussit sans rien ecrire, et la boucle `until`
  # — qui exige une taille non nulle — retente cinq fois contre un serveur qui repondra
  # toujours 304 :
  #
  #     HTTP Error 304: Not Modified   size: 0   attempts: 5
  #
  # C'est la boucle de reprise qui se bat contre elle-meme. Le `when:` ci-dessus garantit
  # deja qu'on ne retelecharge pas une cle valide ; `force` ne concerne donc que le cas
  # ou l'on a DECIDE d'aller chercher.
  ansible.builtin.get_url:
    force: true
    url: "{{ serveur_grafana_depot_cle_url }}"
    dest: "{{ serveur_grafana_depot_cle_fichier }}"
    owner: root
    group: root
    mode: "0644"
  # LA CLE PASSE PAR LE CACHE, ELLE AUSSI (mesure du 2026-09-10).
  #
  # `get_url` ignore la configuration d'apt : le mandataire pose dans
  # `/etc/apt/apt.conf.d/` ne vaut que pour apt. Les cles de signature sortaient donc
  # TOUJOURS en direct, meme apres que tous les depots soient passes par le cache — un
  # trou reste ouvert derriere une porte qu'on croyait fermee.
  #
  # Et ce n'est pas theorique : depuis `collab-01`, la route directe vers
  # `www.collaboraoffice.com` EXPIRE, quand le cache l'atteint sans peine.
  #
  #     en direct    grafana 200   collabora TIMEOUT
  #     via le cache               collabora 200
  #
  # Le meme geste corrige donc les deux : plus rien ne sort, et la machine qui n'avait
  # pas de route en trouve une.
  #
  # DEGRADE, JAMAIS DEVINE : sans cache d'amorcage declare, la valeur est VIDE et
  # `get_url` sort en direct comme avant. On n'invente pas un mandataire.
  environment:
    http_proxy: >-
      {{ ('http://' ~ artefacts_amorcage) if (artefacts_amorcage | default('') | string | length > 0) else '' }}
    https_proxy: ""
  register: serveur_grafana_cle_depot
  retries: 5
  delay: 6
  until: serveur_grafana_cle_depot is succeeded and (serveur_grafana_cle_depot.size | default(0)) > 0

# `apt_repository` AJOUTE, IL NE REMPLACE PAS (mesure du 2026-09-10).
#
# Passer une source de `https://` a `http://` y ecrit une SECONDE ligne au lieu de
# corriger la premiere. apt interroge alors les deux — et l'ancienne continue de sortir
# en direct sur Internet, ce que le passage au cache visait justement a supprimer. Le
# symptome le disait, sur les quatorze machines :
#
#     W: La cible Packages est specifiee plusieurs fois dans grafana.list:1 et :2
#
# On retire donc explicitement la forme precedente. `state: absent` ne mord que si la
# ligne existe : sur une machine neuve, cette tache ne fait rien.
- name: Mesurer la cle de signature Grafana qui vient d'etre posee
  ansible.builtin.stat:
    path: "{{ serveur_grafana_depot_cle_fichier }}"
  register: cle_grafana_posee

- name: Exiger une cle NON VIDE avant de s'en servir
  # UNE REUSSITE N'EST PAS UN CONTENU (mesure du 2026-09-11). Sur une reconstruction a
  # froid, `get_url` a rendu 0 octet sans erreur sur UNE machine des quatorze : le cache
  # a servi un 200 au corps vide. La garde « retirer une ressource VIDE » ne mord qu'au
  # passage SUIVANT, quand le fichier existe deja — au premier, elle n'a rien a retirer.
  #
  # Le defaut ne se lisait pas ici. Il se lisait deux cents lignes plus loin, dans un
  # `apt` qui accusait la SIGNATURE : « Missing key ..., which is needed to verify
  # signature ». Un message qui envoie chercher une cle revoquee chez le fournisseur,
  # alors que le fichier local fait zero octet.
  ansible.builtin.assert:
    that:
      - (cle_grafana_posee.stat.size | default(0)) > 0
    fail_msg: >-
      La cle de signature Grafana ({{ serveur_grafana_depot_cle_fichier }}) fait 0 octet.
      Le depot a repondu sans corps — cache vide, ou amont injoignable. apt echouera
      plus loin en accusant la signature : c'est ICI qu'il faut regarder.

- name: Retirer la forme HTTPS du depot (elle contournait le cache)
  ansible.builtin.apt_repository:
    repo: "{{ serveur_grafana_depot_source | replace('http://', 'https://') }}"
    filename: grafana
    state: absent
  when: serveur_grafana_depot_schema == 'http'

- name: Ajouter le depot apt Grafana
  ansible.builtin.apt_repository:
    repo: "{{ serveur_grafana_depot_source }}"
    filename: grafana
    state: present

# LE CACHE DU CONTROLEUR D'ABORD, LE DEPOT DISTANT POUR LE RESTE (2026-09-03).
#
# Les depots tiers sont en HTTPS, et `client_artefacts` pose
# `Acquire::https::Proxy "DIRECT"` — ils CONTOURNENT donc le cache du site et sortent sur
# Internet a chaque construction de VM. `make cacher-paquets` les tire une fois, versions
# epinglees et empreintes verifiees ; ce role les depose depuis ce cache.
- name: Poser les paquets tiers depuis le cache du controleur
  ansible.builtin.include_role:
    name: paquets_tiers
  vars:
    paquets_tiers_noms: "{{ serveur_grafana_paquets }}"

- name: Installer Grafana
  ansible.builtin.apt:
    # CE QUE LE CACHE N'A PAS FOURNI, ET RIEN D'AUTRE. Les dependances Debian passent
    # par le cache du site en HTTP ; seuls les paquets tiers non caches exigent Internet.
    # Reinstaller ce que le cache vient de poser ferait un `update_cache` inutile — et
    # hors ligne, il echouerait APRES un travail deja fait.
    name: "{{ serveur_grafana_paquets | difference((paquets_tiers_disponibles | default({})).keys() | list) }}"
    state: present
    update_cache: true

  when: (serveur_grafana_paquets
         | difference((paquets_tiers_disponibles | default({})).keys() | list)) | length > 0
- name: Provisionner les datasources (Prometheus + Loki)
  ansible.builtin.template:
    src: datasources.yaml.j2
    dest: /etc/grafana/provisioning/datasources/setops.yaml
    owner: root
    group: grafana
    mode: "0640"
  notify: Redemarrer grafana

- name: Assurer le repertoire des dashboards
  ansible.builtin.file:
    path: "{{ serveur_grafana_dashboards_dir }}"
    state: directory
    owner: root
    group: grafana
    mode: "0750"

- name: Deployer le provisioning des dashboards
  ansible.builtin.template:
    src: dashboards.yaml.j2
    dest: /etc/grafana/provisioning/dashboards/setops.yaml
    owner: root
    group: grafana
    mode: "0640"
  notify: Redemarrer grafana

- name: Deployer les dashboards Set-OPS
  ansible.builtin.copy:
    src: dashboards/
    dest: "{{ serveur_grafana_dashboards_dir }}/"
    owner: root
    group: grafana
    mode: "0640"
    directory_mode: "0750"
  notify: Redemarrer grafana

# --- UN TABLEAU PAR ROLE QUI DECLARE DES PANNEAUX (2026-09-14) -------------------------
#
# LA MOITIE QUI MANQUAIT. Les roles declaraient leurs panneaux dans `meta/metriques.yml`,
# Prometheus en derivait deja ses cibles, les expressions repondaient — et RIEN ne les
# assemblait. Un panneau declare que personne ne peut regarder n'est pas une
# observabilite, c'est une intention.
#
# EXACTEMENT LE PATRON DE `serveur_prometheus`, qui lit les memes fichiers pour en tirer
# ses cibles de scrutation. Les deux moities de `metriques.yml` trouvent ainsi leur
# consommateur : l'`exportateur` chez Prometheus, les `panneaux` ici.
#
# `run_once` ET `delegate_to: localhost` : les declarations vivent dans le DEPOT, sur le
# controleur — pas sur la machine. On les lit une fois, on les rend pour tout le monde.
- name: Relever les metriques que les roles declarent
  ansible.builtin.find:
    paths: "{{ role_path }}/.."
    patterns: metriques.yml
    recurse: true
    depth: 3
  delegate_to: localhost
  become: false
  run_once: true
  check_mode: false
  register: serveur_grafana_metas

- name: Lire chaque declaration de metriques
  ansible.builtin.slurp:
    src: "{{ item.path }}"
  delegate_to: localhost
  become: false
  run_once: true
  check_mode: false
  loop: "{{ serveur_grafana_metas.files }}"
  loop_control:
    label: "{{ item.path | dirname | dirname | basename }}"
  register: serveur_grafana_declarations

# CE QUI SERA POSE, CALCULE UNE FOIS. On ne garde que les roles qui declarent vraiment des
# `panneaux` : un `metriques.yml` peut n'avoir qu'un `exportateur` — il aura une cible
# Prometheus et aucun tableau, et c'est un etat legitime, pas un oubli.
- name: Retenir les roles qui ont des panneaux a montrer
  ansible.builtin.set_fact:
    serveur_grafana_tableaux: >-
      {{ serveur_grafana_declarations.results
         | map(attribute='item.path') | map('dirname') | map('dirname') | map('basename')
         | zip(serveur_grafana_declarations.results
               | map(attribute='content') | map('b64decode') | map('from_yaml'))
         | selectattr(1, 'mapping')
         | selectattr('1.panneaux', 'defined')
         | rejectattr('1.panneaux', 'none')
         | list }}
  run_once: true

- name: Assembler le tableau de chaque role
  ansible.builtin.template:
    src: tableau-role.json.j2
    dest: "{{ serveur_grafana_dashboards_dir }}/{{ serveur_grafana_tableaux_prefixe }}{{ item.0 }}.json"
    owner: root
    group: grafana
    mode: "0640"
    # LE JSON EST VALIDE AVANT D'ETRE POSE. Grafana n'echoue pas sur un tableau illisible :
    # il le SAUTE, en silence, et le tableau disparait simplement de la liste. Sans cette
    # validation, une expression PromQL mal repliee ferait perdre un tableau sans qu'aucune
    # tache ne devienne rouge.
    validate: "python3 -c \"import json,sys; json.load(open(sys.argv[1]))\" %s"
  loop: "{{ serveur_grafana_tableaux }}"
  loop_control:
    label: "{{ item.0 }} ({{ item.1.panneaux | length }} panneau(x))"
  vars:
    tableau_role: "{{ item.0 }}"
    tableau_panneaux: "{{ item.1.panneaux }}"
  notify: Redemarrer grafana

# --- LE MATERIEL (2026-09-17) -----------------------------------------------------------
#
# Les hyperviseurs n'ont aucun role Set-OPS pour declarer leurs capteurs : ils ne sont pas
# de la flotte. Le catalogue vient donc de l'inventaire du site (`scripts/materiel.py`), et
# c'est le meme que la sonde Icinga lit. Pas de prefixe `setops-role-` : la moisson des
# tableaux de roles orphelins ne doit pas le voir.
- name: Assembler le tableau du matériel
  ansible.builtin.template:
    src: tableau-materiel.json.j2
    dest: "{{ serveur_grafana_dashboards_dir }}/setops-materiel.json"
    owner: root
    group: grafana
    mode: "0640"
    validate: "python3 -c \"import json,sys; json.load(open(sys.argv[1]))\" %s"
  when: setops_materiel is defined
  notify: Redemarrer grafana

# --- UN ROLE QU'ON RETIRE DOIT POUVOIR DEFAIRE CE QU'IL A FAIT ------------------------
#
# Meme lecon que les sondes orphelines de `client_sante`, et elle s'est deja payee ici :
# quand un ecosysteme cesse de declarer un service, plus rien ne retire ce qu'on avait pose
# pour lui. Un tableau orphelin est moins grave qu'une sonde orpheline — il n'echoue pas,
# il MENT : il affiche « aucune donnee » pour un service qui n'existe plus, et celui qui
# regarde croit a une panne.
#
# LE PREFIXE EST CE QUI PROTEGE `journaux-flotte.json` : il n'en porte pas, donc la moisson
# ne le voit pas. On n'efface jamais un tableau ecrit a la main.
- name: Relever les tableaux derives reellement poses
  ansible.builtin.find:
    paths: "{{ serveur_grafana_dashboards_dir }}"
    patterns: "{{ serveur_grafana_tableaux_prefixe }}*.json"
  register: serveur_grafana_poses

- name: Retirer les tableaux qu'aucun role ne declare plus
  ansible.builtin.file:
    path: "{{ item.path }}"
    state: absent
  loop: "{{ serveur_grafana_poses.files }}"
  loop_control:
    label: "{{ item.path | basename }}"
  when: >-
    (item.path | basename
     | regex_replace('^' ~ serveur_grafana_tableaux_prefixe, '')
     | regex_replace('\.json$', ''))
    not in (serveur_grafana_tableaux | map(attribute=0) | list)
  notify: Redemarrer grafana

- name: Assurer le repertoire de drop-in systemd
  ansible.builtin.file:
    path: /etc/systemd/system/grafana-server.service.d
    state: directory
    owner: root
    group: root
    mode: "0755"

- name: Deployer la configuration d'environnement (domaine + secret)
  ansible.builtin.template:
    src: setops.conf.j2
    dest: /etc/systemd/system/grafana-server.service.d/setops.conf
    owner: root
    group: root
    mode: "0600"
  no_log: true
  notify: Redemarrer grafana

- name: Activer et demarrer Grafana
  when: not ansible_check_mode
  ansible.builtin.systemd:
    name: "{{ serveur_grafana_service }}"
    enabled: true
    state: started
    daemon_reload: true

# --- ROTATION DU COMPTE DE SECOURS -------------------------------------------
# `GF_SECURITY_ADMIN_PASSWORD` n'agit qu'a la CREATION du compte : changer la voute
# ne changeait rien, et la voute se mettait a mentir en silence. Le runbook de
# reprise (docs/autorisation.md §6) promet pourtant cette rotation — c'est ce qui
# transforme une livraison en transfert. Constate le 2026-08-07.
#
# Idempotence par EMPREINTE : on garde le sha256 du secret applique. Tant qu'il ne
# change pas, on ne touche a rien ; des qu'il change, on reapplique. On ne peut pas
# lire le mot de passe en place, donc on memorise ce qu'on a pose.
# EXIGER QUE LE SERVEUR REPONDE AVANT DE TOUCHER A SA BASE. La CLI qui suit echouait
# sinon cinq fois de suite sous `no_log`, en annoncant « the output has been hidden » —
# alors que la vraie cause etait ailleurs et parfaitement lisible : `grafana-server` ne
# demarrait pas, sa base ayant echoue une migration au premier lancement (2026-08-10,
# `no such column: uid`). Cinq reprises censurees contre un message clair : on prefere
# le message.
- name: Attendre que Grafana réponde avant de toucher au compte de secours
  ansible.builtin.wait_for:
    host: 127.0.0.1
    port: "{{ serveur_grafana_port | default(3000) }}"
    timeout: 120
  register: serveur_grafana_pret
  failed_when: false
  when: not ansible_check_mode

- name: Dire que Grafana ne répond pas, plutôt que d'échouer sur sa CLI
  ansible.builtin.fail:
    msg: >-
      Grafana n'écoute pas sur le port {{ serveur_grafana_port | default(3000) }} après
      120 s : la rotation du compte de secours ne peut pas aboutir, et sa CLI ne dirait
      rien d'utile. Regarder `journalctl -u grafana-server` — et y chercher la PREMIÈRE
      erreur, pas la dernière : `Restart=on-failure` en empile plusieurs.
  when:
    - not ansible_check_mode
    - serveur_grafana_pret is failed

- name: Empreinte du mot de passe admin en place
  ansible.builtin.slurp:
    src: "{{ serveur_grafana_marqueur_admin }}"
  register: serveur_grafana_marque
  failed_when: false
  changed_when: false
  no_log: true

- name: Appliquer le mot de passe du compte de secours (rotation)
  ansible.builtin.command:
    argv:
      - grafana-cli
      - "--homepath={{ serveur_grafana_homepath }}"
      # `paths.data` DOIT etre impose : la CLI le prend par defaut a
      # `<homepath>/data`, alors que le paquet Debian range la base dans
      # /var/lib/grafana. Sans lui, la CLI cree une base FANTOME, y ecrit, et
      # annonce « Admin password changed successfully » — pendant que le serveur
      # lit l'autre. Constate le 2026-08-07 : le compte n'avait pas bouge depuis
      # le deploiement initial, malgre quatre reinitialisations « reussies ».
      - "--configOverrides=cfg:default.paths.data={{ serveur_grafana_donnees }}"
      - admin
      - reset-admin-password
      - "{{ serveur_grafana_admin_password }}"
  no_log: true
  # La tache ne s'execute QUE si l'empreinte differe : quand elle tourne, elle
  # change reellement le mot de passe.
  changed_when: true
  # PATIENTE : sur une machine neuve, cette commande suit de peu le premier
  # demarrage de grafana-server, qui cree encore sa base. La CLI echoue alors sur
  # une base absente ou verrouillee. Constate le 2026-08-08 pendant la premiere
  # reconstruction from-zero ; rejouee seule quelques minutes plus tard, la meme
  # commande passe. Meme classe que l'ecriture Keycloak qui suit la synchro LDAP :
  # une COURSE de premier demarrage, pas une panne. On attend une condition, pas
  # une duree.
  register: serveur_grafana_reset
  retries: 5
  delay: 10
  until: serveur_grafana_reset is succeeded
  when: >-
    (serveur_grafana_marque.content | default('') | b64decode | trim)
    != (serveur_grafana_admin_password | hash('sha256'))
  notify: Redemarrer grafana

- name: Retenir l'empreinte appliquee
  ansible.builtin.copy:
    content: "{{ serveur_grafana_admin_password | hash('sha256') }}\n"
    dest: "{{ serveur_grafana_marqueur_admin }}"
    owner: root
    group: root
    mode: "0600"
  no_log: true

# --- Sonde de supervision (docs/supervision-conception.md) --------------------------
# Le role qui possede la verite depose sa propre sonde ; le porteur (`client_sante`) la
# fait tourner et pousse le verdict, sans savoir ce qu'elle mesure.
- name: Assurer le repertoire des sondes de supervision
  ansible.builtin.file:
    path: /usr/local/lib/setops/sondes
    state: directory
    owner: root
    group: root
    mode: "0755"

- name: Deposer la sonde « tableaux »
  ansible.builtin.template:
    src: sonde-tableaux.sh.j2
    dest: /usr/local/lib/setops/sondes/tableaux.sh
    owner: root
    group: root
    mode: "0750"