Set-OPS-Public/roles/client_journal/defaults/main.yml

91 lines
4.8 KiB
YAML
Raw Normal View History

---
client_journal_paquets:
- alloy
client_journal_service: "alloy"
client_journal_utilisateur: "alloy"
client_journal_config: "/etc/alloy/config.alloy"
# Point de collecte Loki (obs-01, serveur_loki, VLAN 14).
# Hôte Loki dérivé du groupe serveur_loki (FQDN via le plancher) ; override par instance au besoin.
client_journal_loki_url: "http://{{ (groups.get('serveur_loki') or ['obs-01']) | first }}.{{ domaine_interne }}:3100/loki/api/v1/push"
# Depot apt officiel Grafana (partage avec serveur_loki / serveur_grafana).
les depots tiers passent par le cache, et le tenant n a plus le sien Deux mouvements d une seule doctrine : le site fournit tout ce dont un tenant a besoin pour venir au monde. 1. LES DEPOTS TIERS. Grafana, Icinga, Smallstep et Collabora ne publient qu en HTTPS ; apt-cacher-ng ne relaie pas un tunnel, et le socle pose donc Acquire::https::Proxy DIRECT. Chaque machine sortait elle-meme sur Internet. Le cache declare desormais un Remap par fournisseur, et chaque role demande en {{ ..._depot_schema }}:// - http des qu un cache est declare, https sinon. Le TLS n est rompu nulle part : il est TERMINE au cache, qui est notre machine, et l integrite vient des signatures. avant : 4 fournisseurs en HTTPS direct, 14 machines sortant seules apres : 0 source en HTTPS direct, 0 erreur apt sur 14 machines Trois lecons. Le remap appartient au cache qui SORT : pose sur un cache chaine, il tente le HTTPS a travers son amont et rend 503. apt_repository AJOUTE au lieu de remplacer, donc l ancienne ligne https sortait toujours. Et la liste des fournisseurs ne se devine pas - j en avais trois, l audit en a revele un quatrieme. 2. LE CACHE DU TENANT. Sa ligne portait son propre retrait depuis toujours - service MUTUALISABLE, un ecosysteme au premier age peut pointer sur celui de son hote. Retiree. Ce qu on perd, dit franchement : plus de trafic inter-zone et plus de charge sur site-cache-01, contre un service de moins a poser, superviser et reproduire. 3. UN ROLE QU ON RETIRE DOIT DEFAIRE CE QU IL A FAIT. Le retrait a montre que rien ne nettoie derriere. Le fichier apt visait un cache eteint en ecrasant le plancher qui fonctionnait - le defaut deja paye a quinze machines. Et les sondes du cache restaient, le porteur poussant pour des services qu Icinga ne definit plus (404). Le socle retire le premier, client_sante derive les sondes attendues et retire les orphelines. P65 refuse tout role visant un depot relaye en https ecrit en dur. Sa limite est dite : elle empeche une regression sur ce qui est connu, elle ne decouvre pas l inconnu. Mesure : Icinga 87 OK sur 96, prouver 65 OK, lint 0 defaut. Reste, et c est dit : apt-cacher-ng tourne toujours sur forge-01 que plus aucun plan ne declare. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-10 14:53:48 -04:00
client_journal_depot_cle_url: "{{ client_journal_depot_schema }}://apt.grafana.com/gpg-full.key"
client_journal_depot_cle_fichier: "/etc/apt/keyrings/grafana.asc"
les depots tiers passent par le cache, et le tenant n a plus le sien Deux mouvements d une seule doctrine : le site fournit tout ce dont un tenant a besoin pour venir au monde. 1. LES DEPOTS TIERS. Grafana, Icinga, Smallstep et Collabora ne publient qu en HTTPS ; apt-cacher-ng ne relaie pas un tunnel, et le socle pose donc Acquire::https::Proxy DIRECT. Chaque machine sortait elle-meme sur Internet. Le cache declare desormais un Remap par fournisseur, et chaque role demande en {{ ..._depot_schema }}:// - http des qu un cache est declare, https sinon. Le TLS n est rompu nulle part : il est TERMINE au cache, qui est notre machine, et l integrite vient des signatures. avant : 4 fournisseurs en HTTPS direct, 14 machines sortant seules apres : 0 source en HTTPS direct, 0 erreur apt sur 14 machines Trois lecons. Le remap appartient au cache qui SORT : pose sur un cache chaine, il tente le HTTPS a travers son amont et rend 503. apt_repository AJOUTE au lieu de remplacer, donc l ancienne ligne https sortait toujours. Et la liste des fournisseurs ne se devine pas - j en avais trois, l audit en a revele un quatrieme. 2. LE CACHE DU TENANT. Sa ligne portait son propre retrait depuis toujours - service MUTUALISABLE, un ecosysteme au premier age peut pointer sur celui de son hote. Retiree. Ce qu on perd, dit franchement : plus de trafic inter-zone et plus de charge sur site-cache-01, contre un service de moins a poser, superviser et reproduire. 3. UN ROLE QU ON RETIRE DOIT DEFAIRE CE QU IL A FAIT. Le retrait a montre que rien ne nettoie derriere. Le fichier apt visait un cache eteint en ecrasant le plancher qui fonctionnait - le defaut deja paye a quinze machines. Et les sondes du cache restaient, le porteur poussant pour des services qu Icinga ne definit plus (404). Le socle retire le premier, client_sante derive les sondes attendues et retire les orphelines. P65 refuse tout role visant un depot relaye en https ecrit en dur. Sa limite est dite : elle empeche une regression sur ce qui est connu, elle ne decouvre pas l inconnu. Mesure : Icinga 87 OK sur 96, prouver 65 OK, lint 0 defaut. Reste, et c est dit : apt-cacher-ng tourne toujours sur forge-01 que plus aucun plan ne declare. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-10 14:53:48 -04:00
client_journal_depot_source: "deb [signed-by=/etc/apt/keyrings/grafana.asc] {{ client_journal_depot_schema }}://apt.grafana.com stable main"
# --- TLS (zero-confiance) : Alloy pousse vers Loki en https + verifie root_ca ---
client_journal_loki_tls: false
client_journal_loki_ca: "/etc/step/certs/root_ca.crt"
# Port de l'interface HTTP locale d'Alloy (diagnostic). DECLARE ici parce que son defaut
# amont — 12345 — entre en collision avec `serveur_dovecot_sasl_port`, qui vaut 12345 lui
# aussi et qui est un choix DELIBERE de Set-OPS (SASL reseau, pour la soumission :587).
#
# Sur `infra-mail-01`, les deux cohabitent : le premier demarre gagne, l'autre boucle sur
# « bind: address already in use ». Constate le 2026-08-08 lors de la premiere
# reconstruction from-zero, ou l'ordre des couches fait demarrer Dovecot bien avant Alloy.
# En exploitation courante le conflit dormait : Alloy tenait le port depuis toujours, et
# c'est l'ecoute SASL de Dovecot qui echouait — en silence.
#
# Le vrai defaut n'est pas le numero, c'est qu'un port SUBI ne se declare nulle part et
# qu'aucun controle ne peut donc voir la collision.
client_journal_http_port: 12346
client_journal_http_adresse: "127.0.0.1"
observabilite : le site cesse de ne rien voir de lui-meme D-87 disait que l hebergeur n a pas le droit de voir les journaux de ses locataires. La decision avait une face cachee : a force de refuser de voir ceux des autres, le site s etait prive des siens. Ses sept machines n expediaient nulle part. Il prend donc sa propre pile : prometheus, loki et grafana sur site-mon-01, sans aucun lien avec ceux d un tenant. L exemption qui bloquait portait sa propre condition de levee, ecrite cinq jours plus tot dans le plan. Grafana au site n a pas de SSO, et le role l ignorait : il reclamait l IdP avant de regarder s il en voulait un. L interrupteur existait, il n etait pas honore. Le role refuse desormais SSO eteint ET formulaire local eteint - la combinaison deploie un Grafana en sante ou personne ne peut entrer - et le reglage du formulaire sort du if du SSO, ou il disparaissait en laissant le defaut amont decider en silence. Deux manques se cachaient l un l autre dans le devis de la frontiere, et Prometheus voyait 1 cible sur 7 : - le devis derivait les groupes d une machine du site de applications.yml seul, et ne voyait donc aucune integration universelle - alors que client_metrique ouvre un port d ecoute ; - une sortie vers un role du site visait !SETOPS_INTERNES, qui exclut precisement la machine nommee. Le devis autorisait a expedier les journaux du site a n importe quel Loki du monde, et a nul autre endroit qu a celui-la. Neuf flux dans ce cas. Et deux declarations justes ne font qu une regle : appliquer_opnsense pose tout en direction: in (D-61). Les deux agents se supervisent enfin eux-memes. La sonde des journaux ne demande pas si Alloy tourne, elle lit ce qu il a du JETER. Elle a fait ses preuves le jour meme : Alloy actif, /-/ready a 200, et cinquante lignes perdues sur six machines. Mesure : metriques 7/7 vert, journaux 1/7 - les six autres attendent la regle de frontiere, et le disent. prouver 64 OK, ansible-lint 0 defaut. Reste a la main de l exploitant : make frontiere-appliquer CONFIRMER=true, et le secret vault_grafana_admin a deposer dans underlay.vault.yml. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-10 04:43:01 -04:00
# --- Sonde de supervision (voir meta/supervision.yml) ---
# L'interface de diagnostic d'Alloy, la ou il tient le compte de ce qu'il a expedie et de
# ce qu'il a jete. Locale : personne d'autre n'a a la joindre.
client_journal_sonde_url: >-
http://{{ client_journal_http_adresse }}:{{ client_journal_http_port }}
# La memoire d'un passage a l'autre : sans elle, un compteur cumulatif ne dit pas QUAND.
client_journal_sonde_etat: "/var/lib/setops/journaux-jetees"
les depots tiers passent par le cache, et le tenant n a plus le sien Deux mouvements d une seule doctrine : le site fournit tout ce dont un tenant a besoin pour venir au monde. 1. LES DEPOTS TIERS. Grafana, Icinga, Smallstep et Collabora ne publient qu en HTTPS ; apt-cacher-ng ne relaie pas un tunnel, et le socle pose donc Acquire::https::Proxy DIRECT. Chaque machine sortait elle-meme sur Internet. Le cache declare desormais un Remap par fournisseur, et chaque role demande en {{ ..._depot_schema }}:// - http des qu un cache est declare, https sinon. Le TLS n est rompu nulle part : il est TERMINE au cache, qui est notre machine, et l integrite vient des signatures. avant : 4 fournisseurs en HTTPS direct, 14 machines sortant seules apres : 0 source en HTTPS direct, 0 erreur apt sur 14 machines Trois lecons. Le remap appartient au cache qui SORT : pose sur un cache chaine, il tente le HTTPS a travers son amont et rend 503. apt_repository AJOUTE au lieu de remplacer, donc l ancienne ligne https sortait toujours. Et la liste des fournisseurs ne se devine pas - j en avais trois, l audit en a revele un quatrieme. 2. LE CACHE DU TENANT. Sa ligne portait son propre retrait depuis toujours - service MUTUALISABLE, un ecosysteme au premier age peut pointer sur celui de son hote. Retiree. Ce qu on perd, dit franchement : plus de trafic inter-zone et plus de charge sur site-cache-01, contre un service de moins a poser, superviser et reproduire. 3. UN ROLE QU ON RETIRE DOIT DEFAIRE CE QU IL A FAIT. Le retrait a montre que rien ne nettoie derriere. Le fichier apt visait un cache eteint en ecrasant le plancher qui fonctionnait - le defaut deja paye a quinze machines. Et les sondes du cache restaient, le porteur poussant pour des services qu Icinga ne definit plus (404). Le socle retire le premier, client_sante derive les sondes attendues et retire les orphelines. P65 refuse tout role visant un depot relaye en https ecrit en dur. Sa limite est dite : elle empeche une regression sur ce qui est connu, elle ne decouvre pas l inconnu. Mesure : Icinga 87 OK sur 96, prouver 65 OK, lint 0 defaut. Reste, et c est dit : apt-cacher-ng tourne toujours sur forge-01 que plus aucun plan ne declare. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-10 14:53:48 -04:00
# --- SCHEMA DES DEPOTS TIERS (2026-09-10) --------------------------------------------
#
# `http` DES QU'UN CACHE EST DANS LE CHEMIN, `https` sinon. Ce n'est pas un relachement :
# le cache RELAIE ces depots en https vers le fournisseur (voir `serveur_artefacts`,
# `Remap-*`), et l'integrite vient des SIGNATURES du depot, qu'apt verifie de toute facon.
# Le meme raisonnement vaut deja pour `deb.debian.org` depuis toujours.
#
# Sans cette derivation, chaque machine sortait elle-meme sur Internet : le mandataire ne
# vaut que pour `http`, et le socle pose deliberement `Acquire::https::Proxy "DIRECT"`
# parce qu'un cache sans remap refuse les tunnels. Le remap leve ce refus ; encore
# faut-il DEMANDER en http.
#
# DEGRADE, JAMAIS DEVINE : pas de cache d'amorcage declare, pas de reecriture.
client_journal_depot_schema: >-
{{ 'http' if (artefacts_amorcage | default('') | string | length > 0) else 'https' }}
la frontiere journalise a nouveau, et une garde veille cette fois Doctrine posee par l exploitant : des lors que le site a son Loki, la journalisation de la frontiere et des hyperviseurs doit y etre dirigee. CE QUI ETAIT CASSE. La destination syslog d OPNsense pointait 10.17.20.11:3100 - une adresse de TENANT, sur le port de Loki, en UDP, ce que Loki ne sait pas lire. La VM a ete rasee ; une cible morte a arrete TOUTE la journalisation pendant dix jours. La destination a ete eteinte pour reparer et jamais remplacee. Deux fautes en une : plus de journaux, et une cible chez un locataire, ce que D-87 refuse dans l autre sens. L intention etait juste - bonnes facilites, info et au-dessus. On l a REPRISE telle quelle et change uniquement la destination : ces choix avaient ete faits, ce n etait pas a nous de les redecider. UN TRADUCTEUR, parce que Loki ne parle pas syslog : loki.source.syslog dans l Alloy qui tourne DEJA sur le collecteur. Port 1514 et non 514, donc ecoute sans privilege - un collecteur qui aurait besoin des droits du systeme pour entendre un equipement serait un mauvais echange. UNE REGLE DE RELABEL SANS GARDE N IGNORE PAS : ELLE EFFACE. Trois quarts d heure sur un symptome absurde - la configuration deposee portait host = "bifrost-1", visible dans le fichier, et le flux arrivait sans etiquette. Sans regex, la regle correspond TOUJOURS, meme quand sa source n existe pas, et pose host = "". Loki jette une etiquette vide, et celle de l ecouteur disparaissait avec elle. Et la verification finale a corrige une seconde erreur, la mienne : label/host/values rendait une liste en CACHE. La requete directe rendait bien un flux. Un index qui ne montre pas une chose ne prouve pas qu elle n existe pas. LA GARDE, qui manquait depuis l incident. journaux-frontiere demande a LOKI ce qu il a RECU, pas a la frontiere ce qu elle croit avoir envoye : la destination est le seul juge, et un emetteur qui parle a un trou noir se porte tres bien. La fenetre est DERIVEE du debit observe - environ 1500 lignes par minute - pas choisie. Trois etats eprouves sur une copie : frontiere muette rc=2, Loki injoignable rc=3, debit normal rc=0. Le 3 compte autant que le 2 : « je ne peux rien affirmer » n est pas « c est casse ». Mesure : 46 681 lignes recues en 30 min, site a 68 services tous OK. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
2026-09-10 19:38:19 -04:00
# --- RECEPTEUR SYSLOG (vide = pas de recepteur) ---------------------------------------
#
# CE QUI NE PEUT PAS PORTER D'AGENT DOIT QUAND MEME ETRE ENTENDU. La frontiere OPNsense
# n'accueille rien ; elle sait emettre du syslog. Le collecteur du site l'ecoute et le
# traduit vers Loki.
#
# CE QUE CA A COUTE DE NE PAS L'AVOIR : la destination syslog de la frontiere pointait une
# VM de TENANT, rasee depuis. Une cible morte a arrete TOUTE la journalisation d'OPNsense
# pendant dix jours, et rien ne l'a signale — c'est le meme silence qui a motive le `ttl`
# des sondes. La destination a ete eteinte pour reparer, et jamais remplacee : la frontiere
# ne journalisait plus nulle part.
#
# ET LA CIBLE ETAIT CHEZ UN LOCATAIRE, ce que D-87 refuse dans l'autre sens : les journaux
# du site ne vivent pas chez un tenant, pas plus que l'inverse. Le site a son Loki depuis
# le 2026-09-10 ; c'est la que ses equipements parlent.
#
# Vide par defaut : un tenant n'a pas de frontiere a ecouter.
client_journal_syslog_ecoute: ""
client_journal_syslog_protocole: "tcp"
# Le nom sous lequel les journaux recus apparaitront. Derive de la carte par l'inventaire
# du site — jamais fabrique ici.
client_journal_syslog_emetteur: "frontiere"
# LE JOURNAL D'AUDIT, EXPEDIE COMME LE RESTE (2026-09-11).
#
# DERIVE DE L'APPARTENANCE AU GROUPE, pas declare par instance : `auditd` vient avec
# `serveur_durci`, donc la machine qui a l'un a l'autre. Ecrire la liste a la main serait
# une liste de plus qui suit une autre — et qui prendrait du retard.
client_journal_audit_actif: "{{ 'serveur_durci' in group_names }}"
client_journal_audit_chemin: "/var/log/audit/audit.log"