- client_journal : sept stage.drop de plus pour Postfix (connect, lost connection after CONNECT, disconnect commands=0/0, SSL_accept error) et Dovecot LMTP ; phrase exacte, seulement depuis une machine sondeuse - éprouvé sur une heure réelle de Chezlepro (69 % jeté, 96 % sur edge-mta-01, le scanner externe reste visible) et avec le binaire Alloy 1.20.1 (9 lignes de sonde jetées, 7 légitimes reçues) - Makefile : appliquer passe ARGS, comme site-appliquer - CHANGELOG 63 : mesure des locataires ; cache de paquets du poste plus vieux qu'eux (alloy 1.19.2 / loki 3.7.7 contre 1.20.1 / 3.7.8) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
200 lines
8.8 KiB
Django/Jinja
200 lines
8.8 KiB
Django/Jinja
// Gere par Set-OPS (role client_journal). Ne pas editer a la main.
|
|
|
|
loki.write "loki" {
|
|
endpoint {
|
|
url = "{{ client_journal_loki_url }}"
|
|
{% if client_journal_loki_tls | default(false) %}
|
|
tls_config {
|
|
ca_file = "{{ client_journal_loki_ca }}"
|
|
}
|
|
{% endif %}
|
|
}
|
|
}
|
|
|
|
{% set sondeurs = client_journal_sondeurs | map('regex_escape') | join('|') | replace('\\', '\\\\') %}
|
|
{% if sondeurs %}
|
|
// --- LE BRUIT DE LA SONDE « connectivite » RESTE SUR LA MACHINE (2026-10-03) ---
|
|
//
|
|
// Chaque minute, chaque machine ouvre une connexion TCP vers les ports que le registre des
|
|
// flux lui promet, puis la referme sans rien dire (`nftables_baseline`,
|
|
// `sonde-connectivite.sh`). Ceux qui ecoutent le notent : `sshd` (« Connection closed by
|
|
// <pair> port <n> ») et les serveurs Go — Forgejo, step-ca — (« TLS handshake error from
|
|
// <pair>:<n>: EOF »). Mesure au site : le journal de chaque VM est passe de 2 000 a
|
|
// 14 000 lignes par jour le 2026-10-01, et ces deux phrases faisaient 98 % des « erreurs »
|
|
// de la forge et de l'autorite. Rien a corriger a la source : `sshd` journalise toute
|
|
// connexion fermee avant l'echange de cles, quel que soit le client.
|
|
//
|
|
// CE QUI EST JETE EST ETROIT : la phrase EXACTE, et seulement depuis une machine qui porte
|
|
// la sonde (`client_sante`, derive de l'inventaire). Le meme message venu d'ailleurs — un
|
|
// balayage, une machine inconnue — passe. Les lignes restent dans le journal local ; le
|
|
// compte de ce qui est jete est `loki_process_dropped_lines_total{reason="sonde_connectivite"}`,
|
|
// distinct des pertes que surveille la sonde « journaux ».
|
|
loki.process "sondes" {
|
|
forward_to = [loki.write.loki.receiver]
|
|
|
|
stage.drop {
|
|
expression = "^Connection closed by ({{ sondeurs }}) port [0-9]+$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
stage.drop {
|
|
expression = "TLS handshake error from ({{ sondeurs }}):[0-9]+: EOF$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
// LE COURRIEL PARLE PLUS QUE LES AUTRES (mesure chez les deux locataires, 2026-10-03).
|
|
// Postfix ecrit trois lignes par connexion de sonde — quatre sur le port chiffre — et
|
|
// faisait de `edge-mta-01` la machine la plus bavarde de chaque locataire (7 000 lignes
|
|
// par heure). Une VRAIE session venue de la flotte perd sa ligne `connect from`, rien
|
|
// d'autre : ses identifiants de file (`client=`), et son `disconnect` qui compte des
|
|
// commandes (`commands=N/M`, jamais `0/0`), restent.
|
|
stage.drop {
|
|
expression = "^connect from [^\\[ ]+\\[({{ sondeurs }})\\]$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
stage.drop {
|
|
expression = "^(NOQUEUE: )?lost connection after CONNECT from [^\\[ ]+\\[({{ sondeurs }})\\]$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
stage.drop {
|
|
expression = "^disconnect from [^\\[ ]+\\[({{ sondeurs }})\\] commands=0/0$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
stage.drop {
|
|
expression = "^SSL_accept error from [^\\[ ]+\\[({{ sondeurs }})\\]: lost connection$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
// Dovecot LMTP, en TLS des l'accueil : la sonde ferme avant la poignee. Seule la forme
|
|
// « fermee avant de commencer » est jetee ; toute autre raison d'echec TLS passe, et une
|
|
// livraison reelle se lit toujours a `saved mail to`.
|
|
stage.drop {
|
|
expression = "^lmtp\\([0-9]+\\): Connect from ({{ sondeurs }})$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
stage.drop {
|
|
expression = "^lmtp\\([0-9]+\\): Error: lmtp-server: conn ({{ sondeurs }}):[0-9]+ \\[[0-9]+\\]: SSL handshake failed: Connection closed$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
|
|
stage.drop {
|
|
expression = "^lmtp\\([0-9]+\\): Disconnect from ({{ sondeurs }}): SSL Initialization failed \\(state=GREETING\\)$"
|
|
drop_counter_reason = "sonde_connectivite"
|
|
}
|
|
}
|
|
|
|
{% endif %}
|
|
loki.source.journal "journal" {
|
|
forward_to = [{{ 'loki.process.sondes.receiver' if sondeurs else 'loki.write.loki.receiver' }}]
|
|
max_age = "12h"
|
|
labels = {
|
|
job = "systemd-journal",
|
|
host = "{{ inventory_hostname }}",
|
|
}
|
|
}
|
|
|
|
{% if client_journal_audit_actif %}
|
|
// --- LA PISTE D'AUDIT SORT DE LA MACHINE AUDITEE (2026-09-11) ---
|
|
//
|
|
// `auditd` ecrit dans `/var/log/audit/audit.log` et nulle part ailleurs. Tant que la
|
|
// piste reste sur la machine qu'elle surveille, qui compromet la machine possede la
|
|
// preuve de l'avoir fait — et le fichier est precisement ce qu'on efface en premier.
|
|
//
|
|
// POURQUOI PAS LE GREFFON `syslog.conf` D'AUDITD, qui ferait passer les evenements par
|
|
// journald (deja collecte) : journald applique une LIMITE DE DEBIT. Une rafale
|
|
// d'evenements d'audit — c'est-a-dire exactement le moment qui compte — serait tronquee
|
|
// en silence. On lit donc le fichier directement.
|
|
//
|
|
// AUCUNE PERMISSION A POSER : `/var/log/audit` est `root:adm` en 0750, et l'utilisateur
|
|
// `alloy` appartient DEJA au groupe `adm` (mesure le 2026-09-11). Si cela changeait,
|
|
// Alloy se tairait sans erreur visible — la sonde `audit` reste le filet cote machine.
|
|
loki.source.file "audit" {
|
|
targets = [{
|
|
__path__ = "{{ client_journal_audit_chemin }}",
|
|
job = "audit",
|
|
host = "{{ inventory_hostname }}",
|
|
}]
|
|
forward_to = [loki.write.loki.receiver]
|
|
}
|
|
{% endif %}
|
|
|
|
{% if client_journal_syslog_ecoute %}
|
|
// --- RECEPTEUR SYSLOG : CE QUI NE PEUT PAS PORTER D'AGENT (2026-09-10) ---
|
|
//
|
|
// La frontiere OPNsense n'accueille aucun agent. Elle sait emettre du syslog, et rien
|
|
// d'autre. Loki ne parle pas syslog : il faut un traducteur, et Alloy en est un.
|
|
//
|
|
// POURQUOI CE RECEPTEUR VIT ICI plutot que dans un role a lui : c'est la meme machine qui
|
|
// pousse deja ses propres journaux vers le meme Loki. Un second agent ne servirait qu'a
|
|
// avoir deux configurations a garder en phase.
|
|
//
|
|
// L'ETIQUETTE `host` VIENT DE L'EMETTEUR, pas de nous : plusieurs equipements peuvent
|
|
// pointer ici, et les confondre sous le nom du recepteur rendrait les journaux
|
|
// inutilisables au moment ou l'on en a besoin.
|
|
loki.source.syslog "frontiere" {
|
|
listener {
|
|
address = "{{ client_journal_syslog_ecoute }}"
|
|
protocol = "{{ client_journal_syslog_protocole }}"
|
|
label_structured_data = true
|
|
labels = { job = "syslog", host = "{{ client_journal_syslog_emetteur }}" }
|
|
}
|
|
forward_to = [loki.relabel.syslog.receiver]
|
|
}
|
|
|
|
// QUI A PARLE ? On veut la meme etiquette `host` que pour une machine qui pousse, sans
|
|
// quoi la requete change de forme selon la provenance et personne ne s'en souvient.
|
|
//
|
|
// DEUX SOURCES, DANS CET ORDRE, ET C'EST DELIBERE.
|
|
//
|
|
// L'en-tete RFC5424 porte un nom que l'emetteur se donne — pratique quand il est juste,
|
|
// et vide ou faux quand il ne l'est pas. Mesure du 2026-09-10 : ni les journaux reels de
|
|
// la frontiere, ni un message d'essai forge a la main avec un nom explicite n'ont produit
|
|
// d'etiquette. Le champ existe dans la specification ; il n'arrive pas ici.
|
|
//
|
|
// L'ADRESSE DE LA CONNEXION, ELLE, EST TOUJOURS LA — et elle ne s'invente pas : c'est le
|
|
// pare-feu qui l'observe, pas l'emetteur qui la declare. Un nom qu'on se donne peut
|
|
// mentir ; une adresse de connexion, non.
|
|
//
|
|
// CE QUI A FINALEMENT SERVI : l'etiquette posee sur l'ECOUTEUR, depuis la carte de
|
|
// l'hebergeur. Aucune des trois regles ci-dessous n'a produit quoi que ce soit — ni sur
|
|
// les journaux reels, ni sur un message forge a la main. On garde le relabel : le jour ou
|
|
// l'emetteur enverra un nom, il prendra le dessus. En attendant, le nom vient de la ou il
|
|
// est DECLARE, pas de la ou on l'espere.
|
|
//
|
|
// CE QUE CA SUPPOSE, ET QU'IL FAUT SAVOIR : un SEUL emetteur par ecouteur. Le site n'a
|
|
// qu'une frontiere ; le jour ou un second equipement pointe ici, il faudra un ecouteur par
|
|
// emetteur, ou faire enfin marcher le relabel. La supposition est ecrite pour qu'on la
|
|
// retrouve, plutot que decouverte devant des journaux melanges.
|
|
//
|
|
// La derniere regle qui correspond gagne : le nom l'emporte quand il existe.
|
|
loki.relabel "syslog" {
|
|
forward_to = [loki.write.loki.receiver]
|
|
// `regex` SUR LES TROIS, Y COMPRIS CELLE-CI (mesure du 2026-09-10).
|
|
//
|
|
// Sans elle, la regle correspond TOUJOURS — meme quand sa source n'existe pas — et pose
|
|
// `host = ""`. Loki jette une etiquette vide, et l'etiquette posee sur l'ecouteur juste
|
|
// au-dessus disparaissait avec elle. Le symptome : un flux sans `host`, alors que la
|
|
// configuration deposee en portait un, visible a l'oeil dans le fichier.
|
|
//
|
|
// Une regle de relabel sans garde ne « laisse pas passer » : elle EFFACE.
|
|
rule {
|
|
source_labels = ["__syslog_connection_ip_address"]
|
|
target_label = "host"
|
|
regex = "(.+)"
|
|
}
|
|
rule {
|
|
source_labels = ["__syslog_connection_hostname"]
|
|
target_label = "host"
|
|
regex = "(.+)"
|
|
}
|
|
rule {
|
|
source_labels = ["__syslog_message_hostname"]
|
|
target_label = "host"
|
|
regex = "(.+)"
|
|
}
|
|
}
|
|
{% endif %}
|