Daniel Allaire
84b5ecc71d
Application de ce que l entree precedente avait prepare : 49 regles creees,
5 retirees. Cibles Prometheus 2/8 -> 8/8, hotes dans Loki 1/7 -> 7/7.
Puis correction de ce que l application a revele. Cinq defauts, tous de la
meme famille : un reglage qui ne suit pas l interrupteur dont il depend.
- la sonde de Loki interrogeait en HTTPS un Loki servant en clair ;
- la sonde de la forge visait http:// sur un port 443 chiffre, puis
validait un certificat emis pour le FQDN en interrogeant 127.0.0.1 ;
- la sonde du runner comparait six depots a UNE branche quand le plan en
declare une par depot. Elle contredisait la declaration qu elle etait
censee verifier : elle n accusait pas la machine, elle s accusait
elle-meme.
Le tenant restait juste dans les cinq cas. C est le site, qui deploie ces
roles autrement, qui les a tous reveles d un coup.
La sonde des journaux, elle, avait deux defauts a la naissance. Elle criait
une perte deja reparee, faute de dire sur QUELLE fenetre - un ecart sans sa
fenetre n est pas une mesure, c est un nombre. Et elle alertait sur la
cicatrice plutot que sur la plaie : le compteur d Alloy est cumulatif, donc
six machines restaient orange pour toujours. Ce qui alerte est desormais la
CROISSANCE. En echange, un cas muet leve maintenant : zero envoi et zero
rejet n est pas la sante, c est un agent qui ne fait rien.
Enfin, le runner ne pouvait plus cloner le genome. Defaut PREEXISTANT,
revele par le redeploiement et non cause par lui - le diff des regles
generees le montre. generer_nftables(site=True) lisait le plan du TENANT :
derive se resolvait donc a 3000, le port que Forgejo ecoute derriere un
edge, alors que le plan du site dit 443 et explique pourquoi. La forge
ouvrait un port que personne n ecoute et laissait 443 ferme a toute la
flotte.
Mesure finale : Icinga 51/51, Prometheus 8/8, Loki 7/7, prouver 64 OK,
lint 0 defaut sur 82 fichiers. Controles negatifs sur des COPIES des
sondes : les quatre rendent CRITICAL.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01Crgis8CxCWkAGFA1ecBz3q
93 lines
4 KiB
Django/Jinja
93 lines
4 KiB
Django/Jinja
#!/bin/bash
|
|
# GENERE par Set-OPS (role client_journal). Ne pas editer a la main.
|
|
#
|
|
# SONDE « journaux » — les lignes SORTENT-ELLES vers Loki ?
|
|
#
|
|
# Contrat : docs/supervision-conception.md (API des greffons Nagios) — une ligne, 0/1/2.
|
|
# Mise en defaut PAR PARAMETRE : `client_journal_sonde_url` (port ferme).
|
|
set -uo pipefail
|
|
|
|
URL={{ client_journal_sonde_url }}
|
|
ETAT={{ client_journal_sonde_etat }}
|
|
|
|
corps=$(curl -s --max-time 10 "${URL}/metrics" 2>/dev/null)
|
|
if [[ -z "${corps}" ]]; then
|
|
echo "Alloy ne repond pas sur ${URL} : impossible de savoir si les journaux partent."
|
|
exit 2
|
|
fi
|
|
|
|
# CE QU'ALLOY A DU JETER. On somme tous les motifs : `ingester_error` (le collecteur
|
|
# refuse ou reste injoignable), `rate_limited`, `queue_is_full`… La distinction interesse
|
|
# le diagnostic, pas la question « des lignes sont-elles perdues ? ».
|
|
jetees=$(printf '%s\n' "${corps}" \
|
|
| awk '/^loki_write_dropped_entries_total\{/ {s += $2} END {printf "%d", s+0}')
|
|
envoyees=$(printf '%s\n' "${corps}" \
|
|
| awk '/^loki_write_sent_entries_total\{/ {s += $2} END {printf "%d", s+0}')
|
|
|
|
# LA MEMOIRE D'UN PASSAGE : sans elle, un compteur cumulatif ne dit pas QUAND.
|
|
#
|
|
# ET LE MOMENT DE LA LECTURE PRECEDENTE AVEC ELLE (2026-09-10). Sans horodatage, « depuis
|
|
# le dernier passage » est une fenetre de duree inconnue : la sonde a annonce une PERTE EN
|
|
# COURS sur deux machines alors que le delta reel etait nul — les lignes avaient ete
|
|
# perdues entre une lecture manuelle de la veille et la reparation intervenue depuis.
|
|
#
|
|
# Un ecart sans sa fenetre n'est pas une mesure, c'est un nombre. On garde donc les deux,
|
|
# et le message porte la duree.
|
|
precedent=0
|
|
precedent_a=0
|
|
if [[ -r "${ETAT}" ]]; then
|
|
read -r precedent precedent_a < "${ETAT}" 2>/dev/null || true
|
|
fi
|
|
precedent=$(printf '%s' "${precedent:-0}" | tr -cd '0-9'); : "${precedent:=0}"
|
|
precedent_a=$(printf '%s' "${precedent_a:-0}" | tr -cd '0-9'); : "${precedent_a:=0}"
|
|
maintenant=$(date +%s)
|
|
printf '%s %s' "${jetees}" "${maintenant}" > "${ETAT}" 2>/dev/null || true
|
|
|
|
perf="envoyees=${envoyees} jetees=${jetees}"
|
|
nouvelles=$(( jetees - precedent ))
|
|
fenetre=$(( maintenant - precedent_a ))
|
|
|
|
# CE QUI ALERTE, C'EST LA CROISSANCE — PAS LA CICATRICE (2026-09-10).
|
|
#
|
|
# Le compteur d'Alloy est cumulatif : il ne redescend qu'au redemarrage du demon. Une
|
|
# machine qui a perdu onze mille lignes pendant que la frontiere etait fermee les portera
|
|
# donc pour toujours. Faire de ce total un AVERTISSEMENT, c'est condamner six machines sur
|
|
# sept a l'orange permanent — et une sonde toujours orange est une sonde qu'on cesse de
|
|
# lire, ce qui la rend pire qu'absente.
|
|
#
|
|
# La perte ANCIENNE n'est pas une cause d'action : elle est reparee, ou elle ne l'est pas,
|
|
# et c'est le delta qui le dit. Le total reste dans le texte et dans les metriques, la ou
|
|
# il sert au diagnostic sans crier.
|
|
if (( nouvelles > 0 )); then
|
|
echo "PERTE EN COURS : ${nouvelles} ligne(s) jetees en ${fenetre} s (${jetees} au total). | ${perf}"
|
|
exit 2
|
|
fi
|
|
|
|
# UN SILENCE COMPLET EST SUSPECT, LUI. Zero ligne expediee ET zero jetee ne veut pas dire
|
|
# « tout va bien » : ca veut dire qu'Alloy ne fait rien du tout — source mal ciblee,
|
|
# journal vide, composant non demarre. Ce cas-la merite d'etre vu.
|
|
if (( envoyees == 0 )); then
|
|
echo "Alloy n'a expedie AUCUNE ligne : ni envoi, ni rejet — rien ne remonte. | ${perf}"
|
|
exit 1
|
|
fi
|
|
|
|
# UN COMPTEUR QUI RECULE veut dire qu'Alloy a redemarre : ses compteurs repartent de zero.
|
|
# Ce n'est pas une perte, et le dire evite de chercher une panne la ou il y a eu un
|
|
# redemarrage.
|
|
if (( nouvelles < 0 )); then
|
|
echo "Alloy a redemarre ; ${envoyees} ligne(s) expediees depuis, aucune perte nouvelle. | ${perf}"
|
|
exit 0
|
|
fi
|
|
|
|
# UNE PREMIERE LECTURE N'A PAS DE FENETRE : rien a comparer. On rend l'etat, pas un verdict.
|
|
if (( precedent_a == 0 )); then
|
|
echo "Premiere lecture : ${envoyees} ligne(s) expediees, ${jetees} jetees cumulees. | ${perf}"
|
|
exit 0
|
|
fi
|
|
|
|
if (( jetees > 0 )); then
|
|
echo "Journaux expedies ; aucune perte depuis ${fenetre} s (${jetees} jetees par le passe). | ${perf}"
|
|
exit 0
|
|
fi
|
|
echo "Journaux expedies vers Loki, aucune ligne perdue. | ${perf}"
|
|
exit 0
|