[ADD] install: mise as Python provider, pyenv as fallback
mise lays down a precompiled CPython where pyenv builds one: seconds
against one to three minutes, with no -dev package at all. The choice
lives in EL_PYTHON_PROVIDER -- auto, mise or pyenv -- and in a single
file, lib_python_provider.sh. The rest of the repository only knows venv
paths and needs to know none of this.
In auto mode an ALREADY installed interpreter wins, whichever provider put
it there. mise is never installed on its own, "curl | sh" commits too much
for a script to decide -- make install_mise carries that decision.
MISE_PYTHON_COMPILE=false forbids it from quietly compiling: without that
guard it would fall back to pyenv's own engine, giving us the slowness
without the tooling. That is also what stopped gcc from collapsing while
building CPython on a low-memory s390x guest, for nothing.
One real bug falls along the way: a failed venv did not stop the install,
which then went on and failed further down, far from the cause.
--- FR ---
mise pose un CPython précompilé là où pyenv en compile un : des secondes
contre une à trois minutes, et aucun paquet -dev. Le choix vit dans
EL_PYTHON_PROVIDER — auto, mise ou pyenv — et dans un seul fichier,
lib_python_provider.sh. Le reste du dépôt ne connaît que des chemins de
venv et n'a rien à savoir de tout cela.
En mode auto, un interpréteur DÉJÀ posé l'emporte, quel qu'en soit le
fournisseur. mise n'est jamais installé de lui-même, « curl | sh » engage
trop pour qu'un script en décide — make install_mise porte cette décision.
MISE_PYTHON_COMPILE=false lui interdit de compiler en silence : sans ce
garde, il retomberait sur le moteur de pyenv, et nous aurions sa lenteur
sans son outillage. C'est aussi ce qui a évité que gcc s'écroule en
bâtissant CPython sur une VM s390x à faible mémoire, inutilement.
Un vrai défaut tombe au passage : un venv raté n'arrêtait pas
l'installation, qui continuait et échouait plus loin, loin de la cause.
Assisted-by: Claude Opus 5
2026-08-11 22:03:40 -04:00
|
|
|
#!/usr/bin/env bash
|
|
|
|
|
# © 2021-2026 TechnoLibre (http://www.technolibre.ca)
|
|
|
|
|
# License AGPL-3.0 or later (http://www.gnu.org/licenses/agpl)
|
|
|
|
|
#
|
|
|
|
|
# Bibliothèque SOURÇABLE : « une version de Python » -> « un interpréteur ».
|
|
|
|
|
#
|
|
|
|
|
# C'est le seul endroit du dépôt qui décide COMMENT un interpréteur est
|
|
|
|
|
# obtenu. Tout le reste ne consomme que des chemins de venv, jamais pyenv ni
|
|
|
|
|
# mise. Ajouter un fournisseur se fait donc ici, et nulle part ailleurs.
|
|
|
|
|
#
|
|
|
|
|
# Deux fournisseurs :
|
|
|
|
|
# pyenv historique. Compile CPython depuis les sources : 1 à 3 min sur une
|
|
|
|
|
# machine récente, bien plus sous émulation, et il lui faut une
|
|
|
|
|
# douzaine de -dev (openssl, zlib, readline, sqlite, bzip2, xz, tk…).
|
|
|
|
|
# mise pose un CPython PRÉCOMPILÉ (astral python-build-standalone) :
|
|
|
|
|
# quelques secondes, aucun compilateur requis.
|
|
|
|
|
#
|
|
|
|
|
# EL_PYTHON_PROVIDER choisit : auto (défaut), mise, ou pyenv.
|
|
|
|
|
#
|
|
|
|
|
# En mode « auto », un interpréteur DÉJÀ présent gagne, quel que soit le
|
|
|
|
|
# fournisseur qui l'a posé. Une installation pyenv qui marche n'est donc
|
|
|
|
|
# jamais doublée par un second CPython de 150 Mo.
|
|
|
|
|
|
|
|
|
|
# Ne jamais laisser mise compiler en silence : sans build précompilée pour la
|
|
|
|
|
# plateforme, il retomberait sur python-build — le moteur de pyenv — et on
|
|
|
|
|
# aurait la lenteur de pyenv sans son outillage. « false » = télécharger ou
|
|
|
|
|
# échouer ; l'échec nous fait basculer proprement sur le repli.
|
|
|
|
|
export MISE_PYTHON_COMPILE=false
|
|
|
|
|
|
|
|
|
|
el_pyenv_root() {
|
|
|
|
|
echo "${PYENV_ROOT:-${HOME}/.pyenv}"
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Chemin de l'interpréteur pyenv d'une version, qu'il existe ou non.
|
|
|
|
|
el_pyenv_exec_path() {
|
|
|
|
|
echo "$(el_pyenv_root)/versions/$1/bin/python"
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Interpréteur déjà posé par mise, sans le moindre accès réseau.
|
|
|
|
|
el_mise_exec_path() {
|
|
|
|
|
command -v mise > /dev/null 2>&1 || return 1
|
|
|
|
|
local out
|
|
|
|
|
out="$(mise where "python@$1" 2> /dev/null)" || return 1
|
|
|
|
|
[ -n "${out}" ] && [ -x "${out}/bin/python" ] || return 1
|
|
|
|
|
echo "${out}/bin/python"
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Vrai si l'exécutable rend EXACTEMENT la version demandée. Un interpréteur
|
|
|
|
|
# présent mais d'une autre version casserait Poetry, dont le pyproject exige
|
|
|
|
|
# le patch au près (>=3.12.10,<3.13).
|
|
|
|
|
el_python_is_version() {
|
|
|
|
|
local exe="$1" want="$2" got
|
|
|
|
|
[ -x "${exe}" ] || return 1
|
|
|
|
|
got="$("${exe}" -c 'import platform;print(platform.python_version())' 2> /dev/null)"
|
|
|
|
|
[ "${got}" = "${want}" ]
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Vrai si l'exécutable CONVIENT : même majeure.mineure, et patch au moins
|
|
|
|
|
# égal au demandé. C'est exactement ce qu'exige le pyproject — « >=3.12.10,
|
|
|
|
|
# <3.13 » — et non l'égalité stricte que testait el_python_is_version.
|
|
|
|
|
#
|
|
|
|
|
# La distinction n'est pas théorique. Tumbleweed s390x livre python312 en
|
|
|
|
|
# 3.12.13 : parfaitement utilisable, mais rejeté par l'égalité, ce qui forçait
|
|
|
|
|
# pyenv à COMPILER CPython — et gcc 15.2 s'y arrête sur une erreur interne
|
|
|
|
|
# dans Parser/parser.c, un fichier généré de quarante mille lignes.
|
|
|
|
|
el_python_is_compatible() {
|
|
|
|
|
local exe="$1" want="$2" got
|
|
|
|
|
[ -x "${exe}" ] || return 1
|
|
|
|
|
got="$("${exe}" -c 'import platform;print(platform.python_version())' \
|
|
|
|
|
2> /dev/null)"
|
|
|
|
|
[ -n "${got}" ] || return 1
|
|
|
|
|
# Même majeure.mineure : 3.13 ne convient pas à un pyproject borné à <3.13.
|
|
|
|
|
[ "${got%.*}" = "${want%.*}" ] || return 1
|
|
|
|
|
# Patch au moins égal, comparé en version et non en chaîne (3.12.9 < 3.12.10).
|
|
|
|
|
[ "$(printf '%s\n%s\n' "${want}" "${got}" | sort -V | head -1)" = "${want}" ]
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Interpréteur de la DISTRIBUTION qui conviendrait, s'il y en a un.
|
|
|
|
|
#
|
|
|
|
|
# Cherché avant toute compilation : sur une architecture émulée, bâtir CPython
|
|
|
|
|
# prend des dizaines de minutes quand il aboutit. Le nom suit la convention de
|
|
|
|
|
# toutes les distributions, « python3.12 ».
|
|
|
|
|
el_distro_python_exec() {
|
|
|
|
|
local want="$1" exe
|
|
|
|
|
# Des chemins SYSTEME, jamais « command -v » : dans un venv activé celui-ci
|
|
|
|
|
# rend le python DU VENV, et l'on bâtirait un venv depuis un venv. Le PATH
|
|
|
|
|
# d'une session interactive n'a rien à faire dans cette décision.
|
|
|
|
|
for exe in "/usr/bin/python${want%.*}" "/usr/local/bin/python${want%.*}"; do
|
|
|
|
|
if el_python_is_compatible "${exe}" "${want}"; then
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
return 0
|
|
|
|
|
fi
|
|
|
|
|
done
|
|
|
|
|
return 1
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Installe la version via mise. Renvoie le chemin, ou échoue.
|
|
|
|
|
el_mise_install() {
|
|
|
|
|
local version="$1" exe
|
|
|
|
|
command -v mise > /dev/null 2>&1 || return 1
|
|
|
|
|
echo "---- Python ${version} via mise (precompile) ----" >&2
|
|
|
|
|
mise install "python@${version}" >&2 || return 1
|
|
|
|
|
exe="$(el_mise_exec_path "${version}")" || return 1
|
|
|
|
|
el_python_is_version "${exe}" "${version}" || return 1
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# Installe la version via pyenv, en posant pyenv lui-même au besoin.
|
|
|
|
|
el_pyenv_install() {
|
|
|
|
|
local version="$1" root exe
|
|
|
|
|
root="$(el_pyenv_root)"
|
|
|
|
|
exe="$(el_pyenv_exec_path "${version}")"
|
|
|
|
|
if [[ ! -d "${root}" ]]; then
|
|
|
|
|
echo "---- Installation de pyenv dans ${root} ----" >&2
|
[ADD] cache qemu : miroir des téléchargements des VM, hors ligne compris
VMs of one host pulled the same packages again and again, and an install
could not be proven to work without the network. A Go service intercepts the
bridge transparently: a package file is served from disk, an index is always
revalidated upstream and replayed only when upstream is mute, git is mirrored.
Deployment poses the cache authority in QEMU and Proxmox VE guests, and can cut
the network for a whole install. The TODO menu installs, diagnoses, fills,
cleans and copies the store; long_test/qemu_cache.py measures that a second VM
pulls no package upstream. Covered by Go tests and test/test_qemu_cache_*.py.
--- FR ---
Les VM d'un hôte tiraient sans cesse les mêmes paquets, et rien ne prouvait
qu'une installation marche sans réseau. Un service Go intercepte le pont de
façon transparente : un fichier de paquet est servi du disque, un index est
toujours revalidé à l'amont et rejoué seulement quand l'amont est muet, git
est mis en miroir. Le déploiement pose l'autorité du cache dans les invités
QEMU et Proxmox VE, et peut couper le réseau pour toute une installation. Le
menu TODO installe, diagnostique, remplit, nettoie et emporte le magasin ;
long_test/qemu_cache.py mesure qu'une seconde VM ne tire aucun paquet de
l'amont. Couvert par les tests Go et test/test_qemu_cache_*.py.
Assisted-by: Claude Opus 5
2026-09-14 14:41:19 -04:00
|
|
|
# « -f » : sans lui, curl livre le CORPS d'une erreur HTTP à bash, qui
|
|
|
|
|
# l'exécute. Une page d'erreur de miroir, un portail captif ou le 504
|
|
|
|
|
# d'un cache hors ligne devient alors une suite de commandes, et le
|
|
|
|
|
# lecteur reçoit « command not found » à la place de la cause. Avec
|
|
|
|
|
# « -f », curl rend non nul et le repli ci-dessous s'énonce.
|
|
|
|
|
curl -fsSL https://raw.githubusercontent.com/pyenv/pyenv-installer/master/bin/pyenv-installer \
|
[ADD] install: mise as Python provider, pyenv as fallback
mise lays down a precompiled CPython where pyenv builds one: seconds
against one to three minutes, with no -dev package at all. The choice
lives in EL_PYTHON_PROVIDER -- auto, mise or pyenv -- and in a single
file, lib_python_provider.sh. The rest of the repository only knows venv
paths and needs to know none of this.
In auto mode an ALREADY installed interpreter wins, whichever provider put
it there. mise is never installed on its own, "curl | sh" commits too much
for a script to decide -- make install_mise carries that decision.
MISE_PYTHON_COMPILE=false forbids it from quietly compiling: without that
guard it would fall back to pyenv's own engine, giving us the slowness
without the tooling. That is also what stopped gcc from collapsing while
building CPython on a low-memory s390x guest, for nothing.
One real bug falls along the way: a failed venv did not stop the install,
which then went on and failed further down, far from the cause.
--- FR ---
mise pose un CPython précompilé là où pyenv en compile un : des secondes
contre une à trois minutes, et aucun paquet -dev. Le choix vit dans
EL_PYTHON_PROVIDER — auto, mise ou pyenv — et dans un seul fichier,
lib_python_provider.sh. Le reste du dépôt ne connaît que des chemins de
venv et n'a rien à savoir de tout cela.
En mode auto, un interpréteur DÉJÀ posé l'emporte, quel qu'en soit le
fournisseur. mise n'est jamais installé de lui-même, « curl | sh » engage
trop pour qu'un script en décide — make install_mise porte cette décision.
MISE_PYTHON_COMPILE=false lui interdit de compiler en silence : sans ce
garde, il retomberait sur le moteur de pyenv, et nous aurions sa lenteur
sans son outillage. C'est aussi ce qui a évité que gcc s'écroule en
bâtissant CPython sur une VM s390x à faible mémoire, inutilement.
Un vrai défaut tombe au passage : un venv raté n'arrêtait pas
l'installation, qui continuait et échouait plus loin, loin de la cause.
Assisted-by: Claude Opus 5
2026-08-11 22:03:40 -04:00
|
|
|
| bash >&2 || return 1
|
|
|
|
|
fi
|
|
|
|
|
export PATH="${root}/bin:$PATH"
|
|
|
|
|
eval "$(pyenv init - 2> /dev/null)" || true
|
|
|
|
|
eval "$(pyenv virtualenv-init - 2> /dev/null)" || true
|
|
|
|
|
if [[ ! -d "${root}/versions/${version}" ]]; then
|
|
|
|
|
# pyenv COMPILE CPython : sans compilateur C, il télécharge l'archive,
|
|
|
|
|
# lance configure et s'arrête sur « no acceptable C compiler found », après
|
|
|
|
|
# avoir gaspillé le téléchargement. On le dit AVANT, et on nomme le paquet.
|
|
|
|
|
if ! command -v cc > /dev/null 2>&1 \
|
|
|
|
|
&& ! command -v gcc > /dev/null 2>&1; then
|
|
|
|
|
echo "Aucun compilateur C : pyenv ne peut pas compiler Python." >&2
|
|
|
|
|
echo " Installez le necessaire de compilation (build-essential," >&2
|
|
|
|
|
echo " gcc/gcc-c++, ou le motif devel_basis) puis relancez." >&2
|
|
|
|
|
return 1
|
|
|
|
|
fi
|
|
|
|
|
echo "---- Python ${version} via pyenv (compilation) ----" >&2
|
|
|
|
|
# La liste des versions connues vient du dépôt git de pyenv : sans ce
|
|
|
|
|
# « pull », une version récente est « not a known version ».
|
|
|
|
|
(cd "${root}" && git pull) >&2 || true
|
|
|
|
|
# Le contrôle d'erreur d'origine testait un $retVal jamais affecté ici :
|
|
|
|
|
# un échec de compilation passait inaperçu jusqu'au test d'existence.
|
|
|
|
|
if ! yes n | pyenv install "${version}" >&2; then
|
|
|
|
|
echo "pyenv install ${version} a echoue." >&2
|
|
|
|
|
return 1
|
|
|
|
|
fi
|
|
|
|
|
fi
|
|
|
|
|
el_python_is_version "${exe}" "${version}" || return 1
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
# API publique : imprime le chemin absolu d'un interpréteur de cette version,
|
|
|
|
|
# ou rien (et rend non nul) si aucun fournisseur n'y parvient.
|
|
|
|
|
el_python_exec() {
|
|
|
|
|
local version="$1" provider="${EL_PYTHON_PROVIDER:-auto}" exe
|
|
|
|
|
|
|
|
|
|
# 1) Déjà présent ? On ne réinstalle rien et on ne touche pas au réseau.
|
|
|
|
|
# C'est ce qui rend le changement sans effet pour une installation
|
|
|
|
|
# pyenv existante.
|
|
|
|
|
if [ "${provider}" != "mise" ]; then
|
|
|
|
|
exe="$(el_pyenv_exec_path "${version}")"
|
|
|
|
|
if el_python_is_version "${exe}" "${version}"; then
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
return 0
|
|
|
|
|
fi
|
|
|
|
|
fi
|
|
|
|
|
if [ "${provider}" != "pyenv" ]; then
|
|
|
|
|
if exe="$(el_mise_exec_path "${version}")" \
|
|
|
|
|
&& el_python_is_version "${exe}" "${version}"; then
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
return 0
|
|
|
|
|
fi
|
|
|
|
|
fi
|
|
|
|
|
|
|
|
|
|
# 2) Un interpréteur de la DISTRIBUTION qui convient ? Rien à installer,
|
|
|
|
|
# rien à compiler. Vérifié avant mise et pyenv : c'est le seul chemin
|
|
|
|
|
# qui ne coûte rien, et sur s390x le seul qui aboutisse partout — mise
|
|
|
|
|
# n'y publie aucun binaire, et pyenv doit compiler.
|
|
|
|
|
# Uniquement en mode « auto » : demander mise ou pyenv explicitement doit
|
|
|
|
|
# être respecté, sinon le réglage ne veut plus rien dire.
|
|
|
|
|
if [ "${provider}" = "auto" ] \
|
|
|
|
|
&& exe="$(el_distro_python_exec "${version}")"; then
|
|
|
|
|
echo "Python $("${exe}" -V 2>&1 | awk '{print $2}') de la distribution :" \
|
|
|
|
|
"aucune compilation." >&2
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
return 0
|
|
|
|
|
fi
|
|
|
|
|
|
|
|
|
|
# 3) Rien de posé : il faut provisionner. mise d'abord quand il est là,
|
|
|
|
|
# parce qu'il télécharge au lieu de compiler.
|
|
|
|
|
if [ "${provider}" != "pyenv" ]; then
|
|
|
|
|
if exe="$(el_mise_install "${version}")"; then
|
|
|
|
|
echo "${exe}"
|
|
|
|
|
return 0
|
|
|
|
|
fi
|
|
|
|
|
[ "${provider}" = "mise" ] && return 1
|
|
|
|
|
command -v mise > /dev/null 2>&1 \
|
|
|
|
|
&& echo "mise n'a pas pu fournir Python ${version} : repli sur pyenv." >&2
|
|
|
|
|
fi
|
|
|
|
|
el_pyenv_install "${version}"
|
|
|
|
|
}
|