Mis à jour automatiquement depuis docs/PIPELINE-5-NICHES.md — généré le 2026-11-21T09:50:52.886Z
Document de référence unique, demandé par l'utilisateur le 21/11/2026 (« je ne veux plus perdre de temps, plus aller dans tous les sens... tout doit fonctionner parfaitement, comme sur une horloge ») — à relire EN ENTIER avant toute action sur la chaîne de rédaction, même après une coupure de session. Révision du 21/11 (2e passe) : chaque script cité a été lu en entier (pas juste son en-tête), chaque service/timer a été vérifié EN DIRECT (état réel, log réel, pas supposé) sur les 3 serveurs (45, 77, 173). Si un comportement observé contredit ce document, mettre à jour ce document dans le même geste — jamais le contraire.
Les 5 niches actives : chaussons-site, chien-hiver-site, vetements-chauffants-site,
lampes-ambiance-site, globe-terrestre-site (liste officielle : config/repartition-serveurs.json). D'autres
dossiers existent sous data/usine/ (arbre-chat, panier-chien, plaid, couverture-lestee, cyclisme-bsg,
julprakt-annee, etc.) : anciens/autres projets, hors périmètre de ce document.
Ce document est aussi publié en page web, lisible sur mobile : https://carte.zenithlab.net (ordre utilisateur
21/11 : « pour que, s'il y a un problème, je t'envoie te référer à la carte »). PAS portail.zenithlab.net —
déjà pris par le vrai Scale Admin (scripts/usine/admin/serveur.mjs, vérifié avant de choisir ce nom, pour ne
jamais entrer en conflit avec le DNS existant). Généré depuis CE fichier (jamais une copie figée) par
node scripts/chaine/generer-portail.mjs, déployé sur Cloudflare Pages (projet portail-zenithlab, même
mécanisme que scripts/bible/publier.sh) via bash scripts/chaine/publier-carte.sh — à relancer après
CHAQUE mise à jour de ce document pour que la page reste à jour (pas automatique).
cat data/chaine/sante-5-niches.md
Un seul rapport, régénéré automatiquement toutes les 15 min (crontab du 45), qui répond en un coup d'œil à
« où est-ce que ça coince, précisément ? » sur les 5 dimensions apprises à la dure ce soir (serveurs, bras de
rédaction par service — jamais un chiffre combiné, voir §7.3 — comptes Google, disjoncteur AI Studio, niches).
Verdicts à 3 niveaux : 🟢 OK, 🟠 ATTENTION (normal/attendu, s'auto-résorbe), 🔴 BLOQUÉ (une action est probablement
utile). Construit par scripts/chaine/sante-5-niches.mjs — lecture seule, jamais de redémarrage automatique (ça
reste le rôle de garde-bras.py/superviseur-chaine.mjs) ; logique des seuils testée sans réseau
(node scripts/chaine/sante-5-niches.test.mjs, 19 cas, dont chaque incident réel trouvé ce soir).
Ne jamais ré-enquêter à la main un point déjà couvert par ce rapport — s'il semble faux, corriger le rapport
(c'est un outil, pas une vérité figée), jamais le contourner en silence.
Le transfert 77→173 et l'enchaînement des niches sont automatiques depuis le 21/11 (§3.1bis) :
scripts/chaine/sequenceur-niches-173.mjs, cron 15 min — une seule niche rédigée à la fois sur le 173, la
suivante prend le relais dès que la précédente est vraiment terminée. Ne plus jamais faire ce rsync à la main.
dises pas qu'elles sont toutes épuisées... une information précise »)
Interdit : répondre par une généralité ("tous épuisés" / "tout va bien") sans avoir fait les 4 vérifications ci-dessous, dans l'ordre. Chacune existe parce qu'une généralité s'est révélée fausse ou trompeuse le 21/11.
data/chaine/sante-5-niches.md, section Disjoncteur. Depuis le
21/11, elle lit les 3 disjoncteurs (45/77/173 — chacun le sien, jamais partagé) et donne le pire en le nommant.
AVANT cette correction, le rapport ne lisait QUE le 173 et donnait un chiffre faux pour le 45 (« lève dans
8 min » cité pour le 45 alors que c'était le 173 ; le 45 avait sa propre fin de suspension 43 min plus tard).gemini-3.5-flash-lite, quota 60/jour/
compte) et le rôle juge (gemini-3.8-flash) ont des quotas et des disjoncteurs SÉPARÉS — un bras qui
affiche « comptes épuisés » peut n'avoir que le rôle juge touché, le rédacteur tournant normalement. Vérifier
dans le log du bras concerné (logs/bras-colab-<service>.log) si la ligne « TOUS LES COMPTES EN PAUSE »
porte sur writer ou judge avant de conclure quoi que ce soit.(12/60 aujourd'hui, 434k/550k car.)) — lire les dernières lignes plutôt que de deviner.node scripts/julprakt/sonde-cle-rapide.mjs <port_jobs_local> <site> --role judge|writer (créé le 21/11) soumet un VRAI job minimal (« réponds OK ») à
la file et attend la vraie réponse. Limite importante, trouvée en le testant : la file chaussons173 est
PARTAGÉE entre les 3 serveurs (§4) — un test soumis depuis le 45 peut être répondu par un compte du 77 ou du
173, pas forcément un compte du 45. Ce test prouve donc « ce rôle répond, quelque part dans le pool du site »,
jamais « ce serveur précis est en bonne santé » — pour isoler UN serveur précis, rester sur les points 1 à 3
(ses propres fichiers de log/quota), jamais le test partagé seul.Vigilance permanente, pas verbale (ajout du 21/11, après une suspension du 45 aux signes ambigus — « permission
denied » sur 3 comptes + « unusual account activity », pouvant être un vrai quota OU un blocage d'accès probable)
: garde-bras.py (déjà actif toutes les 5 min sur les 3 serveurs) détecte désormais la RÉCIDIVE — une nouvelle
suspension qui démarre moins de 30 min après la fin de la précédente, SUR LE MÊME SERVEUR. Un vrai quota
journalier ne redéclenche pas une pause juste après l'avoir levée ; un blocage d'accès, si (la cause — IP/
navigateur suspect — n'a pas disparu). En cas de récidive, garde-bras.json.probleme porte le message explicite
et alertes-10.py le relaie (il lit déjà ce champ). Déployé identique sur 45/77/173, état de suivi dans
garde-bras.json.disjoncteur_hist (par serveur, écrasé par le script local de chaque serveur).
Source de vérité : config/repartition-serveurs.json (remplace l'ancienne règle « une niche = un serveur » du
31/10, abrogée explicitement le 20/11).
| Serveur | Alias SSH | Utilisateur | Rôle | Ne fait JAMAIS |
|---|---|---|---|---|
| 45 (ici) | — | fredy | Construction : agrège les traductions terminées venant du 173 pour construire les 5 boutiques Shopify. Contribue aussi des comptes de rédaction gratuits à la file de chaussons-site (§4) | Ne récolte plus, ne rédige pas lui-même (prête seulement des comptes) |
| 77 | globe-terrestre |
fredy | Récolte + qualification + nettoyage photos, pour les 5 niches. Contribue aussi des comptes de rédaction gratuits à chaussons-site (§4) | Jamais de rédaction en PROPRE NOM (règle « sourcing cloisonné au 77 », 15/11) |
| 173 | bysportgear |
ernest (/home/ernest/Claude/build, chemin différent du 45/77 !) |
SEUL serveur où rediger.mjs est lancé (titres, fiches, collections, FAQ), pour les 5 niches |
Ne récolte jamais, ne qualifie jamais (anomalie trouvée et corrigée le 21/11 : voir §7.1) |
| Oracle | oracle-ia |
ubuntu | Centralise les résultats du 77 et du 173, juge indépendant | N'écrit jamais vers 77/173/45 (clé dédiée écriture seule dans l'autre sens) |
| # | Étape | Script / fichier exact | Serveur | Déclenché par |
|---|---|---|---|---|
| 1 | Carte des catégories (Suggest+Ads, volumes mesurés 4 pays) | carte-categories.json ; verrou scripts/usine/etude/carte-complete.mjs <niche> (code 0 = complète, règle 101) |
77 | Manuel (Claude) |
| 2 | Récolte massive (entonnoir, photos avant tout, API AliExpress + juge Gemini) | scripts/usine/etude/sourcing-rapide.mjs <niche> → data/usine/<niche>/rapide/ |
77 | Manuel ; relancé si bloqué par superviser-qualification.sh (§6) |
| 3 | Qualification → sélection à 550 | scripts/usine/etude/affiner-niche.mjs <niche> PUIS completer-familles.mjs <niche> (seul script qui écrit réellement selection-200.json) |
77 | Manuel ; watchdog superviser-qualification.timer (30 min, 4 relances/jour max par niche) |
| 4 | Nettoyage des photos (tri + LaMa/OCR + détection de doublons visuels pHash depuis le 20/11) | scripts/usine/etude/photos-nettoyer.mjs <niche> → photos-nettoyees/etat.json, doublons-photos.json |
77 | Manuel |
| 5 | PORTE DE TRADUCTION (verrou, règle 88.sexies) : 550 produits + fiche fournisseur + stock>0 + ≥4 photos + photos nettoyées « ok » + étude concurrents de chaque collection | scripts/usine/etude/porte-traduction.mjs <niche> — lecture seule, ne modifie rien |
Vérifié localement sur le serveur qui lance la rédaction (173) | Automatique : appelé à chaque lancement de rediger.mjs |
| 6 | Transfert des données 77 → 173 | rsync (en 2 sauts via le 45) |
77 → 173 | Automatique depuis le 21/11 : scripts/chaine/sequenceur-niches-173.mjs (§3.1bis) — UNE SEULE niche à la fois |
| 7 | Rédaction (titres, fiches, emotion) — le PROCESS tourne sur le 173, mais la main-d'œuvre IA (bras) vient de 3 serveurs | scripts/usine/rediger/rediger.mjs <niche> --fiches 550 --langues <L> → textes/<L>/{titres,fiches,emotion}.json |
Process sur 173 ; comptes bras sur 45+77+173 (§4) | Lancement automatique par le séquenceur (§3.1bis) à la suite du transfert ; watchdog surveiller-rediger.sh (§6 : chaussons-site nl/de seulement aujourd'hui) |
| 8 | Jugement + correction des refus | Juge intégré à rediger.mjs (juge.mjs) ; refus persistants (n≥3) repris par scripts/usine/rediger/reprise-refuses.mjs <niche> (plafonné à 30/langue/lancement depuis le 21/11) |
173 | Manuel |
| 9 | Relecture de 25 titres (règle 4.9) | rediger.mjs <niche> --echantillon <L> écrit l'échantillon ; textes/<L>/titres.valide écrit après lecture (humaine ou « relecture croisée Claude », doctrine 111 pt 18) |
173 | Manuel |
| 10 | Collections + FAQ (verrou : ≥ 97 % de titres validés par langue, règle 92) | collections.mjs (appelé par rediger.mjs) → textes/<L>/collections.json |
173 | Automatique dès que le verrou de couverture passe |
| 11 | Envoi des textes conformes vers Oracle | scripts/chaine/envoyer-oracle.sh <niche> — audite d'abord (auditer-textes.mjs), n'envoie que ce qui passe |
77 et 173 → Oracle | Automatique en fin de chaque passage de rediger.mjs si du travail réel a été fait (code ≠ 10) et hôte = 77 ou 173 |
| 12 | Miroir complet (sauvegarde, pas un flux de travail) | scripts/chaine/miroir-oracle.sh — copie TOUT data/usine/<niche> et data/seo/<niche> (sauf photos lourdes) |
77 et 173 → Oracle | Automatique, timer 5 min |
| 13 | Construction du site | 45 agrège les traductions terminées | config/ordre-construction-shops/<niche> |
45 |
Il y a en réalité deux flux séparés, à ne jamais confondre : le flux de DONNÉES de niche (récolte/photos) et le flux de TRAVAIL IA (le bras). Le premier n'est PAS automatisé ; le second l'est, sur 3 serveurs à la fois.
porte-traduction.mjs (étape 5) : une fonction de lecture seule qui vérifie
les fichiers locaux du serveur qui l'appelle. rediger.mjs l'appelle à chaque lancement et refuse de
rédiger si la porte est fermée (code de sortie 3).scripts/chaine/sequenceur-niches-173.mjs, en cron toutes les 15 min sur le 45, remplace le
rsync manuel que je faisais à chaque fois. Logique : une seule niche rédigée à la fois sur le 173 (jamais
deux en parallèle — le pool de comptes est déjà juste, §4) ; dès que la niche en cours est VRAIMENT terminée
(toutes ses langues : titres.valide + couverture ≥ 97 % + collections.json écrit, règles 4.9/92), la
prochaine niche prête sur le 77 est transférée puis sa rédaction lancée. « Prête » = DEUX conditions, pas
une seule (précisé le 21/11, confirmé explicitement par l'utilisateur) : porte 88.sexies ouverte (vérifiée EN
INTERROGEANT LE 77 directement, pas le 173) ET la réserve (250) qualifiée à 100 %
(data/usine/<niche>/qualification-amont.json → reserve.qualifies >= reserve.exigence) — la sélection des 550
seule ne suffit pas. Cette 2e condition ne s'applique qu'au CHOIX de la prochaine niche à démarrer, jamais à une
niche déjà active (chaussons-site roule aujourd'hui avec sa réserve à 151/250 — règle non rétroactive). Le
transfert lui-même est un rsync en 2 sauts via le 45 (photos lourdes exclues — rediger.mjs ne lit jamais les
images), puis lancement via systemd-run (détaché, survit à la fin du séquenceur). Si aucune niche n'est prête,
ou si le 173 est occupé par une niche pas encore terminée : rien ne se passe, le prochain passage retente.
Logique de décision testée sans réseau : sequenceur-niches-173.test.mjs (15 cas).porte-traduction.mjs peut encore répondre « fermée » sur le 173 juste
après un transfert si une vérification (étude concurrents, photos) n'était pas réellement finie sur le 77 au
moment du transfert — le séquenceur ne fait que COPIER ce que le 77 affirme être prêt, il ne revérifie pas en
profondeur après coup.miroir-oracle.sh (tourne sur le 77 ET le 173, toutes les 5 min) copie vers Oracle seulement, jamais vers
l'autre serveur — ne pas confondre avec le séquenceur ci-dessus.Le bras qui écrit/juge les textes de chaussons-site n'est PAS limité au 173. Trois services bras-colab.mjs
séparés (un par serveur, comptes Google différents) servent la MÊME file de jobs sur le 173, reliée par un réseau
de tunnels SSH permanents. C'est un point que je n'avais pas vérifié avant ce soir et qui change le diagnostic
d'une « panne de 11 comptes » en « panne de pool complet, 3 serveurs » — voir §4.
45 (bsg-jobs.service, port 8100, sa PROPRE file locale, sert aussi Bible/Julprakt)
│
├─ bsg-tunnel-173-local.service : ssh -L 127.0.0.1:18173→bysportgear:8100
│ 45 voit la file de jobs du 173 sur son propre 18173
│
├─ bsg-tunnel-173-77.service : ssh -R 127.0.0.1:8173→45:18173, vers globe-terrestre
│ 77 voit AUSSI la file de jobs du 173, relayée via 45, sur son 8173
│
└─ bsg-tunnel-45-oracle / 77-oracle / 173-oracle : relais vers Oracle (jugement chaussons45, sans reconnexion)
bras-colab.mjs tourne donc TROIS FOIS, chacun avec SES PROPRES comptes Google, tous pointés sur la file du 173 :
- 173 : bsg-bras-colab.service — comptes locaux (25 réellement en rotation / 26 au registre, p2.0 exclu ; 11 sains aujourd'hui)
- 45 : bsg-bras-colab-chaussons.service — comptes 1,2,7,8,9,p2.0-5,p3.0-3,p3.5,p3.6 (17 comptes), via 127.0.0.1:18173
- 77 : bsg-bras-colab-chaussons-77.service — comptes 0-9,p6.0 (11 comptes, 5 autres réservés au sourcing), via 127.0.0.1:8173
inventaire-comptes-chaussons.mjs), répartis sur 3 machines
physiques différentes, tous connectés à la même file de travail.
C'est pour ça que le diagnostic du début de soirée (« 11 comptes au plafond, tout est bloqué ») était vrai pour
le 173 seul mais incomplet pour le pool entier.bsg-bras-colab-chaussons.service) tournait
(systemd le voyait « active », aucun crash, NRestarts=0) mais n'avait plus écrit une seule ligne de log
depuis le 2026-11-20 19:02 — soit ~12 h de silence total, y compris pendant l'incident de saturation de
cette nuit. Process figé en interne (pas planté, donc jamais relancé par Restart=always). Corrigé :
systemctl --user restart bsg-bras-colab-chaussons.service — a repris immédiatement des jobs réels de la file
(ia-chaussons-site/w2-juge-nl-...). Cause racine trouvée et corrigée dans garde-bras.py lui-même le 21/11
(bug réel de longue date, pas juste un incident isolé) — voir §7.3 : le gardien détectait bien ce gel à chaque
passage mais sa commande de réparation ne visait jamais le bon service. Testé réparé sur les 3 serveurs.sante-5-niches.mjs). Les deux fois : même réparation
(systemctl --user restart bsg-bras-colab-chaussons-77.service), reprise immédiate confirmée. Cause profonde
PAS encore trouvée (contrairement au 45, où le gel était ponctuel) — hypothèse à vérifier en premier la
prochaine fois : le 77 tourne avec peu de marge RAM (20 % libre, §1/tableau Serveurs, swap déjà vu plein une
fois cette nuit) — un lien possible entre pression mémoire et gel du bras, non confirmé. Donc : le bras du 77
demande une surveillance plus rapprochée que celui du 45 pour l'instant, pas la même confiance.logs/bras-colab-chaussons-45.log sur le 45, logs/bras-colab-chaussons-77.log sur le 77,
data/seo/bysportgear/bras-supervisor.log sur le 173), pas seulement celui du 173.node scripts/chaine/inventaire-comptes-chaussons.mjs (à lancer depuis le 45 — joint le 77 et le 173 par SSH).
Lit directement le fichier de quota de CHAQUE serveur (chacun le sien, jamais partagé) et la vraie liste de
comptes de chaque service bsg-bras-colab-chaussons*, calcule appels/plafond par compte et le total
épuisés/au plafond. Relevé du 21/11 06h : 53 comptes, 17 au plafond (32 %), 36 encore avec de la marge — surtout
le groupe p3.* du 45 (6 comptes à 0 %, jamais sollicités) et les comptes « carnet inaccessible » du 173 (à 0 %
parce qu'ils ne se connectent pas, pas parce qu'ils sont épuisés — ne pas confondre les deux).rediger.mjs <niche> ...) — jamais un seul gros process qui
ferait toutes les niches à la suite. Un blocage (porte fermée, comptes au plafond) n'arrête que CE process.jobs-file.json, servie par automa-jobs-server.mjs sur le port 8100 de chaque
serveur) porte des jobs étiquetés par niche (ia-chaussons-site/..., ia-lampes-ambiance-site/...). Un job en
échec pour une niche ne retire jamais les comptes du pool pour les jobs des autres niches.chaussons-site est en pause (comptes au plafond, disjoncteur AI Studio), les autres niches
peuvent continuer à consommer leurs propres comptes pour leurs propres jobs, tant que ceux-ci ne sont pas
spécifiquement au plafond pour LEUR modèle/rôle à elles.declencheur-portes.sh → orchestrer-niche.sh,
une unité systemd orchestre-<niche> par niche) est dormant depuis le 20/11 (§7.2) : en pratique aujourd'hui,
c'est Claude qui lance chaque étape à la main, niche par niche.| Nom | Serveur(s) | Fréquence | Rôle vérifié |
|---|---|---|---|
garde-bras (.py) |
77, 173 | 5 min | Relance les services du bras LOCAL (bras-colab, jobs, Xvfb) s'ils sont arrêtés ; relance le bras si 0 réponse depuis 20 min hors cas « tous comptes épuisés ». Ne couvre pas les bras externes connectés par tunnel (45→173, 77→173, voir §4) |
sonde-carnet (.mjs) |
45 : 2h · 77 : 2h · 173 : 30 min | — | Retente PÉRIODIQUEMENT UN SEUL compte exclu du registre local (le moins testé récemment), sans toucher à la file de jobs ; réintègre automatiquement en cas de succès. Fréquence RÉELLE vérifiée par serveur (OnUnitActiveSec du .timer) — pas uniforme : le 173 (vrai travail de carnet Colab) sonde 4× plus vite que les bras externes du 45/77 |
superviser-qualification.sh |
77 seulement (retiré du 173 le 21/11, §7.1 ; timer systemd sur le 77, pas un cron) | 30 min (OnUnitActiveSec) |
Pour chaque niche affectée à CE serveur dont la sélection < 550 : relance affiner-niche.mjs + completer-familles.mjs si bloqué 2h sans process actif, max 4×/jour/niche |
scale-remplacement |
77 | 4×/jour (00h50, 06h50, 12h50, 18h50) | Remplacement de produit déclassé par le fournisseur (règle 88.ter) |
bsg-sonde-sante.timer → sonde-sante.mjs |
173 | 2h | Supervision des quotas (config/quota-sites.json) — non détaillé en profondeur (hors périmètre direct des 5 niches, trouvé en vérifiant le 21/11) |
reveil-quota-9h.timer → reveil-quota-9h.sh |
45, 173 | quotidien, 09:00 Paris | Sonde tous les comptes exclus d'un coup à l'heure de la remise à zéro du quota Google, relance le bras si inactif — non détaillé en profondeur |
surveiller-rediger-chaussons |
173 | 5 min | Watchdog du rédacteur — chaussons-site nl/de UNIQUEMENT (ExecStart hardcodé). Relance immédiatement si aucun process actif ; tue+relance si 45 min sans progression réelle (comptage réel fiches+emotion, jamais etat.json). Lance via systemd-run --user depuis le 21/11 (avant : nohup se faisait tuer par KillMode=control-group) |
bras-etat.mjs |
45 | 10 min | Relevé LECTURE SEULE de l'état des bras (budget/jour par compte, file, capacité, réserve urgente) → data/chaine/bras-etat.json |
reconcilier-textes.mjs |
45 | 30 min | Fusion par UNION (jamais de suppression) de fiches.json/titres.json/emotion.json entre le 45 et le 173, par langue — garde-fou contre la divergence silencieuse |
superviseur-chaine.mjs (règle 104) |
45 | 5 min | Boucle de contrôle : relève l'état de chaque niche/langue, détecte l'arrêt d'un rédacteur, projette le coût, écrit data/chaine/superviseur.json et decisions-en-attente.md — ne lance jamais de dépense payante sans config/pilotage-autorise.json |
surveillance-trio.sh |
45 | 10 min | LECTURE SEULE : vérifie que 77, 173, Oracle et leurs tunnels répondent → data/chaine/surveillance-trio.md |
veille-lots.mjs |
45 | 10 min | Alerte Telegram (1×/cause/heure) si un lot de rédaction s'arrête (budget, porte fermée, code d'arrêt) ou si le journal n'avance plus 30 min alors qu'un lot tourne. Référence encore « lots-3-niches » (terminologie d'avant le 20/11, à surveiller si elle devient trompeuse) |
miroir-oracle.sh |
77, 173 | 5 min | Copie complète (sauvegarde) de data/usine/<niche> + data/seo/<niche> vers Oracle, jamais vers l'autre serveur (§3.1) |
scale-banc.timer → banc.mjs --max 40 |
45 | nuit (02:40) | Remplissage du banc de remplaçants par collection (règle 81.1, sans IA, API AliExpress rythmée). Vérifié actif et réel (log du 21/11 : détail par collection, 4/5 niches actives traitées, globe-terrestre-site absent car pas encore en sélection) — mais lit selection-200.json local au 45, potentiellement en retard sur la vraie donnée 77/173 (même risque de divergence qu'au §3.1) |
Tous datés du 27/10 au 03/11 (avant la porte « 550 produits » du 31/10 ET avant la répartition par rôle du 20/11),
tous travaillent encore sur l'ancienne base « 200 produits, rédaction 12-15 €/site, langues sv/nb/da/fi/fr sans
nl/de ». Vérifié : aucun n'a d'effet réel aujourd'hui sur les 5 niches actives (pret_a_rediger: false ou
orchestre-* toujours absent, constaté en direct) :
| Nom | Serveur | Pourquoi dormant |
|---|---|---|
declencheur-portes.sh → orchestrer-niche.sh |
77, 173 | Relance une unité orchestre-<niche> si la porte 550 est ouverte ; aucune unité orchestre-* active ou récente trouvée sur aucun des 3 serveurs — la porte ne s'ouvre jamais pour ce script (il utilise completer-550.mjs/qualifier-reserve.sh dans un ordre qui ne colle plus à l'état réel des niches) |
usine-file.timer → file-sites.mjs --agir |
45 | Lance la rédaction (--fiches 200, langues sv/nb/da/fi/fr) de la 1re niche « prête » selon SES propres critères (sélection ≥ 200, photos à l'ancien format complement/photos/<id>.json). Vérifié le 21/11 : les 5 niches actives affichent pret_a_rediger: false dans data/usine/file-sites.json — le format de photos qu'il attend n'existe plus (remplacé par photos-nettoyees/etat.json), donc il ne peut plus jamais déclarer une niche prête. Zéro risque de conflit avec la rédaction réelle actuelle, mais tourne pour rien toutes les 2h (OnCalendar=*-*-* 00/2:20:00, vérifié) |
usine-preparation.timer → preparer.sh chaussons-site |
45 | Même famille W7 (27/10) : complément de réserve + sélection 200 + cocon, sans IA, pour alimenter file-sites.mjs. Hardcodé sur chaussons-site uniquement. Dormant pour la même raison |
nuit-niches.timer → nuit-niches.sh |
45 | Attend la fin d'un source-5-niches* (sourcing legacy) puis Nano Banana + rediger-lots.sh (rédacteur ENCORE plus ancien que rediger.mjs) — système pré-30/10, non relié au pipeline actuel |
relancer-orchestrateurs.timer |
45 | Relance les unités orchestre-<niche> arrêtées sur un code précis (5 ou 3) — même famille que declencheur-portes.sh, même constat : rien à relancer, aucune unité orchestre-* n'existe |
usine-gardien.timer → gardien.mjs |
45 | Surveille un service usine.service séparé (orchestrateur permanent W7, encore plus ancien) — CE service-là est actif et bat en continu (vérifié : battement de 0 min), mais son rôle (scripts/usine/usine.mjs) est la chaîne W7 complète (étude→cocon→marque→rédaction 200 produits), qui ne concerne plus directement les 5 niches actives dans leur état actuel (déjà en sélection 550). Écrit data/usine/etat/rapport-matin.md chaque jour — ce rapport reste lisible mais décrit un modèle de progression différent du pipeline réel d'aujourd'hui |
Ces 8 timers tournent pour config/sites.json (boutiques déjà publiées). Vérifié : aucune des 5 niches actives
n'est encore en ligne (toutes en état « étude » ou « sélection » dans file-sites.json) — donc ces scripts
s'exécutent, trouvent 0 site concerné et ressortent en code 10 (confirmé explicitement dans l'en-tête de
synchro-sites.mjs : « Aucun site en ligne : rien n'est lancé »). Rien à corriger ; juste à ne pas confondre avec
le pipeline de production.
| Nom | Fréquence | Rôle |
|---|---|---|
scale-secours.timer |
quotidien | Fournisseurs de secours par produit (règle 79.6) avant 1re vente |
scale-synchro.timer |
2×/jour | Synchro fournisseurs W6 (prix, ruptures) des sites en ligne |
scale-releve.timer |
5 min | Relève SAV + Stripe (KV W8) |
scale-surveillance.timer |
5 min | Surveillance HTTP/plan du site/certificat/domaine des sites en ligne |
scale-resume.timer |
quotidien 7h05 | Résumé du matin (ventes, bénéfice, SAV) envoyé par alertes-10.py |
scale-ab.timer |
hebdo, lundi 8h | Bilan des essais A/B (Analytics Engine sans cookie) |
scale-conquete.timer |
hebdo, lundi 5h | Idées de contenu/concurrence (Suggest, Search Console, sources gratuites) |
scale-gsc.timer / scale-bing.timer |
quotidien | Relevé Search Console / Bing Webmaster (cache lecture seule pour l'admin) |
nano-recuperer.timer → nano-recuperer-bsg.mjs (10 min, 45) : récupère les lots Nano Banana (retouche photo)
terminés chez Google, même si le programme qui les a envoyés est mort. Sert aussi bien gemzara/julprakt que les
photos Scale (photos-nano/).veille-portes.timer → veille-portes.mjs (15 min, 45) : surveille des « portes SEO » (portes-seo.mjs)
— à ne pas confondre avec porte-traduction.mjs (§2 étape 5) : concept différent, pour les sites déjà en
ligne (conflits de workers, progression des verrous SEO).tour-controle.py (45, 1 passage/jour à 06h45, corrigé le 21/11 — j'avais écrit « 3 passages/jour » par
erreur : le timer n'a qu'un seul déclenchement quotidien, les 3 ExecStart du service — collecte, importer,
rapport — s'enchaînent dans ce même passage) : collecte Search Console + maillage, rapport lecture seule — outil
transversal SEO, pas spécifique aux 5 niches.superviser-qualification.sh tournait aussi sur le 173 et tentait de « qualifier » globe-terrestre-site
localement depuis au moins le 7/11 (log : bloqué à 348/550 en boucle, 4 relances/jour pour rien, deux
semaines de CPU perdu) — violait la règle « sourcing cloisonné au 77 » (15/11). Corrigé : ligne crontab
retirée du 173.declencheur-portes.sh/orchestrer-niche.sh/file-sites.mjs/preparer.sh/nuit-niches.sh/
relancer-orchestrateurs.sh : toute une génération d'automatismes du 27/10-03/11, jamais mise à jour pour la
porte 550 (31/10) ni la répartition par rôle (20/11). Vérifié sans risque : aucun n'agit sur les 5 niches
actives aujourd'hui (critères de lecture obsolètes, systématiquement faux). Tournent pour rien, mais n'abîment
rien. À nettoyer un jour (hors urgence).logs/garde-bras.log) montre garde-bras.py détecter correctement, passage après passage, « le bras ne rend
plus de réponse depuis 672 min » — mais sa commande de réparation était câblée en dur sur
systemctl restart bsg-bras-colab, un nom de service qui n'existe pas sur le 45 (qui a
bsg-bras-colab-chaussons et bsg-bras-colab-bible) : la détection marchait, la réparation ne touchait rien,
indéfiniment. Cause racine plus profonde : le compteur de fraîcheur combinait aussi TOUS les logs
bras-colab-*.log du serveur en un seul chiffre, masquant quel service précis était réellement figé.
Corrigé le 21/11 : garde-bras.py suit désormais la fraîcheur et relance CHAQUE service bsg-bras-colab-*
séparément (son propre fichier de log, lu depuis le .service réel, plus de nom codé en dur) — testé en
conditions réelles sur les 3 serveurs (45, 77, 173), structure JSON compatible avec alertes-10.py et l'admin
(bras.mjs) vérifiée.surveiller-rediger-chaussons.timer ne couvre que chaussons-site nl/de — les 4 autres niches et les
autres langues n'ont aucun filet de sécurité automatique si leur rédacteur s'arrête : vérifier à la main
(pgrep -f "rediger.mjs <niche>") après tout lancement.globe-terrestre-site avant la récupération de ce soir. sequenceur-niches-173.mjs le fait maintenant tout
seul, une niche à la fois, cron 15 min sur le 45.chaussons-site → saturation du pool de comptes, disjoncteur AI Studio déclenché).
reprise-refuses.mjs plafonne désormais à 30/langue/lancement par défaut (--max N pour changer).sonde-carnet.timer en
retente un toutes les 30 min, voir config/bras-comptes-registre.json pour le chiffre du jour, ne jamais
figer ce nombre dans ce document) : cause définitivement établie, PAS un bug de code. Deux comptes testés en
direct le 21/11 (esther10.0, dossier propre, PUIS profile9.0, compte distinct) donnent exactement le
même écran : Chrome affiche « Connexion à Google obligatoire » + un badge « Confirmer votre identité ».
esther18.0 (étiqueté différemment, actif_mais_bug_code) montre le même symptôme technique
(locator.waitFor: Timeout) — même cause très probable. Conclusion (tests indépendants concordants, pas la
peine de tous les tester un par un) : Google exige une reconnexion humaine (mot de passe, parfois 2FA) sur ces
comptes — impossible à faire par automatisation, et aucune correction de code n'y changera rien. Pour
débloquer un de ces comptes : ouvrir le Chrome :99 du 173 pendant un essai (--comptes <id> --essai-sans-colab), cliquer « Connexion », saisir les
identifiants une fois — la session redevient valide ensuite.testprofile4.0 exclu définitivement : son sous-profil Chrome « Profile 4 » contient le compte Gmail
personnel réel de l'utilisateur (ernestpedanou@gmail.com), pas un persona bot — trouvé en vérifiant les
comptes derrière chaque dossier « carnet_inaccessible ». Jamais à utiliser pour l'automatisation (risque réel
sur le compte personnel). Registre corrigé (exclu_compte_personnel, reconnectable: false).profile2.0/5.0/6.0/7.0 sont des doublons du même compte que esther10.0/11.0/18.0/19.0 (même email,
accessible par un autre sous-dossier Chrome) — pas une capacité supplémentaire, juste un 2e chemin vers le même
compte. Seuls profile8.0 (estherpedanou14) et profile9.0 (estherpedanou15) sont de VRAIS comptes distincts
derrière ce motif de nommage.rediger.mjs chaussons-site --langues nl vivants en même temps (45 min d'écart) — risque de course
d'écriture sur fiches.json déjà documenté au 13/11 (point 3 ci-dessus), mais ici déclenché par le watchdog
lui-même : surveiller-rediger.sh faisait un simple kill + 2 s de pause avant de relancer, sans jamais
vérifier que l'ancien process était vraiment mort. Corrigé : le script vérifie maintenant la mort réelle
du process (jusqu'à 6 s, SIGKILL en secours) avant de relancer. Déployé et re-testé sur le 173.
Processus orphelin tué sur le coup (kill -9) pour arrêter l'incident en cours. Le bras du 77 a aussi été
retrouvé figé une 3e fois le même jour pendant ce test (confirme le point 3bis du §4 : problème récurrent,
pas résolu dans le code, juste détecté et réparé à chaque fois).lampes-ambiance-site (21/11, ordre utilisateur :
« on n'a pas le droit d'être figé, comment éviter ça ? ») : crise mémoire chronique sur le 77, pas un
bug de code. Preuve directe : earlyoom (démon anti-saturation du système) a dû tuer des process Chrome de
force cette nuit à 00h31 (« mem avail: 6,13 % »), et au moment de l'investigation, le serveur était à 1,2 %
de RAM libre, swap à 85 %. photos-nettoyer.mjs lançait 8 workers simultanés (OCR + LaMa), chacun
mesuré à ~1,3 Go — 8 workers = ~10,4 Go sur une machine de 11 Go qui doit AUSSI faire tourner le bras Chrome du
77 (§4). Les workers n'étaient pas bloqués au sens strict : ils passaient leur temps à attendre le swap disque
(état D, uninterruptible sleep), ce qui ressemble de l'extérieur à un gel total (0 % CPU) pendant des heures.
Explique aussi, très probablement, les 3 gels du bras 77 le même jour (point 3bis du §4) : même cause,
même machine. Corrigé, deux garde-fous permanents :photos-nettoyer.mjs calcule désormais le nombre de workers à partir de la RAM réellement disponible
(/proc/meminfo), jamais un nombre fixe — plafonne automatiquement ce qui a été demandé si la mémoire ne
suit pas (vérifié en vrai sur le 77 : 8 demandés → 2 à 5 réellement lancés selon la charge du moment).
Figé à 5 workers (ordre utilisateur 21/11, après test de stabilité réel) : 5 workers tenus plusieurs
relevés d'affilée sans dégradation (2,4 Go libres constants, 5 process actifs à 79-81 % CPU, aucune
croissance) — valeur demandée dans --workers, le plafond dynamique ci-dessus reste actif par-dessus comme
garde-fou si la charge du serveur change (bras Chrome, etc.).surveiller-photos.sh (n'existait pas du tout avant) : même principe que
surveiller-rediger.sh (vraie progression via rapport.jsonl, jamais la seule présence du process), avec
la même correction du 21/11 (vérifier la mort réelle avant de relancer) — et une attention en plus : tue le
groupe de process entier (kill -- -$PGID), pas seulement le PID principal, parce que les workers
Python (multiprocessing.spawn_main) sont des petits-enfants qui resteraient sinon orphelins et vivants à
consommer la RAM. Déployé en timer (15 min) pour lampes-ambiance-site ; à étendre aux autres niches
quand leur tour viendra pour le nettoyage photos (actuellement câblé pour une seule niche à la fois,
pas encore générique).sante-5-niches.mjs lui-même (ordre utilisateur : « est-ce que tu peux mettre un
protocole de test de clé... pour être sûr que tu ne t'égares pas ») : le relevé du disjoncteur AI Studio ne
lisait QUE le fichier du 173 (bras-disjoncteur.json) — or chaque serveur (45/77/173) a son PROPRE bras-colab
et donc son PROPRE disjoncteur, jamais partagé. Citer le niveau du 173 en parlant du 45 (ou l'inverse) induit
en erreur : constaté en vrai le 21/11 à 09h00, le rapport affichait « lève dans 8 min » (chiffre du 173) alors
que le 45 avait sa PROPRE suspension niveau 1/4 jusqu'à 09h51 — deux événements indépendants, chiffres sans
rapport. Corrigé : le relevé interroge maintenant les 3 serveurs et retient le pire, en le nommant.
Nouveau protocole de test de clé (scripts/julprakt/sonde-cle-rapide.mjs <port_jobs_local> <site> [--role judge|writer]) : plutôt que de déduire l'état d'une clé/quota à partir de fichiers qui peuvent être
périmés ou mal ciblés, soumet un VRAI job minimal (« réponds OK ») à la même file que le bras en production,
pour le même rôle, et attend la vraie réponse — la réponse qui revient (ou l'absence de réponse) est la
vérité du moment, pas une déduction. Usage typique après un doute : node scripts/julprakt/sonde-cle-rapide.mjs 18173 chaussons173 --role judge sur le serveur concerné.# 1. Carte complète ? (obligatoire avant toute récolte/tri, règle 101)
node scripts/usine/etude/carte-complete.mjs <niche>
# 2. Récolte + qualification (sur le 77)
ssh globe-terrestre
cd Claude/build
node scripts/usine/etude/sourcing-rapide.mjs <niche> --pages 10 --par-col 150
node scripts/usine/etude/affiner-niche.mjs <niche>
node scripts/usine/etude/completer-familles.mjs <niche>
# 3. Photos (sur le 77)
node scripts/usine/etude/photos-nettoyer.mjs <niche> --workers 8
# 4. Vérifier la porte -- à partir d'ici, le séquenceur (cron 15 min) prend le relais automatiquement
# SI le 173 est libre (aucune niche en cours non terminée) : transfert + lancement sans rien faire de plus.
node scripts/usine/etude/porte-traduction.mjs <niche>
# 4bis. Pour forcer/vérifier tout de suite sans attendre le prochain passage de cron :
node scripts/chaine/sequenceur-niches-173.mjs --a-blanc # constate seulement (prêtes/actives/terminées)
node scripts/chaine/sequenceur-niches-173.mjs # transfère + lance pour de vrai si 173 est libre
# 5. AVANT de lancer/diagnostiquer la rédaction à la main : vérifier la SANTÉ DU POOL SUR LES 3 SERVEURS (§4)
cat data/chaine/sante-5-niches.md # réflexe n°1 (§0) -- couvre déjà ce point, inutile de le refaire à la main
# 6. Si la rédaction doit être relancée/corrigée À LA MAIN malgré tout (cas particulier, hors séquenceur) :
ssh bysportgear
cd Claude/build
set -a; . config/secrets.env; set +a
node scripts/usine/rediger/rediger.mjs <niche> --fiches 550 --langues <L1,L2,...>
# 7. Si des refus persistants (n>=3) bloquent la progression : reprise plafonnée
node scripts/usine/rediger/reprise-refuses.mjs <niche> --a-blanc # toujours tester d'abord
node scripts/usine/rediger/reprise-refuses.mjs <niche> --max 30 # puis réellement, par petits paquets
docs/CARTE.md (index 1 page, question → fichier) ni
data/chaine/tableau-bord.md (état live, chiffres du moment) : il explique le MÉCANISME, les deux autres
donnent l'ÉTAT. Lire les trois ensemble.profileN-sourcing.*/ernest-sourcing.0 du 77 (sourcing/qualification, registre
config/bras-comptes-registre.json sous "77"), le détail interne de scripts/usine/usine.mjs (chaîne W7
complète), et config/lots-arrets.json/config/ia-vertex-chantiers.json (budgets Vertex par chantier).