🐛 [BUG] - Merge Queue bloquée : registry-cache-ghcr:5000 répond 500 aux docker pull des tests Playwright

[shikanime]

Description

Depuis le 2026-09-07 15:39 UTC, tous les runs Merge Queue échouent à l'étape playwright-tests / Initialize application environment for tests.
Le docker pull des images applicatives depuis le registre de cache interne registry-cache-ghcr:5000 (miroir pull-through du cluster PAX, projet githubrunners) répond Error response from daemon: received unexpected HTTP status: 500 Internal Server Error sur les 5 images (server, nginx-strangler, server-nestjs, client, opencds-mockoon).
Aucun conteneur ne démarre : les 4 shards Playwright, puis merge-reports et Check jobs status sont rouges en cascade.
La file était inactive du 04 au 07/09 ; la panne démarre à la première reprise après cet arrêt (10 runs consécutifs en échec, dernier run vert : 33740093837 du 03/09).
La CI de branche des PR n'est pas impactée — la file de merge est totalement bloquée jusqu'au rétablissement du cache ou son contournement.

Etapes de reproduction

1. Ajouter une PR à la merge queue (ou relancer n'importe quel run Merge Queue)
2. Observer le job playwright-tests / test (N), étape Initialize application environment for tests
3. Le docker pull registry-cache-ghcr:5000/cloud-pi-native/console/<img>:<TAG> échoue en ~1 s avec 500 Internal Server Error, sur les 4 shards, de façon déterministe

Captures d'écran

Sans objet.

Logs

GHCR_CACHE: registry-cache-ghcr:5000
docker pull "${GHCR_CACHE}/cloud-pi-native/console/${img}:${TAG}"
Error response from daemon: received unexpected HTTP status: 500 Internal Server Error
##[error]Process completed with exit code 1.

Navigateurs

Sans objet (panne d'infrastructure CI).

OS

Sans objet (runners self-hosted PAX runner-playwright, ARC, environnement pax-production).

Version de la console impactée

Toutes — la panne est indépendante du code applicatif (la CI de branche de la PR #2603 est verte pendant que la file est rouge).

Références

• Job analysé : https://github.com/cloud-pi-native/console/actions/runs/34201696879/job/101982793430
• Runners PAX : Team-Org/PAX-runners.md du dépôt documentation-interne-socle (ARC + Runner Scale Set, chart helm du projet githubrunners)
• PR bloquée à titre d'exemple : fix(client): guard syncRepository against cleared selectedRepo after await #2603 (non responsable)

Définition du fini

• Un run Merge Queue est vert de bout en bout (gh run view : playwright-tests / test (1..4) et merge-reports en success)
• L'étape d'init signale explicitement l'indisponibilité du registre de cache avant les pull (sonde de santé ou message d'erreur dédié, visible dans les logs du job)

[shikanime]

Analyse — cause racine (investigation terminée)

Cause racine : le registre cache pull-through registry-cache-ghcr:5000 du cluster PAX ne sert plus les blobs. Son endpoint registre répond (pas de connection refused), mais le transfert échoue en 500 Internal Server Error côté daemon ~1,2 s après le début du pull. Diagnostic le plus probable côté plateforme : backend de stockage du cache (PVC plein ou défaillant) ou perte de la route egress upstream du pod cache — à confirmer par les owners githubrunners (logs du pod + état du PVC dans pax-production).

Élimination des hypothèses

Hypothèse	Verdict	Preuve
Régression du code des PRs en file	❌	~8 entrées distinctes en échec ; la CI de branche des PR concernées est verte (ex. #2603, run 34201179018)
Images absentes de GHCR	❌	Les 5 jobs build / Build application + Merge digest sont verts ; le manifeste pr-312e122… est lisible anonymement sur ghcr.io (HTTP 200, vérifié le 08/09)
Runners PAX morts	❌	checkout, pnpm install (2 min) et playwright install réussissent sur les mêmes pods
GHCR upstream indisponible ou privé	❌	Sonde anonyme ghcr.io/v2/cloud-pi-native/console/client/manifests/{pr-<sha>,latest} → 200/200
registry-cache-ghcr défaillant	✅	Seule la voie via le cache échoue, en 500, sur tous les shards, depuis 17 h+

Trajectoire

File verte jusqu'au run 33740093837 (03/09 09:39 UTC), inactive du 04 au 07, puis 10 échecs consécutifs identiques depuis 34139422264 (07/09 15:39 UTC) jusqu'au run en cours 34202425459. Le contournement « relancer » est sans effet ; la panne démarre à la première reprise après 4 jours d'inactivité (changement ou dérive d'infrastructure, pas un merge).

Solutions proposées (à instruire — non appliquées)

1. Containment (owners workflow console) : fallback direct ghcr.io quand le cache est indisponible — le workflow ne fait aucun docker login et les tags pr-<sha> sont lisibles anonymement (vérifié) ; coût : pulls plus lents, file débloquée aussitôt.
2. Correctif racine (owners PAX / projet githubrunners) : restaurer le service cache (logs pod + PVC + egress) via le chart helm du projet.
3. Garde-fou : sonde de santé (curl -fsS http://registry-cache-ghcr:5000/v2/) avant les pull pour que la prochaine panne soit diagnostiquable en secondes.

Critère d'acceptation : un run Merge Queue vert de bout en bout + sonde de prévol verte.

[StephaneTrebel]

Analyse interne

(merci @KepoParis pour le résumé 👋 )

L'erreur vient du cache pull-through registry-cache-ghcr (le proxy devant ghcr.io). Le runner a voulu récupérer l'image cloud-pi-native/console/client:pr-xxxx, le cache a essayé d'écrire le manifest sur son propre stockage, et l'écriture a échoué : "no space left on device". Le PVC du cache (registry-cache-ghcr) est full.

Résolution court-terme

• Purger le cache pour libérer de la place
• rollout restart registry-cache-ghcr pour s'assurer que tout va bien dans les pods du registry
• Relancer une ou deux Merge Queue pour confirmer que tout est ok

Résolution long-terme

• Mettre en place l'alerting sur le projet githubrunners que nous avons sur pax-prod. Il est désormais critique pour nous (et le sera encore plus lorsqu'on y basculera le build des images, cf Utiliser les runners PAX pour le build des images #2391). Ça tombe bien, on a le plugin observability pour ce faire 🙂 -> Mettre en place l'alerting sur le projet githubrunners #2696
• Mettre en place un garbage collector periodique, si c'est possible (https://distribution.github.io/distribution/about/configuration/#proxy) -> Éviter que le cache du registre des runners PAX augmente continuellement #2697