fix(api): os.path.isdir hing im Kernel und toetete die Schleife - harte Zeitgrenze
Ampel / ampel (push) Successful in 28s
Ampel / ampel (push) Successful in 28s
Ursache gefunden, nicht geraten. Der neue Diagnose-Endpunkt sagte `rohdaten.alter_sekunden: null` - die Funktion war NIE EINMAL fertig geworden, und kein Fehler war gemeldet. Der Blick auf die Threads des API-Prozesses zeigte zwei im Zustand **D** (uninterruptible sleep, im Kernel blockiert): tid=1600034 name=uvicorn state=D tid=1600037 name=uvicorn state=D Der Mechanismus: Die Schleife startete ihren ersten Durchlauf, waehrend Rippy beim Container-Start die CIFS-Freigabe neu einhaengte. Ihr `os.path.isdir` blieb im Kernel stecken, `asyncio.to_thread` kam nie zurueck, die Schleife erreichte ihr `sleep` nie - und war damit fuer immer tot. Sichtbar war nur, dass can_retry dauerhaft false blieb. Ein Timeout um den Aufruf haette nichts geholfen: Ein im Kernel haengender Thread laesst sich aus Python nicht abbrechen, jeder Versuch haette einen weiteren Thread verbrannt, bis der Pool leer ist. Ein Kind-PROZESS laesst sich abbrechen. Geprueft wird jetzt mit `timeout 4 ls -d <pfad>` - dasselbe Werkzeug, das mounts.ist_erreichbar seit dem 24.07.2026 fuer genau dieses Problem benutzt (dort fuer den toten NAS-Mount). Laeuft es in die Zeitgrenze, gilt das Verzeichnis als "nicht da": Ein Ort, den man nicht in Sekunden ansehen kann, ist fuer einen Rip ohnehin unbrauchbar. os.listdir bleibt fuer /app/media selbst - das ist ein lokales Verzeichnis, die Freigaben sind Unterordner davon. Und os.path.isdir bleibt fuer den Rueckfall auf /app/temp/raw: ein Docker-Volume, dort kann nichts haengen. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
+50
-2
@@ -39,11 +39,15 @@ Job-ID (vollständige UUID), fertige Ablagen heißen `Titel (Jahr) [kurz-id]`.
|
||||
"""
|
||||
|
||||
import posixpath
|
||||
import subprocess
|
||||
|
||||
# Container-Standard für Roh-Rips (RAW_DIR im Worker).
|
||||
RAW_STANDARD = "/app/temp/raw"
|
||||
MEDIA_ROOT = "/app/media"
|
||||
|
||||
# Harte Obergrenze für EINE Verzeichnis-Prüfung. Siehe verzeichnis_da().
|
||||
PRUEF_TIMEOUT_SEKUNDEN = 4
|
||||
|
||||
|
||||
def kandidaten(job_id: str, work_dir: str, media_unterordner) -> list:
|
||||
"""Alle Orte, an denen die Roh-MKVs dieses Jobs liegen KÖNNTEN (pure).
|
||||
@@ -76,12 +80,56 @@ def kandidaten(job_id: str, work_dir: str, media_unterordner) -> list:
|
||||
return eindeutig
|
||||
|
||||
|
||||
def verzeichnis_da(pfad: str, laufen=None) -> bool:
|
||||
"""Gibt es dieses Verzeichnis? — mit HARTER Zeitgrenze.
|
||||
|
||||
## Warum nicht os.path.isdir
|
||||
|
||||
Weil es an einem Netz-Mount unbegrenzt hängen kann, und zwar im Kernel
|
||||
(Prozess-Zustand D, „uninterruptible sleep"). Genau das ist am 26.07.2026
|
||||
passiert: Die Hintergrund-Schleife startete ihren ersten Durchlauf, während
|
||||
Rippy die CIFS-Freigabe nach einem Container-Neustart neu einhängte. Ihr
|
||||
`os.path.isdir` blieb stecken, `asyncio.to_thread` kam nie zurück, die
|
||||
Schleife erreichte ihr `sleep` nie — und war damit für immer tot. Sichtbar
|
||||
war nur, dass `can_retry` dauerhaft `false` blieb; zwei Threads standen im
|
||||
Zustand D.
|
||||
|
||||
Ein Timeout um den Aufruf hätte nichts geholfen: Ein im Kernel hängender
|
||||
Thread lässt sich aus Python nicht abbrechen, jeder Versuch hätte einen
|
||||
weiteren Thread verbrannt, bis der Pool leer ist.
|
||||
|
||||
Ein Kind-PROZESS lässt sich abbrechen. Deshalb `timeout N ls -d <pfad>` —
|
||||
dasselbe Werkzeug, das `mounts.ist_erreichbar` seit dem 24.07.2026 für
|
||||
genau dieses Problem benutzt (dort für den toten NAS-Mount). Läuft es in
|
||||
die Zeitgrenze, gilt das Verzeichnis als „nicht da": Ein Ort, den man nicht
|
||||
innerhalb von Sekunden ansehen kann, ist für einen Rip ohnehin unbrauchbar.
|
||||
|
||||
`laufen` ist einspritzbar, damit das ohne echte Prozesse testbar bleibt.
|
||||
"""
|
||||
if not pfad:
|
||||
return False
|
||||
starten = laufen or subprocess.run
|
||||
try:
|
||||
ergebnis = starten(
|
||||
["timeout", str(PRUEF_TIMEOUT_SEKUNDEN), "ls", "-d", pfad],
|
||||
capture_output=True,
|
||||
timeout=PRUEF_TIMEOUT_SEKUNDEN + 2,
|
||||
)
|
||||
except (OSError, subprocess.TimeoutExpired):
|
||||
return False
|
||||
return ergebnis.returncode == 0
|
||||
|
||||
|
||||
def suche(job_id: str, work_dir: str, listdir, isdir) -> list:
|
||||
"""Die Orte, an denen wirklich etwas liegt.
|
||||
|
||||
`listdir` und `isdir` werden übergeben statt importiert — so ist die Suche
|
||||
ohne Dateisystem prüfbar, und ein toter CIFS-Mount kann hier keinen
|
||||
Import-Zyklus verursachen.
|
||||
ohne Dateisystem prüfbar. Für `isdir` gehört `verzeichnis_da` eingesetzt und
|
||||
NICHT os.path.isdir: Die Kandidaten liegen unter /app/media, und dort kann
|
||||
ein Netz-Mount unbegrenzt hängen (Begründung bei verzeichnis_da).
|
||||
|
||||
`listdir` darf os.listdir bleiben: Gelistet wird nur /app/media selbst, und
|
||||
das ist ein lokales Verzeichnis — die Freigaben sind Unterordner davon.
|
||||
"""
|
||||
try:
|
||||
unterordner = sorted(listdir(MEDIA_ROOT))
|
||||
|
||||
Reference in New Issue
Block a user