mission-control-v2/deploy/restore-probe.sh

#!/usr/bin/env bash
# Restore-Probe (monatlich, 17.07.2026): „Backups sind Hoffnung, Restores sind Wissen."
# Spielt ECHTE Wiederherstellungen durch, statt nur Sicherungs-Erfolge zu zählen:
#   1) PBS: jüngsten host/aibox-Snapshot ermitteln (Alter < 36 h!), daraus den
#      Kanarienvogel (state/backup-canary.txt aus hermes.pxar, selektiv via --pattern —
#      ~/.hermes ist ~8 GB, wir ziehen nur die eine Datei) nach /tmp restaurieren und
#      den Inhalt EXAKT vergleichen. Erstlauf-Fallback (Canary noch in keinem
#      Snapshot): das winzige llamaswap.pxar komplett restaurieren und config.yaml
#      auf Substanz prüfen.
#   2) Tarball: jüngstes mc2-state-*.tar.gz (Alter < 36 h) listen und den Canary
#      (bzw. beim Erstlauf eine Kern-Datei) herausziehen und prüfen.
#   3) Canary für künftige Läufe sicherstellen (fester Inhalt → exakter Vergleich).
# Läuft als Hermes-Cron --no-agent (stdout = Telegram): monatlicher Herzschlag, bei
# Problemen ⚠️-Alarmtext. Komplett ohne sudo (PBS-Env + Client liegen im User-Raum).
set -uo pipefail

PBS_ENV="$HOME/.config/pbs-backup/env"
PBS_BIN="$HOME/bin/proxmox-backup-client"
CANARY="$HOME/.hermes/state/backup-canary.txt"
CANARY_SOLL="MC2-Backup-Kanarienvogel v1 — dieser Inhalt ist konstant und wird nach dem Restore exakt verglichen."
TARBALL_DIR="/srv/models/mc2-backups"
MAX_ALTER_H=36

TMP="$(mktemp -d /tmp/restore-probe.XXXXXX)"
trap 'rm -rf "$TMP"' EXIT
FEHLER=()
BEFUND=()

briefkasten() { # $1=Text (stiller Chronik-Spiegel)
  curl -sf -m 5 -X POST "${MC_ANNOUNCE_URL:-http://127.0.0.1:9001/api/voice/announce}" \
    -H 'Content-Type: application/json' \
    --data "$(python3 - "$1" <<'PY'
import json, sys
print(json.dumps({"text": sys.argv[1], "subject": "Restore-Probe",
                  "source": "restore-probe", "priority": "silent"}))
PY
)" >/dev/null 2>&1 || true
}

# ---------- 0) Canary sicherstellen (für DIESEN Lauf evtl. noch nicht im Backup) ----------
if [ ! -f "$CANARY" ] || [ "$(cat "$CANARY" 2>/dev/null)" != "$CANARY_SOLL" ]; then
  printf '%s' "$CANARY_SOLL" > "$CANARY"
fi

# ---------- 1) PBS-Restore-Probe ----------
if [ ! -f "$PBS_ENV" ] || [ ! -x "$PBS_BIN" ]; then
  FEHLER+=("PBS-Probe unmöglich: Env ($PBS_ENV) oder Client ($PBS_BIN) fehlt")
else
  set -a; source "$PBS_ENV"; set +a
  SNAP_JSON="$("$PBS_BIN" snapshot list host/aibox --output-format json 2>/dev/null \
    || "$PBS_BIN" snapshots --output-format json 2>/dev/null || true)"
  SNAP_INFO="$(printf '%s' "$SNAP_JSON" | python3 -c '
import json, sys, time
try:
    snaps = json.load(sys.stdin)
except Exception:
    print("KEINE"); raise SystemExit
snaps = [s for s in snaps if isinstance(s, dict)
         and s.get("backup-type") == "host" and s.get("backup-id") == "aibox"]
if not snaps:
    print("KEINE"); raise SystemExit
s = max(snaps, key=lambda x: x.get("backup-time") or 0)
t = s.get("backup-time") or 0
alter_h = (time.time() - t) / 3600
stamp = time.strftime("%Y-%m-%dT%H:%M:%SZ", time.gmtime(t))
print(f"host/aibox/{stamp}")
print(round(alter_h, 1))
' 2>/dev/null || echo KEINE)"
  SNAP="$(printf '%s\n' "$SNAP_INFO" | sed -n 1p)"
  ALTER_H="$(printf '%s\n' "$SNAP_INFO" | sed -n 2p)"
  if [ "$SNAP" = "KEINE" ] || [ -z "$SNAP" ]; then
    FEHLER+=("PBS: kein host/aibox-Snapshot auffindbar (Sicherung steht evtl. STILL)")
  else
    if python3 -c "import sys; sys.exit(0 if float('$ALTER_H') <= $MAX_ALTER_H else 1)" 2>/dev/null; then
      BEFUND+=("PBS-Snapshot $SNAP ist ${ALTER_H} h alt (frisch)")
    else
      FEHLER+=("PBS: jüngster Snapshot ist ${ALTER_H} h alt (> ${MAX_ALTER_H} h) — Sicherung steht STILL")
    fi
    # Selektives Canary-Restore aus hermes.pxar
    mkdir -p "$TMP/pbs"
    # --ignore-ownership/-acls: als User kann chown auf fremde Eigentümer nicht
    # gelingen (sudo-frei ist Absicht) — uns interessiert der INHALT, nicht das chown.
    if "$PBS_BIN" restore "$SNAP" hermes.pxar "$TMP/pbs" \
         --pattern "state/backup-canary.txt" \
         --ignore-ownership true --ignore-acls true >/dev/null 2>&1 \
       && [ -f "$TMP/pbs/state/backup-canary.txt" ]; then
      if [ "$(cat "$TMP/pbs/state/backup-canary.txt")" = "$CANARY_SOLL" ]; then
        BEFUND+=("PBS-Restore: Canary aus hermes.pxar wiederhergestellt, Inhalt EXAKT korrekt ✅")
      else
        FEHLER+=("PBS-Restore: Canary wiederhergestellt, aber Inhalt WEICHT AB (Datenkorruption?)")
      fi
    else
      # Erstlauf-Fallback: winziges llamaswap.pxar komplett
      mkdir -p "$TMP/ls"
      "$PBS_BIN" restore "$SNAP" llamaswap.pxar "$TMP/ls" \
        --ignore-ownership true --ignore-acls true >/dev/null 2>&1 || true
      if [ -s "$TMP/ls/config.yaml" ] && grep -q 'models:' "$TMP/ls/config.yaml"; then
        BEFUND+=("PBS-Restore: llamaswap.pxar wiederhergestellt, config.yaml plausibel ✅ (Canary war noch nicht im Snapshot — ab dem nächsten dabei)")
      else
        FEHLER+=("PBS-Restore FEHLGESCHLAGEN: weder Canary noch llamaswap.pxar sauber wiederherstellbar")
      fi
    fi
  fi
fi

# ---------- 2) Tarball-Probe ----------
TARBALL="$(ls -1t "$TARBALL_DIR"/mc2-state-*.tar.gz 2>/dev/null | head -1 || true)"
if [ -z "$TARBALL" ]; then
  FEHLER+=("Tarball: keine mc2-state-Sicherung unter $TARBALL_DIR gefunden")
else
  T_ALTER_H="$(python3 -c "import os, time; print(round((time.time()-os.path.getmtime('$TARBALL'))/3600, 1))")"
  if python3 -c "import sys; sys.exit(0 if float('$T_ALTER_H') <= $MAX_ALTER_H else 1)"; then
    BEFUND+=("Tarball $(basename "$TARBALL") ist ${T_ALTER_H} h alt (frisch)")
  else
    FEHLER+=("Tarball: jüngste Sicherung ist ${T_ALTER_H} h alt (> ${MAX_ALTER_H} h) — mc2-backup steht STILL")
  fi
  CANARY_PFAD="$(tar -tzf "$TARBALL" 2>/dev/null | grep 'backup-canary\.txt$' | head -1 || true)"
  if [ -n "$CANARY_PFAD" ]; then
    if [ "$(tar -xzf "$TARBALL" -O "$CANARY_PFAD" 2>/dev/null)" = "$CANARY_SOLL" ]; then
      BEFUND+=("Tarball-Restore: Canary herausgezogen, Inhalt EXAKT korrekt ✅")
    else
      FEHLER+=("Tarball-Restore: Canary im Archiv, aber Inhalt WEICHT AB")
    fi
  else
    KERN="$(tar -tzf "$TARBALL" 2>/dev/null | grep -E '(cron|state)/[^/]+$' | head -1 || true)"
    if [ -n "$KERN" ] && [ -n "$(tar -xzf "$TARBALL" -O "$KERN" 2>/dev/null | head -c 1)" ]; then
      BEFUND+=("Tarball-Restore: Kern-Datei ($KERN) herausgezogen, nicht leer ✅ (Canary ab der nächsten Sicherung dabei)")
    else
      FEHLER+=("Tarball-Restore FEHLGESCHLAGEN: Archiv listet keine Kern-Dateien oder Extraktion leer")
    fi
  fi
fi

# ---------- Bericht (stdout = Telegram via --no-agent) ----------
if [ "${#FEHLER[@]}" -eq 0 ]; then
  echo "Commander, monatliche Restore-Probe: beide Wiederherstellungs-Wege funktionieren wirklich."
  printf '• %s\n' "${BEFUND[@]}"
  briefkasten "Restore-Probe grün: $(printf '%s · ' "${BEFUND[@]}")"
else
  echo "⚠️ Commander, die monatliche Restore-Probe hat ein ECHTES Problem gefunden:"
  printf '• %s\n' "${FEHLER[@]}"
  if [ "${#BEFUND[@]}" -gt 0 ]; then
    echo "Was funktioniert hat:"
    printf '• %s\n' "${BEFUND[@]}"
  fi
  echo "Bitte zeitnah draufschauen — ein Backup, das nicht zurückkommt, ist keins."
  briefkasten "⚠️ Restore-Probe ROT: $(printf '%s · ' "${FEHLER[@]}")"
  exit 1
fi