C12: Off-Box-Backup-Spiegel auf den Proxmox-Host (rsync)

backup.sh spiegelt nach dem lokalen Tarball die Backups per rsync aufs
Proxmox (root@192.168.178.108:/var/lib/vz/mc2-backups) -- Retention via
--delete mitgezogen, chmod 600 erhalten, best-effort (Fehlschlag = lokal
gilt trotzdem). restore.sh kennt den Spiegel: --list zeigt Off-Box,
--pull-offsite holt alles zurueck, und fehlt ein Backup lokal, wird es
automatisch vom Proxmox gezogen (Platte-tot-Fall). Nebenbei latenten
Abbruch in list_backups bei leerem Ordner gefixt (set -e + leeres Glob).
Auth: dedizierter, gehaerteter Key ~/.ssh/mc2_offsite. Live E2E verifiziert.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

deploy/backup.sh

@@ -8,11 +8,18 @@
 # NICHT enthalten (bewusst): GGUF-Modelle (riesig, neu ladbar), MC2-Code (Git), venvs.
 #
 # ACHTUNG: das Tarball enthält ~/.hermes/.env (Secrets) → chmod 600, nicht in Git.
+#
+# Off-Box (C12): nach dem lokalen Tarball wird der Backup-Ordner per rsync auf ein
+# ZWEITES Gerät gespiegelt (Default: Proxmox-Host), damit ein Plattenausfall der Box
+# nicht auch die Backups mitnimmt. Fehlschlag ist NICHT fatal — das lokale Backup gilt.
 set -euo pipefail
 
 MODELS_DIR="${MC_MODELS_DIR:-/srv/models}"
 DEST_DIR="$MODELS_DIR/mc2-backups"
 RETAIN="${MC_BACKUP_RETAIN:-14}"
+# Off-Box-Ziel (leer = deaktiviert). Default: Proxmox-Host, eigener Key mit minimalem Recht.
+OFFSITE="${MC_BACKUP_OFFSITE:-root@192.168.178.108:/var/lib/vz/mc2-backups}"
+OFFSITE_KEY="${MC_BACKUP_OFFSITE_KEY:-$HOME/.ssh/mc2_offsite}"
 MEM0_DIR="${MC_MEM0_DIR:-/srv/models/mem0}"
 LSWAP="${MC_CONFIG_PATH:-/etc/llama-swap/config.yaml}"
 HERMES="${HERMES_HOME:-$HOME/.hermes}"
@@ -45,3 +52,21 @@ chmod 600 "$OUT"   # enthält .env (Secrets)
 ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | tail -n +$((RETAIN + 1)) | xargs -r rm -f
 
 echo "OK — Backup: $OUT ($(du -h "$OUT" | cut -f1))"
+
+# --- Off-Box-Spiegel (C12) -------------------------------------------------
+# Spiegelt die Tarballs 1:1 aufs Zweitgerät; --delete zieht die Retention mit,
+# sodass die Off-Box-Kopie nicht unbegrenzt wächst. Perms (600) bleiben erhalten.
+if [ -n "$OFFSITE" ]; then
+  if [ -f "$OFFSITE_KEY" ]; then
+    if rsync -a \
+         -e "ssh -i $OFFSITE_KEY -o BatchMode=yes -o ConnectTimeout=10 -o StrictHostKeyChecking=accept-new" \
+         --include='mc2-state-*.tar.gz' --exclude='*' --delete \
+         "$DEST_DIR/" "$OFFSITE/"; then
+      echo "OK — Off-Box-Kopie gespiegelt → $OFFSITE"
+    else
+      echo "WARN — Off-Box-Sync fehlgeschlagen (lokales Backup ist gültig): $OFFSITE" >&2
+    fi
+  else
+    echo "WARN — Off-Box-Key fehlt ($OFFSITE_KEY) → nur lokales Backup." >&2
+  fi
+fi

deploy/restore.sh

@@ -4,9 +4,13 @@
 # automatisch ein Sicherheits-Backup des aktuellen Zustands (Restore ist reversibel).
 #
 # Nutzung:
-#   bash restore.sh --list                      # vorhandene Backups zeigen
+#   bash restore.sh --list                      # vorhandene Backups zeigen (lokal + Off-Box)
 #   bash restore.sh --dry-run <datei|latest>    # nur anzeigen, was passieren würde
 #   bash restore.sh [--yes] <datei|latest>      # wiederherstellen (--yes = ohne Rückfrage)
+#   bash restore.sh --pull-offsite              # Off-Box-Kopie (Proxmox) nach lokal holen
+#
+# Off-Box (C12): fehlt ein Backup lokal (z. B. Box-Platte neu), wird es automatisch
+# vom Zweitgerät (Proxmox) geholt. Ziel/Key wie in backup.sh (überschreibbar per Env).
 set -euo pipefail
 
 MODELS_DIR="${MC_MODELS_DIR:-/srv/models}"
@@ -16,14 +20,38 @@ LSWAP="${MC_CONFIG_PATH:-/etc/llama-swap/config.yaml}"
 HERMES="${HERMES_HOME:-$HOME/.hermes}"
 SRC="${MC2_SRC:-$HOME/mission-control-v2}"
 SERVICES="mem0-service mission-control-2 hermes-gateway"
+OFFSITE="${MC_BACKUP_OFFSITE:-root@192.168.178.108:/var/lib/vz/mc2-backups}"
+OFFSITE_KEY="${MC_BACKUP_OFFSITE_KEY:-$HOME/.ssh/mc2_offsite}"
+OFFSITE_SSH="ssh -i $OFFSITE_KEY -o BatchMode=yes -o ConnectTimeout=10 -o StrictHostKeyChecking=accept-new"
 
-usage() { echo "Nutzung: restore.sh --list | restore.sh [--dry-run] [--yes] <datei|latest>"; }
+# Off-Box-Tarballs (Dateinamen) auflisten — leer, wenn nicht erreichbar/konfiguriert.
+offsite_ls() {
+  [ -n "$OFFSITE" ] && [ -f "$OFFSITE_KEY" ] || return 0
+  local host="${OFFSITE%%:*}" path="${OFFSITE#*:}"
+  $OFFSITE_SSH "$host" "ls -1 $path/mc2-state-*.tar.gz 2>/dev/null" 2>/dev/null | xargs -r -n1 basename || true
+}
+# Ein einzelnes Off-Box-Tarball nach lokal holen. $1 = Dateiname (basename).
+offsite_fetch() {
+  [ -n "$OFFSITE" ] && [ -f "$OFFSITE_KEY" ] || return 1
+  mkdir -p "$DEST_DIR"
+  echo "→ hole $1 vom Zweitgerät ($OFFSITE)…" >&2
+  rsync -a -e "$OFFSITE_SSH" "$OFFSITE/$1" "$DEST_DIR/"
+}
+
+usage() { echo "Nutzung: restore.sh --list | restore.sh --pull-offsite | restore.sh [--dry-run] [--yes] <datei|latest>"; }
 list_backups() {
   echo "Verfügbare Backups in $DEST_DIR:"
-  ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | while read -r f; do
+  local found=0 f
+  for f in $(ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null || true); do
     printf "  %s  (%s)\n" "$(basename "$f")" "$(du -h "$f" | cut -f1)"
+    found=1
   done
-  [ -n "$(ls -A "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null || true)" ] || echo "  (keine)"
+  [ "$found" = 1 ] || echo "  (keine)"
+  local off; off="$(offsite_ls || true)"
+  if [ -n "$off" ]; then
+    echo "Off-Box ($OFFSITE):"
+    echo "$off" | sed 's/^/  /'
+  fi
 }
 
 [ $# -eq 0 ] && { usage; exit 1; }
@@ -31,6 +59,12 @@ DRY=0; YES=0; TARGET=""
 for a in "$@"; do
   case "$a" in
     --list) list_backups; exit 0 ;;
+    --pull-offsite)
+      mkdir -p "$DEST_DIR"
+      [ -n "$OFFSITE" ] && [ -f "$OFFSITE_KEY" ] || { echo "Off-Box nicht konfiguriert."; exit 1; }
+      echo "→ spiegle Off-Box → lokal ($DEST_DIR)…"
+      rsync -a -e "$OFFSITE_SSH" --include='mc2-state-*.tar.gz' --exclude='*' "$OFFSITE/" "$DEST_DIR/"
+      list_backups; exit 0 ;;
     --dry-run) DRY=1 ;;
     --yes) YES=1 ;;
     -*) usage; exit 1 ;;
@@ -38,8 +72,23 @@ for a in "$@"; do
   esac
 done
 [ -z "$TARGET" ] && { usage; exit 1; }
-[ "$TARGET" = "latest" ] && TARGET="$(ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | head -1 || true)"
-[ -f "$TARGET" ] || TARGET="$DEST_DIR/$(basename "${TARGET:-}")"
+# 'latest' bevorzugt lokal; fehlt lokal alles, das jüngste Off-Box-Tarball holen.
+if [ "$TARGET" = "latest" ]; then
+  TARGET="$(ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | head -1 || true)"
+  if [ -z "$TARGET" ]; then
+    latest_off="$(offsite_ls | sort | tail -1 || true)"
+    [ -n "$latest_off" ] && offsite_fetch "$latest_off" && TARGET="$DEST_DIR/$latest_off"
+  fi
+fi
+# Konkreten Namen zuerst lokal suchen, sonst vom Zweitgerät holen.
+if [ ! -f "$TARGET" ]; then
+  base="$(basename "${TARGET:-}")"
+  if [ -f "$DEST_DIR/$base" ]; then
+    TARGET="$DEST_DIR/$base"
+  elif [ -n "$base" ] && offsite_ls | grep -qx "$base"; then
+    offsite_fetch "$base" && TARGET="$DEST_DIR/$base"
+  fi
+fi
 [ -f "$TARGET" ] || { echo "Backup nicht gefunden: ${TARGET:-<leer>}"; echo; list_backups; exit 1; }
 
 echo "Restore-Quelle: $TARGET"

docs/BACKUP.md

@@ -13,8 +13,17 @@ Nicht enthalten (bewusst): GGUF-Modelle, MC2-Code (Git), venvs, systemd-Units (a
 Jedes Backup ist ein Tarball `mc2-state-<zeitstempel>.tar.gz` unter `/srv/models/mc2-backups/`,
 `chmod 600` (enthält `.env`). Es werden die letzten **14** behalten.
 
-> ⚠️ Das Tarball enthält Secrets und liegt aktuell auf **derselben Platte** wie die Daten.
-> Für echten Desaster-Schutz noch eine Off-Box-Kopie einrichten (PBS / rsync). Siehe „Offen".
+## Off-Box-Spiegel (C12) — zweite Kopie WEG von der Box
+Nach jedem lokalen Backup spiegelt `backup.sh` die Tarballs per `rsync` auf ein **zweites Gerät**
+(Default: **Proxmox-Host** `root@192.168.178.108:/var/lib/vz/mc2-backups`). Stirbt die NVMe der
+Box, liegen die Backups noch auf dem Proxmox. Die Retention (14) wird per `--delete` mitgezogen,
+`chmod 600` bleibt erhalten. Der Off-Box-Sync ist **best-effort**: schlägt er fehl, gilt das
+lokale Backup trotzdem als erfolgreich (Warnung im Log).
+
+- **Auth:** eigener SSH-Key `~/.ssh/mc2_offsite` (nur für dieses Backup), im Proxmox in
+  `root/.ssh/authorized_keys` **gehärtet** eingetragen: `from="<Box-IP>"`, kein Port-/Agent-/
+  X11-Forwarding, kein PTY → der Key kann nur rsync-Backup, keinen Voll-Root-Fernzugang.
+- **Ziel/Key überschreibbar:** `MC_BACKUP_OFFSITE` (leer = Off-Box aus) und `MC_BACKUP_OFFSITE_KEY`.
 
 ## Backup erstellen
 - **Automatisch:** systemd-Timer `mc2-backup.timer`, täglich ~03:30. Status:
@@ -38,10 +47,16 @@ Ablauf: Sicherheits-Backup → Dienste stoppen (`mem0-service`, `mission-control
 `hermes-gateway`) → Dateien zurückspielen (mem0 wird **ersetzt**, Configs überschrieben) →
 Dienste starten → Health-Check.
 
-Ein Backup von einer **anderen** Maschine zurückspielen: Tarball nach
-`/srv/models/mc2-backups/` kopieren, dann `restore.sh <datei>`.
+### Wenn die Box-Platte tot ist (Off-Box-Restore)
+`restore.sh` kennt den Off-Box-Spiegel: fehlt ein Backup lokal, holt es sich das Skript
+automatisch vom Proxmox. Kein manuelles Kopieren nötig.
 
-## Offen / TODO
-- **Off-Box-Spiegel** (Schicht 2): Box ist Bare Metal (kein Proxmox-Gast → kein vzdump).
-  Saubere Wege: Proxmox Backup Server + `proxmox-backup-client` ODER rsync in einen
-  vzdump-gesicherten LXC. Noch nicht eingerichtet.
+```bash
+bash deploy/restore.sh --list            # zeigt lokal UND Off-Box (Proxmox)
+bash deploy/restore.sh --pull-offsite    # ganzen Off-Box-Bestand nach lokal spiegeln
+bash deploy/restore.sh latest            # zieht das jüngste — vom Proxmox, falls lokal leer
+```
+
+## Erledigt
+- **Off-Box-Spiegel (C12):** rsync auf den Proxmox-Host, live E2E verifiziert (2026-07-03).
+  Box ist Bare Metal (kein Proxmox-Gast → kein vzdump), daher aktiver Push statt vzdump-Pull.