From 357285e798c8a1b56e2f67c057f3edda32cfa9d3 Mon Sep 17 00:00:00 2001 From: Hitonabi Date: Fri, 3 Jul 2026 19:23:00 +0200 Subject: [PATCH] C12: Off-Box-Backup-Spiegel auf den Proxmox-Host (rsync) backup.sh spiegelt nach dem lokalen Tarball die Backups per rsync aufs Proxmox (root@192.168.178.108:/var/lib/vz/mc2-backups) -- Retention via --delete mitgezogen, chmod 600 erhalten, best-effort (Fehlschlag = lokal gilt trotzdem). restore.sh kennt den Spiegel: --list zeigt Off-Box, --pull-offsite holt alles zurueck, und fehlt ein Backup lokal, wird es automatisch vom Proxmox gezogen (Platte-tot-Fall). Nebenbei latenten Abbruch in list_backups bei leerem Ordner gefixt (set -e + leeres Glob). Auth: dedizierter, gehaerteter Key ~/.ssh/mc2_offsite. Live E2E verifiziert. Co-Authored-By: Claude Opus 4.8 --- deploy/backup.sh | 25 +++++++++++++++++++ deploy/restore.sh | 61 ++++++++++++++++++++++++++++++++++++++++++----- docs/BACKUP.md | 31 +++++++++++++++++------- 3 files changed, 103 insertions(+), 14 deletions(-) diff --git a/deploy/backup.sh b/deploy/backup.sh index f35973f..b6d6cbd 100644 --- a/deploy/backup.sh +++ b/deploy/backup.sh @@ -8,11 +8,18 @@ # NICHT enthalten (bewusst): GGUF-Modelle (riesig, neu ladbar), MC2-Code (Git), venvs. # # ACHTUNG: das Tarball enthält ~/.hermes/.env (Secrets) → chmod 600, nicht in Git. +# +# Off-Box (C12): nach dem lokalen Tarball wird der Backup-Ordner per rsync auf ein +# ZWEITES Gerät gespiegelt (Default: Proxmox-Host), damit ein Plattenausfall der Box +# nicht auch die Backups mitnimmt. Fehlschlag ist NICHT fatal — das lokale Backup gilt. set -euo pipefail MODELS_DIR="${MC_MODELS_DIR:-/srv/models}" DEST_DIR="$MODELS_DIR/mc2-backups" RETAIN="${MC_BACKUP_RETAIN:-14}" +# Off-Box-Ziel (leer = deaktiviert). Default: Proxmox-Host, eigener Key mit minimalem Recht. +OFFSITE="${MC_BACKUP_OFFSITE:-root@192.168.178.108:/var/lib/vz/mc2-backups}" +OFFSITE_KEY="${MC_BACKUP_OFFSITE_KEY:-$HOME/.ssh/mc2_offsite}" MEM0_DIR="${MC_MEM0_DIR:-/srv/models/mem0}" LSWAP="${MC_CONFIG_PATH:-/etc/llama-swap/config.yaml}" HERMES="${HERMES_HOME:-$HOME/.hermes}" @@ -45,3 +52,21 @@ chmod 600 "$OUT" # enthält .env (Secrets) ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | tail -n +$((RETAIN + 1)) | xargs -r rm -f echo "OK — Backup: $OUT ($(du -h "$OUT" | cut -f1))" + +# --- Off-Box-Spiegel (C12) ------------------------------------------------- +# Spiegelt die Tarballs 1:1 aufs Zweitgerät; --delete zieht die Retention mit, +# sodass die Off-Box-Kopie nicht unbegrenzt wächst. Perms (600) bleiben erhalten. +if [ -n "$OFFSITE" ]; then + if [ -f "$OFFSITE_KEY" ]; then + if rsync -a \ + -e "ssh -i $OFFSITE_KEY -o BatchMode=yes -o ConnectTimeout=10 -o StrictHostKeyChecking=accept-new" \ + --include='mc2-state-*.tar.gz' --exclude='*' --delete \ + "$DEST_DIR/" "$OFFSITE/"; then + echo "OK — Off-Box-Kopie gespiegelt → $OFFSITE" + else + echo "WARN — Off-Box-Sync fehlgeschlagen (lokales Backup ist gültig): $OFFSITE" >&2 + fi + else + echo "WARN — Off-Box-Key fehlt ($OFFSITE_KEY) → nur lokales Backup." >&2 + fi +fi diff --git a/deploy/restore.sh b/deploy/restore.sh index 431a0cb..fb1ab69 100644 --- a/deploy/restore.sh +++ b/deploy/restore.sh @@ -4,9 +4,13 @@ # automatisch ein Sicherheits-Backup des aktuellen Zustands (Restore ist reversibel). # # Nutzung: -# bash restore.sh --list # vorhandene Backups zeigen +# bash restore.sh --list # vorhandene Backups zeigen (lokal + Off-Box) # bash restore.sh --dry-run # nur anzeigen, was passieren würde # bash restore.sh [--yes] # wiederherstellen (--yes = ohne Rückfrage) +# bash restore.sh --pull-offsite # Off-Box-Kopie (Proxmox) nach lokal holen +# +# Off-Box (C12): fehlt ein Backup lokal (z. B. Box-Platte neu), wird es automatisch +# vom Zweitgerät (Proxmox) geholt. Ziel/Key wie in backup.sh (überschreibbar per Env). set -euo pipefail MODELS_DIR="${MC_MODELS_DIR:-/srv/models}" @@ -16,14 +20,38 @@ LSWAP="${MC_CONFIG_PATH:-/etc/llama-swap/config.yaml}" HERMES="${HERMES_HOME:-$HOME/.hermes}" SRC="${MC2_SRC:-$HOME/mission-control-v2}" SERVICES="mem0-service mission-control-2 hermes-gateway" +OFFSITE="${MC_BACKUP_OFFSITE:-root@192.168.178.108:/var/lib/vz/mc2-backups}" +OFFSITE_KEY="${MC_BACKUP_OFFSITE_KEY:-$HOME/.ssh/mc2_offsite}" +OFFSITE_SSH="ssh -i $OFFSITE_KEY -o BatchMode=yes -o ConnectTimeout=10 -o StrictHostKeyChecking=accept-new" -usage() { echo "Nutzung: restore.sh --list | restore.sh [--dry-run] [--yes] "; } +# Off-Box-Tarballs (Dateinamen) auflisten — leer, wenn nicht erreichbar/konfiguriert. +offsite_ls() { + [ -n "$OFFSITE" ] && [ -f "$OFFSITE_KEY" ] || return 0 + local host="${OFFSITE%%:*}" path="${OFFSITE#*:}" + $OFFSITE_SSH "$host" "ls -1 $path/mc2-state-*.tar.gz 2>/dev/null" 2>/dev/null | xargs -r -n1 basename || true +} +# Ein einzelnes Off-Box-Tarball nach lokal holen. $1 = Dateiname (basename). +offsite_fetch() { + [ -n "$OFFSITE" ] && [ -f "$OFFSITE_KEY" ] || return 1 + mkdir -p "$DEST_DIR" + echo "→ hole $1 vom Zweitgerät ($OFFSITE)…" >&2 + rsync -a -e "$OFFSITE_SSH" "$OFFSITE/$1" "$DEST_DIR/" +} + +usage() { echo "Nutzung: restore.sh --list | restore.sh --pull-offsite | restore.sh [--dry-run] [--yes] "; } list_backups() { echo "Verfügbare Backups in $DEST_DIR:" - ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | while read -r f; do + local found=0 f + for f in $(ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null || true); do printf " %s (%s)\n" "$(basename "$f")" "$(du -h "$f" | cut -f1)" + found=1 done - [ -n "$(ls -A "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null || true)" ] || echo " (keine)" + [ "$found" = 1 ] || echo " (keine)" + local off; off="$(offsite_ls || true)" + if [ -n "$off" ]; then + echo "Off-Box ($OFFSITE):" + echo "$off" | sed 's/^/ /' + fi } [ $# -eq 0 ] && { usage; exit 1; } @@ -31,6 +59,12 @@ DRY=0; YES=0; TARGET="" for a in "$@"; do case "$a" in --list) list_backups; exit 0 ;; + --pull-offsite) + mkdir -p "$DEST_DIR" + [ -n "$OFFSITE" ] && [ -f "$OFFSITE_KEY" ] || { echo "Off-Box nicht konfiguriert."; exit 1; } + echo "→ spiegle Off-Box → lokal ($DEST_DIR)…" + rsync -a -e "$OFFSITE_SSH" --include='mc2-state-*.tar.gz' --exclude='*' "$OFFSITE/" "$DEST_DIR/" + list_backups; exit 0 ;; --dry-run) DRY=1 ;; --yes) YES=1 ;; -*) usage; exit 1 ;; @@ -38,8 +72,23 @@ for a in "$@"; do esac done [ -z "$TARGET" ] && { usage; exit 1; } -[ "$TARGET" = "latest" ] && TARGET="$(ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | head -1 || true)" -[ -f "$TARGET" ] || TARGET="$DEST_DIR/$(basename "${TARGET:-}")" +# 'latest' bevorzugt lokal; fehlt lokal alles, das jüngste Off-Box-Tarball holen. +if [ "$TARGET" = "latest" ]; then + TARGET="$(ls -1t "$DEST_DIR"/mc2-state-*.tar.gz 2>/dev/null | head -1 || true)" + if [ -z "$TARGET" ]; then + latest_off="$(offsite_ls | sort | tail -1 || true)" + [ -n "$latest_off" ] && offsite_fetch "$latest_off" && TARGET="$DEST_DIR/$latest_off" + fi +fi +# Konkreten Namen zuerst lokal suchen, sonst vom Zweitgerät holen. +if [ ! -f "$TARGET" ]; then + base="$(basename "${TARGET:-}")" + if [ -f "$DEST_DIR/$base" ]; then + TARGET="$DEST_DIR/$base" + elif [ -n "$base" ] && offsite_ls | grep -qx "$base"; then + offsite_fetch "$base" && TARGET="$DEST_DIR/$base" + fi +fi [ -f "$TARGET" ] || { echo "Backup nicht gefunden: ${TARGET:-}"; echo; list_backups; exit 1; } echo "Restore-Quelle: $TARGET" diff --git a/docs/BACKUP.md b/docs/BACKUP.md index 315851a..5991245 100644 --- a/docs/BACKUP.md +++ b/docs/BACKUP.md @@ -13,8 +13,17 @@ Nicht enthalten (bewusst): GGUF-Modelle, MC2-Code (Git), venvs, systemd-Units (a Jedes Backup ist ein Tarball `mc2-state-.tar.gz` unter `/srv/models/mc2-backups/`, `chmod 600` (enthält `.env`). Es werden die letzten **14** behalten. -> ⚠️ Das Tarball enthält Secrets und liegt aktuell auf **derselben Platte** wie die Daten. -> Für echten Desaster-Schutz noch eine Off-Box-Kopie einrichten (PBS / rsync). Siehe „Offen". +## Off-Box-Spiegel (C12) — zweite Kopie WEG von der Box +Nach jedem lokalen Backup spiegelt `backup.sh` die Tarballs per `rsync` auf ein **zweites Gerät** +(Default: **Proxmox-Host** `root@192.168.178.108:/var/lib/vz/mc2-backups`). Stirbt die NVMe der +Box, liegen die Backups noch auf dem Proxmox. Die Retention (14) wird per `--delete` mitgezogen, +`chmod 600` bleibt erhalten. Der Off-Box-Sync ist **best-effort**: schlägt er fehl, gilt das +lokale Backup trotzdem als erfolgreich (Warnung im Log). + +- **Auth:** eigener SSH-Key `~/.ssh/mc2_offsite` (nur für dieses Backup), im Proxmox in + `root/.ssh/authorized_keys` **gehärtet** eingetragen: `from=""`, kein Port-/Agent-/ + X11-Forwarding, kein PTY → der Key kann nur rsync-Backup, keinen Voll-Root-Fernzugang. +- **Ziel/Key überschreibbar:** `MC_BACKUP_OFFSITE` (leer = Off-Box aus) und `MC_BACKUP_OFFSITE_KEY`. ## Backup erstellen - **Automatisch:** systemd-Timer `mc2-backup.timer`, täglich ~03:30. Status: @@ -38,10 +47,16 @@ Ablauf: Sicherheits-Backup → Dienste stoppen (`mem0-service`, `mission-control `hermes-gateway`) → Dateien zurückspielen (mem0 wird **ersetzt**, Configs überschrieben) → Dienste starten → Health-Check. -Ein Backup von einer **anderen** Maschine zurückspielen: Tarball nach -`/srv/models/mc2-backups/` kopieren, dann `restore.sh `. +### Wenn die Box-Platte tot ist (Off-Box-Restore) +`restore.sh` kennt den Off-Box-Spiegel: fehlt ein Backup lokal, holt es sich das Skript +automatisch vom Proxmox. Kein manuelles Kopieren nötig. -## Offen / TODO -- **Off-Box-Spiegel** (Schicht 2): Box ist Bare Metal (kein Proxmox-Gast → kein vzdump). - Saubere Wege: Proxmox Backup Server + `proxmox-backup-client` ODER rsync in einen - vzdump-gesicherten LXC. Noch nicht eingerichtet. +```bash +bash deploy/restore.sh --list # zeigt lokal UND Off-Box (Proxmox) +bash deploy/restore.sh --pull-offsite # ganzen Off-Box-Bestand nach lokal spiegeln +bash deploy/restore.sh latest # zieht das jüngste — vom Proxmox, falls lokal leer +``` + +## Erledigt +- **Off-Box-Spiegel (C12):** rsync auf den Proxmox-Host, live E2E verifiziert (2026-07-03). + Box ist Bare Metal (kein Proxmox-Gast → kein vzdump), daher aktiver Push statt vzdump-Pull.