Hitonabi
7fac17ed9a
Die Intelligenz sitzt nicht mehr NEBEN dem Coden, sondern DRIN. Alles auf der Box gemessen, nicht angenommen. Stufe 1 — Speicher-Haushalt (llama-swap-Config, nicht im Repo): Coder dauerwarm statt ttl 600 (Kaltstart 23 s -> 491 ms), Devstral als 'kritiker' verdrahtet, Swap 11 GB -> 0. Zwei Befunde: Kontext 131k->65k spart bei Qwen3-Next 0 GB (Hybrid-Attention), und llama-swap haelt nur EINE Gruppe resident -> alles Ko-Residente in dieselbe Gruppe. `persistent: true` verhindert dabei das Freiraeumen vor grossen Modellen -> ausgeloester Kernel-OOM, behoben durch persistent:false + TTLs (Vision laedt jetzt in 10 s statt 117 s + Absturz). Stufe 2 — Governor v2 (deploy/governor/): Steht jetzt IM Pfad (:8100 -> MC2 :9001) statt daneben. Zaehlt den GANZEN Anfragekoerper inkl. tools/tool_calls und kalibriert sich aus den echten usage.prompt_tokens jeder Antwort nach: Schaetzfehler 200 % -> 0,3 %. Soft-Einschub nur noch, wenn die Nachrichtenkette es erlaubt (kein Dazwischen- funken in offene tool_calls). Neuer Status-Endpunkt + systemd-Unit. Lucys Alltagsmodelle sind vom Schnitt ausgenommen. Stufe 3 — OpenCode-Plugin (deploy/opencode/plugin/mc2-governor.ts): Werkzeug-Zaun (git push, rm -rf, sudo, curl|sh — bewiesen), Pruef-Tor auf session.idle mit Selbstreparatur, Savepoint statt Kompression, Meldungen an Lucys Briefkasten mit eigenem Absender 'loop'. Stufe 4 — Mannschaft (opencode.json): plan+build -> coder (51,5 t/s) · explore -> hermes (69,6 t/s, warm, gratis) · review -> Devstral (15,0 t/s, FREMDE Modellfamilie gegen blinde Flecken). Der 63-GB-Planer faellt aus der Tagesrolle raus. Stufe 5 — ein Regelwerk, zwei Ausloeser: deploy/opencode-lauf.sh faehrt dieselbe Bau-Pruef-Schleife unbeaufsichtigt (die Schleife liegt hier UND im Plugin: bei `opencode run` endet der Prozess, bevor session.idle fertig ist — gemessen). Bricht ab, wenn der Governor fehlt. gitea-repo-create.sh saet jetzt VERIFY neben der CI-Ampel: jedes neue Repo wird mit Innen- UND Aussen-Pruefung geboren. Oberflaeche: Token-Waechter-Kachel im Cockpit (Fuellstand, Marken, Ehrlichkeits-Nachweis), /api/governor als gleichursprüngliches Fenster, Devstral im Modellkatalog, Rollen-Texte auf die neue Mannschaft aktualisiert. .gitattributes: deploy/**/*.py auf LF (deploy/*.py greift nur eine Ebene tief). Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Mission Control 2.0
Komponierbarer Local-AI-Stack für den Bosgame M5 (Strix Halo). Läuft live auf der Box
als sudo-freier systemd-User-Dienst (:9001) und ist als Final-Version eingefroren —
Pflege übernehmen ab jetzt die selbst-wartenden Box-KIs (Auto-Update mit Fangnetz + die
„Werkstatt"), nicht mehr manuelle Releases.
Schichten: Engine (llama.cpp Vulkan/RADV auf Strix Halo) · Router (llama-swap,
Ko-Residenz-Warm-Set) · Builtin-Routing-Gateway in MC2 (model: auto, kein externer
LiteLLM — scheitert auf Python 3.14) · Mission Control 2.0 (FastAPI + React/shadcn) ·
Hermes Agent (api_server-Gateway :8642, Tools/MCP/Telegram/cron) · auto-lernendes
Gedächtnis (Mem0-Sidecar, semantisch). Jede Schicht hinter stabilem Vertrag austauschbar.
Sprachassistentin Lucy (Voice + 3D-Avatar) ist in ein eigenes Repo ausgelagert (
Hitonabi/lucy) und spricht über den Hermes-Gateway. Aus MC2 selbst sind die Voice-/ Web-Reste entfernt — MC2 ist die Steuerzentrale, kein Sprach-Frontend.
Status: live + eingefroren (MC2 Final)
Der ganze Stack ist auf der Box in Betrieb und auf Autonomie ausgelegt (Ziel: läuft auch ohne Betreuung monatelang weiter):
- Modelle & Routing — Discover (live HF + Fit/Caps), Engine-Write (register,
groups/ Ko-Residenz, vocab-geprüfte Spec-Drafts), Gatewaymodel: auto+ Fallbacks. - System & Wartung — Status (CPU/RAM/GPU/Disk), ehrliche Speicher-Zahlen (echte KV-Bytes aus GGUF-Architektur), Logs mit Fehler-Filter, Dienst-Neustart (sudo-frei).
- Updates mit Fangnetz — OS/Engine/Router/Hermes per Timer: Backup → Update → Postcheck → bei Fehler Auto-Rollback + Pin; verständliche Zusammenfassung („Musst du etwas tun?") in Lucys Stimme. Eigene Software wird eingefroren, nicht geupdatet.
- Gedächtnis — Mem0-Sidecar (auto-lernend, semantisch), 4 Kategorien, Auto-Dedupe.
- Selbsterhaltung — Health-Wächter (
sentry), Warm-Set-Wächter (warmer), tägliche Self-Smokes, Lucy-Watchdog + Alarmkette; Werkstatt (Hermes wartet den Stack via Gitea- Branch → Gate → Deploy selbst).
API: health · models · discover · fit · models/register · groups · routing · system/* · maintenance/* · connect · memory/* · agent/* · voice/announce · reminders/*. MCP: mcp/.
Box-Runbooks: docs/HERMES_SETUP.md, docs/RUNBOOK.md,
docs/BEDIENUNG.md + deploy/ (Units, deploy.sh, backup.sh, warmup.sh).
Entwickeln
Backend:
cd backend
python -m venv .venv && .venv/Scripts/python -m pip install -r requirements.txt # Windows
.venv/Scripts/python -m uvicorn app:app --port 9000
Frontend (Dev, proxyt /api → :9000):
cd frontend
npm install
npm run dev # http://localhost:5173
Frontend (Build → wird vom Backend ausgeliefert):
cd frontend && npm run build # → frontend/dist
Env-Vars (Auswahl)
| Variable | Default | Zweck |
|---|---|---|
MC_LLAMA_SWAP_URL |
http://127.0.0.1:8080 |
Engine |
MC_CONFIG_PATH |
/etc/llama-swap/config.yaml |
llama-swap Config |
MC_GATEWAY_URL |
http://127.0.0.1:$MC_PORT |
Builtin-Gateway (Teil von MC2, kein externer Dienst) |
MC_PORT |
9000 |
MC-Backend-Port |
MC_ENGINE_PATH |
/opt/llamacpp-vulkan |
Aktive Engine-Binary (Vulkan-Build) |
MC_ENGINE_REPO |
ggml-org/llama.cpp |
Quelle für Engine-Update-Check |
MC_DRAFTS_DIR |
$MODELS/drafts |
Spec-Draft-Modelle (vocab-geprüft) |
MC_SPEC_TYPE |
draft-simple |
Speculative-Decoding-Typ (llama.cpp) |