Hitonabi
81f6861df8
- Nutzer koennen im Cookbook eigene Use-Case-Setups anlegen (Titel, Beschreibung, beliebige Modelle: Repo + Rolle + Quant). Groesse wird aus dem Repo-Namen abgeleitet; Fit-Ampel + optimaler Kontext kommen wie bei kuratierten Setups zur Laufzeit aus hw_math. - Persistenz: JSON-Datei (MC_USER_RECIPES, Default /srv/models/...) -> ueberlebt Deploys (liegt bewusst NICHT im rsync-Ziel). - /api/cookbook/recipes merged eingebaute + eigene Setups; install-recipe findet beide. Neue Endpunkte POST/DELETE /api/cookbook/user-recipe. - UI: "+ Eigenes Setup", Modal mit dynamischen Modell-Zeilen; eigene Karten mit "Dein Setup"-Tag + Loeschen. "Beste Wahl" bleibt auf kuratierte beschraenkt. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
61 lines
2.9 KiB
Python
61 lines
2.9 KiB
Python
"""
|
|
Zentrale Konfiguration fuer Mission Control.
|
|
|
|
Alles ueber Umgebungsvariablen ueberschreibbar. Wird von allen Modulen importiert,
|
|
damit es genau eine Quelle der Wahrheit fuer Pfade, URLs und Defaults gibt.
|
|
"""
|
|
|
|
import os
|
|
import sys
|
|
from pathlib import Path
|
|
|
|
from ruamel.yaml import YAML
|
|
|
|
# ---------------------------------------------------------------------------
|
|
# Env-Vars (siehe README fuer Bedeutung)
|
|
# ---------------------------------------------------------------------------
|
|
LLAMA_SWAP_URL = os.environ.get("MC_LLAMA_SWAP_URL", "http://127.0.0.1:8080").rstrip("/")
|
|
CONFIG_PATH = Path(os.environ.get("MC_CONFIG_PATH", "/etc/llama-swap/config.yaml"))
|
|
MODELS_DIR = Path(os.environ.get("MC_MODELS_DIR", "/srv/models"))
|
|
# Eigene Cookbook-Setups (vom Nutzer angelegt). Bewusst NICHT im App-Verzeichnis, sonst
|
|
# wuerde ein Deploy (rsync) sie ueberschreiben -> persistent neben den Modellen ablegen.
|
|
USER_RECIPES_PATH = Path(os.environ.get("MC_USER_RECIPES", str(MODELS_DIR / "mission-control-recipes.json")))
|
|
# Befehl, der zum Starten eines Modells in die config.yaml geschrieben wird.
|
|
# {model} = Pfad zur GGUF-Datei, {ctx} = Kontextlaenge, ${PORT} bleibt fuer llama-swap stehen.
|
|
# WICHTIG: an deinen Container-/llama-server-Aufruf anpassen (siehe README).
|
|
_DEFAULT_CMD_TEMPLATE = (
|
|
"llama-server -m {model} --host 127.0.0.1 --port ${PORT} "
|
|
"-c {ctx} -ngl 999 -fa 1 --no-mmap"
|
|
)
|
|
CMD_TEMPLATE = os.environ.get("MC_CMD_TEMPLATE", _DEFAULT_CMD_TEMPLATE)
|
|
# Schutz: Eine unquotierte systemd `Environment=MC_CMD_TEMPLATE=...`-Zeile wird an
|
|
# Leerzeichen gesplittet und kommt als blosses "llama-server" an. Fehlt der {model}-
|
|
# Platzhalter, ist die Vorlage unbrauchbar -> sicheren Default verwenden.
|
|
if "{model}" not in CMD_TEMPLATE:
|
|
CMD_TEMPLATE = _DEFAULT_CMD_TEMPLATE
|
|
# Befehl fuer "Container/Toolbox aktualisieren". Standard: kyuz0 refresh-Skript.
|
|
UPDATE_CMD = os.environ.get("MC_UPDATE_CMD", "")
|
|
DEFAULT_TTL = int(os.environ.get("MC_DEFAULT_TTL", "300"))
|
|
TOKEN = os.environ.get("MC_TOKEN", "") # leer = keine Auth (nur LAN!)
|
|
|
|
# Self-Update ("Mission Control aktualisieren"): Quelle = git-Repo, Prod = laufende Installation.
|
|
SOURCE_DIR = os.path.expanduser(os.environ.get("MC_SOURCE_DIR", "~/mission-control"))
|
|
PROD_DIR = str(Path(__file__).resolve().parent)
|
|
|
|
# Env fuer alle HuggingFace-Downloads: XET deaktivieren (mit aktivem XET haengt der
|
|
# Download reproduzierbar bei ~6 MB, siehe CLAUDE.md). Token wird je Job ergaenzt.
|
|
HF_DOWNLOAD_ENV = {"HF_HUB_DISABLE_XET": "1"}
|
|
|
|
|
|
def hf_bin() -> str:
|
|
"""Pfad zur `hf`-CLI fuer Modell-Downloads. Bevorzugt die im venv installierte
|
|
(neben dem laufenden Python), da der Dienst-PATH das venv/bin meist nicht
|
|
enthaelt. Faellt sonst auf ein global installiertes `hf` zurueck."""
|
|
cand = os.path.join(os.path.dirname(sys.executable), "hf")
|
|
return cand if os.path.exists(cand) else "hf"
|
|
|
|
|
|
# Gemeinsame YAML-Instanz (preserve_quotes haelt Kommentare/Quotes in config.yaml).
|
|
yaml = YAML()
|
|
yaml.preserve_quotes = True
|