Hitonabi
cff3f0b1a8
Backend-Services: fit/caps/sources (portiert), discover (live HF + Fit + Caps + ranked recommendation), llama-swap write/register + groups (Ko- Residenz swap:false), LiteLLM-Gateway-Config + gateway-Service (model:auto + Fallbacks). Router: discover/fit/register/groups/routing; health zeigt gateway_reachable. Frontend: Modelle&Routing mit Caps-Chips, Fit-Badges, Discover-Tab (live), Routing-View. Lokal verifiziert: Backend-Smoke (alle Endpunkte) + Frontend-Build + Browser (Shell, Discover, Caps/Fit). Box-Verifikation offen. Docs: README + docs/STATUS.md (Phasen-Tracker + Resume-Guide). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
66 lines
2.2 KiB
YAML
66 lines
2.2 KiB
YAML
# LiteLLM-Gateway-Config für Mission Control 2.0
|
|
# ----------------------------------------------------------------------------
|
|
# EIN OpenAI-Endpunkt für ALLE Konsumenten (Hermes + Vibe-Coding-IDEs).
|
|
# Hinter dem Gateway sitzt llama-swap (:8080), das die llama-swap-Rollen-Aliase
|
|
# (fast/heavy/vision/coder) bei Bedarf lädt — fast+heavy sind via llama-swap
|
|
# `groups` (swap:false) ko-resident, daher Delegation ohne Nachlade-Latenz.
|
|
#
|
|
# Wird von Mission Control verwaltet (services/gateway.py). Start auf der Box:
|
|
# litellm --config /opt/mission-control-2/gateway/config.yaml --port 4000
|
|
#
|
|
# HINWEIS (auf der Box verifizieren): Der KOMPLEXITÄTS-Auto-Router ("model: auto"
|
|
# wählt pro Anfrage schnell↔schwer nach Schwierigkeit) ist LiteLLM-versionsabhängig.
|
|
# Baseline unten: "auto" == fast, eskaliert per Fallback auf heavy (bei Fehler/
|
|
# Kontext-Overflow). Den echten Complexity-Router (docs.litellm.ai/docs/proxy/
|
|
# auto_routing) in Phase „Routing-Feinschliff" gegen die installierte Version setzen.
|
|
|
|
model_list:
|
|
# Schnelles Alltags-Hirn (llama-swap-Alias "fast")
|
|
- model_name: fast
|
|
litellm_params:
|
|
model: openai/fast
|
|
api_base: http://127.0.0.1:8080/v1
|
|
api_key: sk-noauth
|
|
|
|
# Schweres Reasoning-Hirn (llama-swap-Alias "heavy")
|
|
- model_name: heavy
|
|
litellm_params:
|
|
model: openai/heavy
|
|
api_base: http://127.0.0.1:8080/v1
|
|
api_key: sk-noauth
|
|
|
|
# Vision (llama-swap-Alias "vision")
|
|
- model_name: vision
|
|
litellm_params:
|
|
model: openai/vision
|
|
api_base: http://127.0.0.1:8080/v1
|
|
api_key: sk-noauth
|
|
|
|
# Coder (llama-swap-Alias "coder")
|
|
- model_name: coder
|
|
litellm_params:
|
|
model: openai/coder
|
|
api_base: http://127.0.0.1:8080/v1
|
|
api_key: sk-noauth
|
|
|
|
# "auto" — Baseline: == fast, eskaliert per Fallback auf heavy.
|
|
- model_name: auto
|
|
litellm_params:
|
|
model: openai/fast
|
|
api_base: http://127.0.0.1:8080/v1
|
|
api_key: sk-noauth
|
|
|
|
litellm_settings:
|
|
# Bei Fehler/Kontext-Overflow von "auto"/"fast" auf "heavy" eskalieren.
|
|
fallbacks:
|
|
- auto: ["heavy"]
|
|
- fast: ["heavy"]
|
|
context_window_fallbacks:
|
|
- auto: ["heavy"]
|
|
- fast: ["heavy"]
|
|
num_retries: 1
|
|
request_timeout: 600
|
|
|
|
router_settings:
|
|
routing_strategy: simple-shuffle
|