# LiteLLM-Gateway-Config für Mission Control 2.0 # ---------------------------------------------------------------------------- # EIN OpenAI-Endpunkt für ALLE Konsumenten (Hermes + Vibe-Coding-IDEs). # Hinter dem Gateway sitzt llama-swap (:8080), das die llama-swap-Rollen-Aliase # (fast/heavy/vision/coder) bei Bedarf lädt — fast+heavy sind via llama-swap # `groups` (swap:false) ko-resident, daher Delegation ohne Nachlade-Latenz. # # Wird von Mission Control verwaltet (services/gateway.py). Start auf der Box: # litellm --config /opt/mission-control-2/gateway/config.yaml --port 4000 # # HINWEIS (auf der Box verifizieren): Der KOMPLEXITÄTS-Auto-Router ("model: auto" # wählt pro Anfrage schnell↔schwer nach Schwierigkeit) ist LiteLLM-versionsabhängig. # Baseline unten: "auto" == fast, eskaliert per Fallback auf heavy (bei Fehler/ # Kontext-Overflow). Den echten Complexity-Router (docs.litellm.ai/docs/proxy/ # auto_routing) in Phase „Routing-Feinschliff" gegen die installierte Version setzen. model_list: # Schnelles Alltags-Hirn (llama-swap-Alias "fast") - model_name: fast litellm_params: model: openai/fast api_base: http://127.0.0.1:8080/v1 api_key: sk-noauth # Schweres Reasoning-Hirn (llama-swap-Alias "heavy") - model_name: heavy litellm_params: model: openai/heavy api_base: http://127.0.0.1:8080/v1 api_key: sk-noauth # Vision (llama-swap-Alias "vision") - model_name: vision litellm_params: model: openai/vision api_base: http://127.0.0.1:8080/v1 api_key: sk-noauth # Coder (llama-swap-Alias "coder") - model_name: coder litellm_params: model: openai/coder api_base: http://127.0.0.1:8080/v1 api_key: sk-noauth # "auto" — Baseline: == fast, eskaliert per Fallback auf heavy. - model_name: auto litellm_params: model: openai/fast api_base: http://127.0.0.1:8080/v1 api_key: sk-noauth litellm_settings: # Bei Fehler/Kontext-Overflow von "auto"/"fast" auf "heavy" eskalieren. fallbacks: - auto: ["heavy"] - fast: ["heavy"] context_window_fallbacks: - auto: ["heavy"] - fast: ["heavy"] num_retries: 1 request_timeout: 600 router_settings: routing_strategy: simple-shuffle