diff --git a/deploy/llama-swap.config.yaml b/deploy/llama-swap.config.yaml index 5c06c3e..b8c9ccc 100644 --- a/deploy/llama-swap.config.yaml +++ b/deploy/llama-swap.config.yaml @@ -30,7 +30,6 @@ models: ttl: 5400 aliases: - coder - - dense-planer capabilities: in: [text, image] out: [text] @@ -44,24 +43,11 @@ models: ttl: 600 aliases: - debugger - - doctor capabilities: in: [text, image] out: [text] tools: true context: 65536 - Qwen3-Coder-Next: - # MoE-Coder Fallback (80B MoE, 3B aktiv). - cmd: | - llama-server -m /srv/models/Qwen3-Coder-Next-GGUF/Qwen3-Coder-Next-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 131072 -ngl 999 -fa on --no-mmap --jinja --cache-reuse 256 -cram 16384 - ttl: 1800 - aliases: - - coder-moe - capabilities: - in: [text] - out: [text] - tools: true - context: 131072 Qwen3-Embedding-0.6B: cmd: | llama-server -m /srv/models/Qwen3-Embedding-0.6B-GGUF/Qwen3-Embedding-0.6B-Q8_0.gguf --host 127.0.0.1 --port ${PORT} --embedding --pooling last -ngl 999 -fa on --no-mmap -c 8192 @@ -82,11 +68,6 @@ models: tools: true context: 32768 Qwen3-VL-30B-A3B-Instruct: - # Lucys AUGEN — seit 07.07. ON-DEMAND (User-Entscheid: „Gehirn + Embedding reichen - # komplett; Vision nur wenn Lucy auf dem Desktop an ist oder die IDE-Lane sie braucht"). - # NICHT mehr in brains; ttl 900 = 15 Min Nachlauf nach dem letzten Blick. Die Lucy-App - # wärmt die Augen beim Start selbst an (useVoiceAgent-Warm-Gate). Vorher: warm, ttl 0 — - # das kostete ~19 GB Dauerbelegung und verdrängte den 60-GB-Chef-Gutachter. cmd: | llama-server -m /srv/models/Qwen3-VL-30B-A3B-Instruct-GGUF/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 32768 -ngl 999 -fa on --no-mmap --mmproj /srv/models/Qwen3-VL-30B-A3B-Instruct-GGUF/mmproj-F16.gguf --jinja ttl: 900 @@ -96,33 +77,6 @@ models: in: [text, image] out: [text] context: 32768 - GLM-4.6V-Flash: - cmd: | - llama-server -m /srv/models/GLM-4.6V-Flash-GGUF/GLM-4.6V-Flash-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 131072 -ngl 999 -fa on --no-mmap --mmproj /srv/models/GLM-4.6V-Flash-GGUF/mmproj-BF16.gguf --jinja - ttl: 300 - aliases: - - scout - capabilities: - in: [text, image] - out: [text] - tools: true - context: 131072 - Devstral-Small-2-24B: - # KRITIKER (25.07.2026): Gegenleser aus einer ANDEREN Modellfamilie (Mistral, Apache-2.0, - # 24B DICHT, 256k Kontext, 68,0 % SWE-bench Verified vs. 59,2 % bei GLM-4.7-Flash). - # Loest GLM-4.7-Flash in der kritiker-Rolle ab. Dicht = auf Strix Halo bandbreitengebunden - # und damit langsam beim SCHREIBEN — fuer einen Kritiker egal: er liest viel, schreibt wenig. - # --jinja ist Pflicht (Chat-Template, sonst kaputte Tool-Calls). - cmd: | - llama-server -m /srv/models/Devstral-Small-2-GGUF/mistralai_Devstral-Small-2-24B-Instruct-2512-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 16384 -ngl 999 -fa on --no-mmap --jinja --cache-reuse 256 - ttl: 1800 - aliases: - - kritiker - capabilities: - in: [text] - out: [text] - tools: true - context: 16384 Qwen3-Reranker-0.6B: # Gedächtnis-Zweitstufe (07.07., Rollen-Audit): ordnet Mem0-Suchtreffer nach echter # Relevanz (/v1/rerank, Mungert-GGUF — Community-Konvertierungen liefern oft Nullscores!).