feat(models): Upgrade auf Qwen 3.8 27B als neues Hermes-Gehirn und Fast-Modell

backend/models_catalog.json

@@ -2,6 +2,11 @@
   "_comment": "Kuratierter Modell-Katalog (Cookbook) für Strix Halo / Ryzen AI MAX+ 395 — 128GB unified, bandbreiten-limitiert (256 GB/s). MoE-first. EINE Quelle der Wahrheit für KORREKTE Metadaten (total/active params, moe, generation) → präzise Empfehlungen ohne Namens-Raterei. Inspiriert vom Odysseus-Cookbook (statischer, validierter Katalog statt Live-Scraping). Erweiterbar: neue Modelle hier eintragen. Felder: name (Match-Identifier), repo (HF org/name für Install), family (+Subtyp), generation (numerisch, für Upgrade-Vergleich), total_params_b, active_params_b (=total bei dense), moe, quant, ctx (empfohlen), tools, vision.",
   "version": "2026-07-03",
   "models": [
+    {
+      "role": "fast", "name": "Qwen3.8-27B", "repo": "unsloth/Qwen3.8-27B-GGUF",
+      "family": "qwen", "generation": 3.8, "total_params_b": 27, "active_params_b": 27,
+      "moe": false, "quant": "Q4_K_M", "ctx": 65536, "tools": true, "vision": true
+    },
     {
       "role": "fast", "name": "Qwen3.6-35B-A3B", "repo": "Qwen/Qwen3.6-35B-A3B-GGUF",
       "family": "qwen", "generation": 3.6, "total_params_b": 35, "active_params_b": 3,

deploy/llama-swap.config.yaml

@@ -3,19 +3,25 @@ healthCheckTimeout: 300
 globalTTL: 0
 
 models:
-  Qwen3.6-35B-A3B:
-    # parallel 2 + c 131072: 2 Slots à 65k (Slot 2 = Mem0-Lern-Extraktion, blockiert Voice-Turns
-    # nicht mehr); KV Q8_0 macht das speicherneutral zu vorher (65k f16). Bench 2026-07-02:
-    # Q8_0 kostet 0 t/s, MTP n-max 3 = +26% vs. ohne Spec. (Q4_K-KV stand mal im Template,
-    # lief aber NIE live — bewusst bei Q8_0 geblieben: Qualität vor ein paar GB, seit der
-    # Warm-Set-Diät 07.07. ist RAM nicht mehr der Engpass.)
+  Qwen3.8-27B:
+    # Qwen 3.8 27B: Dichtes 27B-Modell mit hybrider Linear-Attention (48/64 Schichten linear),
+    # nativem Multimodal-Support (mmproj-BF16), Tool-Calling via --jinja.
+    # parallel 2 + c 131072: 2 Slots à 65k (Slot 2 = Mem0-Lern-Extraktion); KV Q8_0 für hohe Qualität.
     cmd: |
-      llama-server -m /srv/models/Qwen3.6-35B-A3B-MTP-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 131072 -ngl 999 -fa on --no-mmap --jinja --parallel 2 -cram 16384 -ctk q8_0 -ctv q8_0 --spec-type draft-dflash --spec-draft-model /srv/models/Qwen3.6-35B-A3B-DFlash-GGUF/giocom-Qwen3.6-35B-A3B-DFlash-Q8_0.gguf
+      llama-server -m /srv/models/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 131072 -ngl 999 -fa on --no-mmap --mmproj /srv/models/Qwen3.8-27B-GGUF/mmproj-BF16.gguf --jinja --parallel 2 -cram 16384 -ctk q8_0 -ctv q8_0
     ttl: 0
     aliases:
     - hermes
     - fast
-    # context = nutzbarer Kontext PRO REQUEST (c geteilt durch parallel-Slots).
+    capabilities:
+      in: [text, image]
+      out: [text]
+      tools: true
+      context: 65536
+  Qwen3.6-35B-A3B:
+    cmd: |
+      llama-server -m /srv/models/Qwen3.6-35B-A3B-MTP-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 131072 -ngl 999 -fa on --no-mmap --jinja --parallel 2 -cram 16384 -ctk q8_0 -ctv q8_0 --spec-type draft-dflash --spec-draft-model /srv/models/Qwen3.6-35B-A3B-DFlash-GGUF/giocom-Qwen3.6-35B-A3B-DFlash-Q8_0.gguf
+    ttl: 300
     capabilities:
       in: [text]
       out: [text]
@@ -112,4 +118,4 @@ groups:
     members:
     - Qwen3-Embedding-0.6B
     - Qwen3-Reranker-0.6B
-    - Qwen3.6-35B-A3B
+    - Qwen3.8-27B