Repo-Schnappschuss: VL-30B ttl 300->0 (Warm-Set-Drift schliessen)
Live war VL-30B (Augen) schon auf ttl:0 gesetzt, der Repo-Schnappschuss deploy/llama-swap.config.yaml stand aber noch auf ttl:300 -> bei einer Neu-Provisionierung aus dem Repo waere der Warm-Set-Auskuehl-Bug zurueckgekommen (persistent schuetzt nicht gegen ttl-Selbstentladen). Kommentar auf den Live-Stand (Augen/vision, brains-Mitglied) aktualisiert. Reiner Snapshot-Fix, kein Live-Effekt (Deploy fasst llama-swap-Config nicht an). Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -81,11 +81,12 @@ models:
|
|||||||
tools: true
|
tools: true
|
||||||
context: 32768
|
context: 32768
|
||||||
Qwen3-VL-30B-A3B-Instruct:
|
Qwen3-VL-30B-A3B-Instruct:
|
||||||
# vision-Upgrade-Kandidat (Bench 02.07.: tg 90-92 t/s, MoE 3B aktiv, stark auf GUI-Benchmarks).
|
# Lucys AUGEN (vision, seit 03.07. live via set_role/set_group): MoE 3B aktiv, versteht die
|
||||||
# Noch OHNE vision-Alias — erst Screenshot-Qualitaets-Check, dann Entscheid (brains-Budget!).
|
# Bildschirm-SZENE statt nur OCR. Als brains-Mitglied MUSS ttl:0 sein — persistent schuetzt nur
|
||||||
|
# gegen Verdraengung, NICHT gegen ttl-Selbstentladen (sonst faellt es alle 5 Min raus).
|
||||||
cmd: |
|
cmd: |
|
||||||
llama-server -m /srv/models/Qwen3-VL-30B-A3B-Instruct-GGUF/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 32768 -ngl 999 -fa on --no-mmap --mmproj /srv/models/Qwen3-VL-30B-A3B-Instruct-GGUF/mmproj-F16.gguf --jinja
|
llama-server -m /srv/models/Qwen3-VL-30B-A3B-Instruct-GGUF/Qwen3-VL-30B-A3B-Instruct-Q4_K_M.gguf --host 127.0.0.1 --port ${PORT} -c 32768 -ngl 999 -fa on --no-mmap --mmproj /srv/models/Qwen3-VL-30B-A3B-Instruct-GGUF/mmproj-F16.gguf --jinja
|
||||||
ttl: 300
|
ttl: 0
|
||||||
capabilities:
|
capabilities:
|
||||||
in: [text, image]
|
in: [text, image]
|
||||||
out: [text]
|
out: [text]
|
||||||
|
|||||||
Reference in New Issue
Block a user