Hermes-Kontext-Ehrlichkeit + Leistungs-Graphen zurueck im Cockpit
(1) /v1/models meldet jetzt den ECHTEN Kontext pro Slot: --parallel teilt den Server-Kontext hart auf (131072 / 2 Slots = 65536). Vorher budgetierte Hermes gegen 131k -> Kompaktierung feuerte nie, llama-server kappte bei ~52k-Sessions Prompt/Antwort -> abgerissene Tool-Calls, Retry-Schleifen, gefuehlte Abstuerze (journalctl 07.07 17:11, 152 msgs / ~51.700 Tokens). Dazu auf der Box: context.engine 'default' (existiert nicht, warnte jeden Turn) -> 'compressor' (der echte eingebaute Name). (2) Cockpit: neue Sektion 'Leistung' mit den drei bestehenden Live-Karten (System-Status, Token-Durchsatz, Latenz je Turn) — waren nach UI v3 nur noch in der alten Zentrale, User will sie auf der Startseite. Browser- verifiziert gegen die Box (rendert live, keine Konsolen-Fehler). Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
@@ -59,6 +59,13 @@ async def models(request: Request):
|
||||
from services import llamaswap
|
||||
for m in llamaswap.list_models():
|
||||
ctx = m.get("ctx")
|
||||
# --parallel teilt den Server-Kontext HART auf die Slots auf — ohne die
|
||||
# Division budgetieren Clients (v. a. Hermes) gegen 131k, real sind 65k/Slot:
|
||||
# Kompaktierung feuert nie, llama-server kappt Prompt/Antwort → abgerissene
|
||||
# Tool-Calls + Retry-Schleifen (Log 07.07., Session bei ~52k Tokens).
|
||||
slots = m.get("parallel_slots") or 1
|
||||
if ctx and slots > 1:
|
||||
ctx = ctx // slots
|
||||
if ctx:
|
||||
for api_id in m.get("api_ids", []):
|
||||
ctx_map[api_id] = ctx
|
||||
|
||||
Reference in New Issue
Block a user