Hermes-Kontext-Ehrlichkeit + Leistungs-Graphen zurueck im Cockpit
(1) /v1/models meldet jetzt den ECHTEN Kontext pro Slot: --parallel teilt den Server-Kontext hart auf (131072 / 2 Slots = 65536). Vorher budgetierte Hermes gegen 131k -> Kompaktierung feuerte nie, llama-server kappte bei ~52k-Sessions Prompt/Antwort -> abgerissene Tool-Calls, Retry-Schleifen, gefuehlte Abstuerze (journalctl 07.07 17:11, 152 msgs / ~51.700 Tokens). Dazu auf der Box: context.engine 'default' (existiert nicht, warnte jeden Turn) -> 'compressor' (der echte eingebaute Name). (2) Cockpit: neue Sektion 'Leistung' mit den drei bestehenden Live-Karten (System-Status, Token-Durchsatz, Latenz je Turn) — waren nach UI v3 nur noch in der alten Zentrale, User will sie auf der Startseite. Browser- verifiziert gegen die Box (rendert live, keine Konsolen-Fehler). Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
@@ -59,6 +59,13 @@ async def models(request: Request):
|
|||||||
from services import llamaswap
|
from services import llamaswap
|
||||||
for m in llamaswap.list_models():
|
for m in llamaswap.list_models():
|
||||||
ctx = m.get("ctx")
|
ctx = m.get("ctx")
|
||||||
|
# --parallel teilt den Server-Kontext HART auf die Slots auf — ohne die
|
||||||
|
# Division budgetieren Clients (v. a. Hermes) gegen 131k, real sind 65k/Slot:
|
||||||
|
# Kompaktierung feuert nie, llama-server kappt Prompt/Antwort → abgerissene
|
||||||
|
# Tool-Calls + Retry-Schleifen (Log 07.07., Session bei ~52k Tokens).
|
||||||
|
slots = m.get("parallel_slots") or 1
|
||||||
|
if ctx and slots > 1:
|
||||||
|
ctx = ctx // slots
|
||||||
if ctx:
|
if ctx:
|
||||||
for api_id in m.get("api_ids", []):
|
for api_id in m.get("api_ids", []):
|
||||||
ctx_map[api_id] = ctx
|
ctx_map[api_id] = ctx
|
||||||
|
|||||||
+1
-1
File diff suppressed because one or more lines are too long
+151
-151
File diff suppressed because one or more lines are too long
Vendored
+1
-1
@@ -7,7 +7,7 @@
|
|||||||
<link rel="manifest" href="/manifest.webmanifest" />
|
<link rel="manifest" href="/manifest.webmanifest" />
|
||||||
<link rel="icon" type="image/svg+xml" href="/favicon.svg" />
|
<link rel="icon" type="image/svg+xml" href="/favicon.svg" />
|
||||||
<title>Mission Control 2.0</title>
|
<title>Mission Control 2.0</title>
|
||||||
<script type="module" crossorigin src="/assets/index-_1h7akwb.js"></script>
|
<script type="module" crossorigin src="/assets/index-mi_JbBP4.js"></script>
|
||||||
<link rel="stylesheet" crossorigin href="/assets/index-DfNbRJ2k.css">
|
<link rel="stylesheet" crossorigin href="/assets/index-DfNbRJ2k.css">
|
||||||
</head>
|
</head>
|
||||||
<body>
|
<body>
|
||||||
|
|||||||
@@ -13,6 +13,9 @@ import { useLucyHealth, type Repair } from "@/lib/useLucyHealth"
|
|||||||
import { useDialog } from "@/lib/useDialog"
|
import { useDialog } from "@/lib/useDialog"
|
||||||
import { cn } from "@/lib/utils"
|
import { cn } from "@/lib/utils"
|
||||||
import { CockpitTile } from "./CockpitTile"
|
import { CockpitTile } from "./CockpitTile"
|
||||||
|
import { SystemStatusCard } from "@/components/dashboard/SystemStatusCard"
|
||||||
|
import { TokenPerformanceCard } from "@/components/dashboard/TokenPerformanceCard"
|
||||||
|
import { LatencyCard } from "@/components/dashboard/LatencyCard"
|
||||||
|
|
||||||
// Öffnet die bestehende System-Schublade (Pflege/Logs) via globalem Event.
|
// Öffnet die bestehende System-Schublade (Pflege/Logs) via globalem Event.
|
||||||
const openDrawer = (tab: "maintenance" | "logs") =>
|
const openDrawer = (tab: "maintenance" | "logs") =>
|
||||||
@@ -126,6 +129,20 @@ export function CockpitView({ onNavigate }: { onNavigate: (v: string) => void })
|
|||||||
</div>
|
</div>
|
||||||
</section>
|
</section>
|
||||||
|
|
||||||
|
{/* Leistung — die Live-Graphen zurück auf der Startseite (User-Wunsch 07.07.:
|
||||||
|
System-Verlauf, tok/s und Turn-Latenz waren nach dem UI-v3-Umbau nur noch in
|
||||||
|
der alten Zentrale erreichbar). Karten sind autark (eigene Hooks/Polling). */}
|
||||||
|
<section>
|
||||||
|
<ZoneLabel>Leistung</ZoneLabel>
|
||||||
|
<div className="grid gap-4 lg:grid-cols-2">
|
||||||
|
<SystemStatusCard />
|
||||||
|
<TokenPerformanceCard />
|
||||||
|
</div>
|
||||||
|
<div className="mt-4">
|
||||||
|
<LatencyCard />
|
||||||
|
</div>
|
||||||
|
</section>
|
||||||
|
|
||||||
{/* Sekundäre Bereiche */}
|
{/* Sekundäre Bereiche */}
|
||||||
<section>
|
<section>
|
||||||
<ZoneLabel>Mehr</ZoneLabel>
|
<ZoneLabel>Mehr</ZoneLabel>
|
||||||
|
|||||||
Reference in New Issue
Block a user