nutzung: Antwortzeiten, Fehler, Verlauf je Stunde und Ladevorgänge aus dem llama-swap-Journal
„Wer nutzt die Modelle“ war zu dünn (nur Anzahl je Absender). Das Journal gibt je Anfrage auch Status und Dauer her — daraus rechnet die Box jetzt mehr, alles nur ergänzt; die alten Felder bleiben für den Flugplan (letzte_24h) und für ältere Oberflächen. - Je Absender: typische Antwortzeit (Median — einzelne 30-s-Wartezeiten bei Neustarts verziehen sonst den Schnitt), „9 von 10 bis“ (90-%-Wert als nächster Rang, also eine echte Antwortzeit), Rechenzeit (Summe aller Antwortzeiten), Fehler (Status nicht 2xx, je Code) und die letzte Anfrage. Go-Dauern werden samt ms/µs/ns und „1m2.3s“ gelesen. - Fenster = die letzten 7 Kalendertage bis jetzt statt 7×24 h rollend: je_tag hat genau 7 Tage, heute als letzten, auch leere — alle Zahlen beziehen sich auf dasselbe Fenster. - „stunden“: die letzten 24 h chronologisch mit Beginn (in UTC gerechnet, damit die Zeitumstellung keine Stunde verschluckt). letzte_24h bleibt Stunde des Tages wie bisher. - „ladevorgaenge“: je Modell Anzahl und die letzten Zeitpunkte („Health check passed“). - „reihe“: feste Reihenfolge aus der Namensliste, damit die Farbe dem Absender folgt und nicht dem Rang. NerdQuiz als größter Verbraucher zuerst (ruhiges Blau). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Hitonabi
co-authored by
Claude Opus 5.5
Claude Opus 5.5
parent
0df593c05a
commit
7834de9592
@@ -1,7 +1,8 @@
|
||||
"""Tests für die Auswertung des llama-swap-Journals — Zeilenformat wie auf der Box (23.09.2026)."""
|
||||
"""Tests für die Auswertung des llama-swap-Journals — Zeilenformat wie auf der Box (23. und 25.09.2026)."""
|
||||
|
||||
from datetime import datetime
|
||||
|
||||
import pytest
|
||||
from services import modell_nutzung
|
||||
|
||||
ZEILEN = [
|
||||
@@ -19,18 +20,32 @@ ZEILEN = [
|
||||
]
|
||||
|
||||
NAMEN = {"127.0.0.1": "Lucy und OpenChamber über MC2", "192.168.178.28": "NerdQuiz auf Arcane"}
|
||||
JETZT = datetime.fromisoformat("2026-09-23T20:45:00+02:00")
|
||||
|
||||
|
||||
def test_zaehlt_nur_chat_anfragen_je_absender():
|
||||
d = modell_nutzung.werte_aus(ZEILEN, datetime.fromisoformat("2026-09-23T20:45:00+02:00"), NAMEN)
|
||||
assert d["absender"] == [
|
||||
{"name": "NerdQuiz auf Arcane", "anfragen": 3},
|
||||
{"name": "Lucy und OpenChamber über MC2", "anfragen": 1},
|
||||
def anfrage(zeit: str, ip: str = "192.168.178.28", status: int = 200, dauer: str = "1s",
|
||||
programm: str = "Go-http-client/1.1") -> str:
|
||||
return (f'{zeit} tobisniceaiarbeitstier llama-swap[237863]: [INFO] Request {ip} '
|
||||
f'"POST /v1/chat/completions HTTP/1.1" {status} 805 "{programm}" {dauer}')
|
||||
|
||||
|
||||
def je_name(d: dict) -> dict:
|
||||
return {a["name"]: a for a in d["absender"]}
|
||||
|
||||
|
||||
def test_zaehlt_nur_chat_anfragen_der_letzten_sieben_tage_je_absender():
|
||||
d = modell_nutzung.werte_aus(ZEILEN, JETZT, NAMEN)
|
||||
# Der Lauf vom 10.09. liegt vor dem Fenster (17.09. 00:00 bis jetzt), Embeddings zählen nicht.
|
||||
assert [(a["name"], a["anfragen"]) for a in d["absender"]] == [
|
||||
("NerdQuiz auf Arcane", 2),
|
||||
("Lucy und OpenChamber über MC2", 1),
|
||||
]
|
||||
assert d["seit"] == "2026-09-17T00:00:00+02:00"
|
||||
assert d["gesamt"]["anfragen"] == 3
|
||||
|
||||
|
||||
def test_letzte_24h_je_stunde_und_zuletzt_geladen():
|
||||
d = modell_nutzung.werte_aus(ZEILEN, datetime.fromisoformat("2026-09-23T20:45:00+02:00"), NAMEN)
|
||||
d = modell_nutzung.werte_aus(ZEILEN, JETZT, NAMEN)
|
||||
stunden = {s["stunde"]: s["je_absender"] for s in d["letzte_24h"]}
|
||||
assert stunden["03"] == {"NerdQuiz auf Arcane": 2} # der Lauf vom 10.09. liegt außerhalb
|
||||
assert stunden["07"] == {"Lucy und OpenChamber über MC2": 1}
|
||||
@@ -38,8 +53,138 @@ def test_letzte_24h_je_stunde_und_zuletzt_geladen():
|
||||
assert d["zuletzt_geladen"]["Qwen3.8-27B"].startswith("2026-09-17T19:59")
|
||||
|
||||
|
||||
def test_unbekannte_ip_bleibt_als_ip_stehen():
|
||||
zeile = ('2026-09-23T10:00:00+02:00 box llama-swap[1]: [INFO] Request 10.0.0.9 '
|
||||
'"POST /v1/chat/completions HTTP/1.1" 200 1 "curl/8" 1s')
|
||||
d = modell_nutzung.werte_aus([zeile], datetime.fromisoformat("2026-09-23T20:45:00+02:00"), NAMEN)
|
||||
assert d["absender"] == [{"name": "10.0.0.9", "anfragen": 1}]
|
||||
def test_unbekannte_ip_bleibt_als_ip_stehen_und_kommt_nach_den_bekannten():
|
||||
zeile = anfrage("2026-09-23T10:00:00+02:00", ip="10.0.0.9", programm="curl/8")
|
||||
d = modell_nutzung.werte_aus([zeile], JETZT, NAMEN)
|
||||
assert [(a["name"], a["anfragen"], a["reihe"]) for a in d["absender"]] == [("10.0.0.9", 1, 2)]
|
||||
|
||||
|
||||
@pytest.mark.parametrize(("text", "sekunden"), [
|
||||
("388.092603ms", 0.388092603),
|
||||
("3.416448406s", 3.416448406),
|
||||
("31.899196571s", 31.899196571),
|
||||
("1m2.5s", 62.5),
|
||||
("2h0m0s", 7200.0),
|
||||
("850µs", 0.00085),
|
||||
("850μs", 0.00085),
|
||||
("12ns", 0.000000012),
|
||||
("0s", 0.0),
|
||||
])
|
||||
def test_dauer_liest_go_dauern(text, sekunden):
|
||||
assert modell_nutzung.dauer_s(text) == pytest.approx(sekunden)
|
||||
|
||||
|
||||
@pytest.mark.parametrize("text", ["", "abc", "805", "1.5x", "s", '"Go-http-client/1.1"', "1s2"])
|
||||
def test_dauer_ohne_einheit_ist_keine_dauer(text):
|
||||
assert modell_nutzung.dauer_s(text) is None
|
||||
|
||||
|
||||
def test_antwortzeiten_fehler_und_letzte_anfrage_je_absender():
|
||||
zeilen = [
|
||||
anfrage("2026-09-23T09:00:00+02:00", dauer="400ms"),
|
||||
anfrage("2026-09-23T09:01:00+02:00", dauer="1.2s"),
|
||||
anfrage("2026-09-23T09:02:00+02:00", dauer="1m2s"),
|
||||
anfrage("2026-09-23T09:03:00+02:00", status=502, dauer="31.9s"),
|
||||
anfrage("2026-09-23T12:00:00+02:00", ip="127.0.0.1", status=499, dauer="5s", programm="python-httpx/0.28.1"),
|
||||
anfrage("2026-09-23T12:01:00+02:00", ip="127.0.0.1", dauer="600ms", programm="python-httpx/0.28.1"),
|
||||
# Ohne Dauer am Ende (anderes Format): zählt, geht aber in keine Zeit ein.
|
||||
'2026-09-23T12:02:00+02:00 box llama-swap[1]: [INFO] Request 127.0.0.1 "POST /v1/chat/completions HTTP/1.1"',
|
||||
]
|
||||
d = modell_nutzung.werte_aus(zeilen, JETZT, NAMEN)
|
||||
nq, lucy = je_name(d)["NerdQuiz auf Arcane"], je_name(d)["Lucy und OpenChamber über MC2"]
|
||||
|
||||
assert nq["anfragen"] == 4
|
||||
assert nq["fehler"] == 1 and nq["fehler_codes"] == {"502": 1}
|
||||
# Typisch und 9 von 10 nur aus den erfolgreichen Antworten; die Rechenzeit zählt alle.
|
||||
assert nq["dauer_typisch_s"] == pytest.approx(1.2)
|
||||
assert nq["dauer_p90_s"] == pytest.approx(62.0)
|
||||
assert nq["dauer_summe_s"] == pytest.approx(0.4 + 1.2 + 62 + 31.9, abs=0.05)
|
||||
assert nq["zuletzt"] == "2026-09-23T09:03:00+02:00"
|
||||
|
||||
assert lucy["anfragen"] == 3
|
||||
assert lucy["fehler_codes"] == {"499": 1}
|
||||
assert lucy["dauer_typisch_s"] == pytest.approx(0.6)
|
||||
assert lucy["zuletzt"] == "2026-09-23T12:02:00+02:00"
|
||||
|
||||
assert d["gesamt"]["fehler"] == 2
|
||||
assert d["gesamt"]["fehler_codes"] == {"502": 1, "499": 1}
|
||||
assert d["gesamt"]["dauer_typisch_s"] == pytest.approx(0.9) # Median aus 0,4 · 0,6 · 1,2 · 62
|
||||
assert d["gesamt"]["dauer_p90_s"] == pytest.approx(62.0)
|
||||
|
||||
|
||||
def test_ohne_anfragen_bleiben_die_zeiten_leer():
|
||||
d = modell_nutzung.werte_aus([], JETZT, NAMEN)
|
||||
assert d["absender"] == []
|
||||
assert d["gesamt"] == {"anfragen": 0, "fehler": 0, "fehler_codes": {}, "dauer_typisch_s": None,
|
||||
"dauer_p90_s": None, "dauer_summe_s": 0.0}
|
||||
assert list(d["je_tag"].values()) == [{}] * 7
|
||||
assert all(s["je_absender"] == {} for s in d["stunden"])
|
||||
|
||||
|
||||
def test_farbe_folgt_dem_absender_nicht_dem_rang():
|
||||
"""Überholt Lucy NerdQuiz, bleibt die Reihe (= Farbe) gleich — sie kommt aus der Namensliste."""
|
||||
zeilen = [anfrage(f"2026-09-23T10:0{i}:00+02:00", ip="127.0.0.1") for i in range(5)]
|
||||
zeilen.append(anfrage("2026-09-23T11:00:00+02:00"))
|
||||
namen = {"192.168.178.28": "NerdQuiz auf Arcane", "127.0.0.1": "Lucy", "::1": "Lucy", "192.168.178.22": "PC"}
|
||||
d = modell_nutzung.werte_aus(zeilen, JETZT, namen)
|
||||
assert [(a["name"], a["reihe"]) for a in d["absender"]] == [("Lucy", 1), ("NerdQuiz auf Arcane", 0)]
|
||||
|
||||
|
||||
def test_verlauf_je_tag_deckt_sieben_kalendertage_bis_heute():
|
||||
zeilen = [
|
||||
anfrage("2026-09-16T23:59:59+02:00"), # vor dem Fenster
|
||||
anfrage("2026-09-17T00:00:00+02:00"),
|
||||
anfrage("2026-09-20T22:30:00+00:00"), # in UTC geschrieben: in Berlin schon der 21.09.
|
||||
anfrage("2026-09-23T20:00:00+02:00", ip="127.0.0.1"),
|
||||
]
|
||||
d = modell_nutzung.werte_aus(zeilen, JETZT, NAMEN)
|
||||
assert list(d["je_tag"]) == [f"2026-09-{t}" for t in range(17, 24)]
|
||||
assert d["je_tag"]["2026-09-17"] == {"NerdQuiz auf Arcane": 1}
|
||||
assert d["je_tag"]["2026-09-20"] == {}
|
||||
assert d["je_tag"]["2026-09-21"] == {"NerdQuiz auf Arcane": 1}
|
||||
assert d["je_tag"]["2026-09-23"] == {"Lucy und OpenChamber über MC2": 1}
|
||||
|
||||
|
||||
def test_stunden_laufen_chronologisch_bis_zur_laufenden_stunde():
|
||||
zeilen = [
|
||||
anfrage("2026-09-22T20:59:00+02:00"), # vor der ersten Stunde (21:00 gestern)
|
||||
anfrage("2026-09-22T21:10:00+02:00"),
|
||||
anfrage("2026-09-23T00:30:00+02:00", ip="127.0.0.1"),
|
||||
anfrage("2026-09-23T20:44:00+02:00"),
|
||||
]
|
||||
d = modell_nutzung.werte_aus(zeilen, JETZT, NAMEN)
|
||||
stunden = d["stunden"]
|
||||
assert len(stunden) == 24
|
||||
assert stunden[0]["beginn"] == "2026-09-22T21:00:00+02:00"
|
||||
assert stunden[-1]["beginn"] == "2026-09-23T20:00:00+02:00"
|
||||
assert stunden[0]["je_absender"] == {"NerdQuiz auf Arcane": 1}
|
||||
assert stunden[3]["je_absender"] == {"Lucy und OpenChamber über MC2": 1}
|
||||
assert stunden[-1]["je_absender"] == {"NerdQuiz auf Arcane": 1}
|
||||
|
||||
|
||||
def test_stunden_ueber_die_zeitumstellung():
|
||||
"""Am 25.10.2026 gibt es 02:00 zweimal — die Stunden bleiben 24 echte Stunden."""
|
||||
d = modell_nutzung.werte_aus([], datetime.fromisoformat("2026-10-25T12:30:00+01:00"), NAMEN)
|
||||
beginne = [s["beginn"] for s in d["stunden"]]
|
||||
assert beginne[0] == "2026-10-24T14:00:00+02:00"
|
||||
assert "2026-10-25T02:00:00+02:00" in beginne and "2026-10-25T02:00:00+01:00" in beginne
|
||||
assert beginne[-1] == "2026-10-25T12:00:00+01:00"
|
||||
|
||||
|
||||
def test_ladevorgaenge_je_modell_neueste_zuerst():
|
||||
geladen = "box llama-swap[1]: [INFO] <{}> Health check passed on http://localhost:5804/health"
|
||||
zeilen = [
|
||||
f"2026-09-20T06:09:02+02:00 {geladen.format('Qwen3.6-35B-A3B')}",
|
||||
f"2026-09-21T14:57:07+02:00 {geladen.format('Qwen3-VL-30B-A3B-Instruct')}",
|
||||
f"2026-09-23T11:25:09+02:00 {geladen.format('Qwen3.6-35B-A3B')}",
|
||||
f"2026-09-23T11:25:46+02:00 {geladen.format('Qwen3.6-35B-A3B')}",
|
||||
f"2026-09-10T11:25:46+02:00 {geladen.format('Altes-Modell')}", # vor dem Fenster
|
||||
]
|
||||
d = modell_nutzung.werte_aus(zeilen, JETZT, NAMEN)
|
||||
assert d["ladevorgaenge"] == [
|
||||
{"modell": "Qwen3.6-35B-A3B", "anzahl": 3,
|
||||
"zeiten": ["2026-09-23T11:25:46+02:00", "2026-09-23T11:25:09+02:00", "2026-09-20T06:09:02+02:00"]},
|
||||
{"modell": "Qwen3-VL-30B-A3B-Instruct", "anzahl": 1, "zeiten": ["2026-09-21T14:57:07+02:00"]},
|
||||
]
|
||||
assert d["zuletzt_geladen"] == {"Qwen3.6-35B-A3B": "2026-09-23T11:25:46+02:00",
|
||||
"Qwen3-VL-30B-A3B-Instruct": "2026-09-21T14:57:07+02:00"}
|
||||
|
||||
Reference in New Issue
Block a user