"""Messwerte der KI-Box mit Verlauf (Monitoring, seit 24.09.2026). Der Ereignisstrom (/api/stream) zeigt nur den Augenblick. Für den Verlauf schreibt der Steward (Rolle box, eigener Prozess, übersteht MC2-Neustarts) jede Minute zur halben Minute einen Punkt über kern/messreihen.py (Quelle „box“): cpu Mittel der Minute in % (Rechnung wie psutil.cpu_percent(interval=None), aber aus eigenen cpu_times-Ständen: psutil merkt sich den letzten Aufruf je Thread, und die Messung läuft in wechselnden Threads des Event-Loops) ram, platte Belegung in % beim Messen (platte = das Modell-Laufwerk, wie im Cockpit) gpu Mittel der Proben alle PROBE_S Sekunden in %: gpu_busy_percent zeigt nur den Augenblick, eine Probe je Minute träfe die kurzen Antworten der Modelle kaum temp_cpu/_gpu Mittel derselben Proben in °C netz_rx/_tx Bytes/s über die Minute, alle Schnittstellen außer lo tokens Prompt- plus Antwort-Tokens pro Minute (Differenz der Gesamtzähler aus services.token_stats) Ein Zähler, der kleiner wird (Neustart des Gateways, neue Token-Datei), ergibt für diese Minute keine Rate (null). GET /api/messwerte (routers/messwerte.py) liefert daraus die Reihen für 1h, 24h und 7d und den letzten Punkt. """ import asyncio import logging import os import time from collections.abc import Callable import psutil from config import MODELS_DIR from kern import messreihen from services import system, token_stats log = logging.getLogger(__name__) QUELLE = "box" REIHEN = ("cpu", "ram", "gpu", "temp_cpu", "temp_gpu", "platte", "netz_rx", "netz_tx", "tokens") # Ein Trocken- oder Probelauf neben dem echten Steward schreibt nicht mit (sonst stünden zwei Punkte je Minute da). ENABLED = (os.environ.get("MC_MESSWERTE_ENABLED", "1") != "0" and os.environ.get("MC_WAECHTER_TROCKEN", "") != "1" and os.environ.get("MC_PROBELAUF", "") != "1") PROBE_S = float(os.environ.get("MC_MESSWERTE_PROBE_S", "5")) PHASE_S = 30 # gemessen wird zur halben Minute: jeder 60-s-Schritt bekommt genau einen Punkt AKTUELL_MAX_S = 180 # älter ist der letzte Punkt nicht „aktuell“ (der Steward schreibt gerade nicht) # --- Rohwerte ------------------------------------------------------------------------------------ def _cpu_zeiten() -> tuple[float, float] | None: """(beschäftigt, gesamt) in Sekunden seit dem Start — gezählt wie psutil.cpu_percent (guest steckt in user).""" try: z = psutil.cpu_times() except Exception: return None gesamt = sum(z) - getattr(z, "guest", 0.0) - getattr(z, "guest_nice", 0.0) return gesamt - z.idle - getattr(z, "iowait", 0.0), gesamt def cpu_prozent(vorher: tuple[float, float] | None, jetzt: tuple[float, float] | None) -> float | None: if not vorher or not jetzt or jetzt[1] - vorher[1] <= 0: return None anteil = (jetzt[0] - vorher[0]) / (jetzt[1] - vorher[1]) return round(min(100.0, max(0.0, anteil * 100)), 1) def _netz() -> tuple[int, int] | None: """Empfangene und gesendete Bytes aller Schnittstellen außer lo (Gesamtzähler).""" try: zaehler = psutil.net_io_counters(pernic=True) except Exception: return None return (sum(z.bytes_recv for name, z in zaehler.items() if name != "lo"), sum(z.bytes_sent for name, z in zaehler.items() if name != "lo")) def _tokens() -> int | None: """Prompt- plus Antwort-Tokens seit Beginn der Zählung (schreibt der Gateway-Prozess).""" try: stand = token_stats.get_stats() return int(stand.get("prompt_tokens") or 0) + int(stand.get("completion_tokens") or 0) except Exception: return None def _platte() -> float | None: try: return round(psutil.disk_usage(str(MODELS_DIR) if MODELS_DIR.exists() else os.getcwd()).percent, 1) except Exception: return None def _mittel(werte: list[float]) -> float | None: return round(sum(werte) / len(werte), 1) if werte else None def _runden(wert: float | None, stellen: int | None = None) -> float | int | None: return None if wert is None else round(wert, stellen) # --- Die Minute -------------------------------------------------------------------------------------- class Messer: """Was zwischen zwei Minutenpunkten mitläuft: die Stände der Zähler und die Proben.""" def __init__(self, uhr: Callable[[], float] = time.monotonic) -> None: self._uhr = uhr self._seit = uhr() self._cpu = _cpu_zeiten() self._netz = _netz() self._tokens = _tokens() self._proben: dict[str, list[float]] = {"gpu": [], "temp_cpu": [], "temp_gpu": []} def probe(self) -> None: """GPU-Last und Temperaturen einmal ablesen (sysfs, Bruchteile einer Millisekunde).""" gpu = system._gpu_sysfs() or {} temp = system._temps() or {} for name, wert in (("gpu", gpu.get("busy_percent")), ("temp_cpu", temp.get("cpu")), ("temp_gpu", temp.get("gpu"))): if messreihen.ist_zahl(wert): self._proben[name].append(float(wert)) def punkt(self) -> dict[str, float | int | None]: """Der Punkt dieser Minute; danach beginnt die nächste.""" self.probe() jetzt = self._uhr() dt = jetzt - self._seit cpu, netz, tokens = _cpu_zeiten(), _netz(), _tokens() try: ram = round(psutil.virtual_memory().percent, 1) except Exception: ram = None tok_s = messreihen.rate(self._tokens, tokens, dt) werte = { "cpu": cpu_prozent(self._cpu, cpu), "ram": ram, "gpu": _mittel(self._proben["gpu"]), "temp_cpu": _mittel(self._proben["temp_cpu"]), "temp_gpu": _mittel(self._proben["temp_gpu"]), "platte": _platte(), "netz_rx": _runden(messreihen.rate(self._netz[0], netz[0], dt)) if self._netz and netz else None, "netz_tx": _runden(messreihen.rate(self._netz[1], netz[1], dt)) if self._netz and netz else None, "tokens": None if tok_s is None else round(tok_s * 60, 1), } self._seit, self._cpu, self._netz, self._tokens = jetzt, cpu, netz, tokens for proben in self._proben.values(): proben.clear() return werte def naechste_messung(jetzt: float) -> float: """Die nächste halbe Minute, mindestens eine Sekunde entfernt.""" ziel = jetzt - jetzt % 60 + PHASE_S return ziel if ziel > jetzt + 1 else ziel + 60 async def messwerte_loop() -> None: """Im mc2-steward (Rolle box): Proben alle PROBE_S Sekunden, ein Punkt je Minute. Fehler kosten einen Punkt, nie die Schleife.""" messer = await asyncio.to_thread(Messer) naechste = naechste_messung(time.time()) log.info("messwerte: aktiv (ein Punkt je Minute nach %s, Proben alle %ss)", messreihen.ordner(), PROBE_S) while True: await asyncio.sleep(max(0.2, min(PROBE_S, naechste - time.time()))) try: if time.time() >= naechste: werte = await asyncio.to_thread(messer.punkt) await asyncio.to_thread(messreihen.schreiben, QUELLE, werte) naechste = naechste_messung(time.time()) else: await asyncio.to_thread(messer.probe) except Exception: log.warning("messwerte: Messung fehlgeschlagen", exc_info=True) naechste = naechste_messung(time.time()) # --- Lesen (MC2-Prozess) ------------------------------------------------------------------------------- ZEITRAEUME = messreihen.ZEITRAEUME def abfrage(zeitraum: str, jetzt: float | None = None) -> dict: """Für GET /api/messwerte: {"zeitraum", "schritt_s", "reihen": {…}, "aktuell": {…}}. aktuell ist der letzte Minutenpunkt, solange er höchstens AKTUELL_MAX_S alt ist, sonst lauter null.""" jetzt = time.time() if jetzt is None else jetzt daten = messreihen.lesen(QUELLE, zeitraum, REIHEN, jetzt) letzter = messreihen.letzter_punkt(QUELLE, jetzt, AKTUELL_MAX_S) or {} return {**daten, "aktuell": {name: letzter.get(name) for name in REIHEN}}