From 88ec8b912144e163e7ce0bb8b4f3ab2ba2c12c30 Mon Sep 17 00:00:00 2001 From: Hitonabi Date: Tue, 7 Jul 2026 22:21:57 +0200 Subject: [PATCH] Rollen-Ausbau: kritiker (GLM-4.7-Flash) + Gedaechtnis-Reranker (Qwen3-Reranker-0.6B) MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Ergebnis des Rollen-Audits 07.07. (User: 'das beste, aber sinnvollste'): (1) KRITIKER: fremdblick-Prosa + Chef-Gutachter-Vertretung liefen auf der 9B-Vision-GLM, obwohl es reine Text-Jobs sind. Neu: GLM-4.7-Flash (30B-A3B, MIT, Unsloth UD-Q4_K_XL, 17,5 GB, on-demand ttl 600, Alias 'kritiker'). Gleicher Fremd-Vendor wie bisher -> die 'andere Brille' des Kritiker-Konzepts bleibt. 4.6V-Flash bleibt scout (Bild-Jobs). (2) RERANKER (die eine echte Rollen-Luecke): Mem0-Suche war reine Vektor-Aehnlichkeit. Neu: Qwen3-Reranker-0.6B (q8_0, Mungert-GGUF — Community-Konvertierungen liefern bekannt Nullscores) via llama-swap /v1/rerank ordnet die Top-20 Kandidaten nach echter Relevanz um. NUR die Reihenfolge aendert sich: score bleibt Vektor-Score (Hermes- Plugin-Filter RECALL_MIN_SCORE bleibt kalibriert), rerank_score kommt als neues Feld dazu; jeder Fehler -> lautlos Vektor-Reihenfolge. Env: MC_RERANK_ENABLED/_URL/_MODEL/_TIMEOUT/_CANDIDATES. In brains (verdraengungssicher, ~0,7 GB). Co-Authored-By: Claude Fable 5 --- deploy/chef-gutachter-feed.sh | 2 +- deploy/fremdblick.sh | 7 +++--- deploy/llama-swap.config.yaml | 25 +++++++++++++++++++++ mem0_service/app.py | 41 +++++++++++++++++++++++++++++++++++ 4 files changed, 71 insertions(+), 4 deletions(-) diff --git a/deploy/chef-gutachter-feed.sh b/deploy/chef-gutachter-feed.sh index 636cf28..f665b60 100644 --- a/deploy/chef-gutachter-feed.sh +++ b/deploy/chef-gutachter-feed.sh @@ -11,7 +11,7 @@ set -uo pipefail ENDPOINT="${CHEF_ENDPOINT:-http://127.0.0.1:8080/v1/chat/completions}" CHEF="${CHEF_MODEL:-gpt-oss-120b}" -VERTRETUNG="${CHEF_FALLBACK:-GLM-4.6V-Flash}" +VERTRETUNG="${CHEF_FALLBACK:-GLM-4.7-Flash}" MC="$HOME/mission-control-v2" VAULT="$HOME/wissens-vault" diff --git a/deploy/fremdblick.sh b/deploy/fremdblick.sh index bfff6f5..345d675 100644 --- a/deploy/fremdblick.sh +++ b/deploy/fremdblick.sh @@ -1,6 +1,7 @@ #!/usr/bin/env bash -# Fremdblick — Ein-Schuss-Zweitmeinung von einem ANDEREN Modell (Default: GLM-4.6V-Flash, andere -# Modell-FAMILIE/Vendor als das Qwen-Worker-Hirn → echte „andere Brille"). Eine EINZELNE +# Fremdblick — Ein-Schuss-Zweitmeinung von einem ANDEREN Modell (Default seit 07.07.: +# GLM-4.7-Flash, 30B-A3B Text — klar stärkerer Kritiker als die 9B-Vision-Schwester 4.6V, +# gleicher Fremd-Vendor wie zuvor → echte „andere Brille" bleibt). Eine EINZELNE # Completion — kein agentischer Subagent — umgeht Hermes' 64K-Delegations-Floor # (MINIMUM_CONTEXT_LENGTH) UND das 60-GB-Ladeproblem von gpt-oss (das mit dem Warm-Set kollidiert # und „exited prematurely" wirft). GLM lädt klein neben dem Warm-Set und antwortet zuverlässig. @@ -37,7 +38,7 @@ if [ "$MODE" = "code" ]; then MAXTOK="${FREMDBLICK_MAXTOK:-1600}" SYS="${FREMDBLICK_SYS:-$CODE_SYS}" else - MODEL="${FREMDBLICK_MODEL:-GLM-4.6V-Flash}" + MODEL="${FREMDBLICK_MODEL:-GLM-4.7-Flash}" MAXTOK="${FREMDBLICK_MAXTOK:-2200}" SYS="${FREMDBLICK_SYS:-$PROSE_SYS}" fi diff --git a/deploy/llama-swap.config.yaml b/deploy/llama-swap.config.yaml index 9a4280a..7e87f46 100644 --- a/deploy/llama-swap.config.yaml +++ b/deploy/llama-swap.config.yaml @@ -77,6 +77,30 @@ models: out: [text] tools: true context: 131072 + GLM-4.7-Flash: + # KRITIKER (07.07., Rollen-Audit): Fremd-Vendor-Zweitmeinung für fremdblick-Prosa + + # Chef-Gutachter-Vertretung — reines Textmodell, 30B-A3B (MIT, Unsloth-Dynamic-Quant). + # Die Vision-Schwester GLM-4.6V-Flash bleibt als scout für Bild-Jobs. --jinja ist + # Pflicht (Chat-Template, sonst kaputte Tool-Calls). + cmd: | + llama-server -m /srv/models/GLM-4.7-Flash-GGUF/GLM-4.7-Flash-UD-Q4_K_XL.gguf --host 127.0.0.1 --port ${PORT} -c 65536 -ngl 999 -fa on --no-mmap --jinja + ttl: 600 + aliases: + - kritiker + capabilities: + in: [text] + out: [text] + tools: true + context: 65536 + Qwen3-Reranker-0.6B: + # Gedächtnis-Zweitstufe (07.07., Rollen-Audit): ordnet Mem0-Suchtreffer nach echter + # Relevanz (/v1/rerank, Mungert-GGUF — Community-Konvertierungen liefern oft Nullscores!). + # Winzig (~0,7 GB) → in brains (verdrängungssicher); lädt in ~1-2 s, erste Anfrage wärmt. + cmd: | + llama-server -m /srv/models/Qwen3-Reranker-0.6B-GGUF/Qwen3-Reranker-0.6B-q8_0.gguf --host 127.0.0.1 --port ${PORT} --reranking --pooling rank --embedding -ngl 999 -fa on --no-mmap -c 8192 + ttl: 0 + aliases: + - reranker groups: brains: swap: false @@ -86,4 +110,5 @@ groups: persistent: true members: - Qwen3-Embedding-0.6B + - Qwen3-Reranker-0.6B - Qwen3.6-35B-A3B diff --git a/mem0_service/app.py b/mem0_service/app.py index 75b65b5..c8c24f5 100644 --- a/mem0_service/app.py +++ b/mem0_service/app.py @@ -46,6 +46,17 @@ API_KEY = os.environ.get("MEM0_API_KEY", "sk-local") # llama.cpp ignoriert den LLM_MAX_TOKENS = int(os.environ.get("MEM0_LLM_MAX_TOKENS", "2048")) SEARCH_TOP_K = int(os.environ.get("MEM0_SEARCH_TOP_K", "50")) +# --- Rerank-Zweitstufe (07.07.2026): Die Vektor-Suche findet ÄHNLICHES, der Reranker ordnet +# nach ECHTER Relevanz (Qwen3-Reranker via llama-swap /v1/rerank). Es ändert sich NUR die +# Reihenfolge: `score` bleibt der Vektor-Score (RECALL_MIN_SCORE im Hermes-Plugin bleibt +# kalibriert), Konsumenten, die vorne abschneiden (RECALL_LIMIT), bekommen automatisch die +# relevantesten Fakten. Jeder Fehler → lautlos Vektor-Reihenfolge (Gedächtnis bricht NIE). +RERANK_ENABLED = os.environ.get("MC_RERANK_ENABLED", "1") != "0" +RERANK_URL = os.environ.get("MC_RERANK_URL", "http://127.0.0.1:8080/v1/rerank") +RERANK_MODEL = os.environ.get("MC_RERANK_MODEL", "Qwen3-Reranker-0.6B") +RERANK_TIMEOUT = float(os.environ.get("MC_RERANK_TIMEOUT", "8")) +RERANK_CANDIDATES = int(os.environ.get("MC_RERANK_CANDIDATES", "20")) # nur die Top-N neu ordnen (Latenz) + # Kategorien = fundierte Memory-Taxonomie (semantisch/prozedural/episodisch), bewusst knapp (4). # Mem0-OSS kann nicht nativ klassifizieren (Cloud-Feature) → wir lassen das Hirn beim Lernen # einordnen (classify_facts). Die Beschreibungen steuern die Treffsicherheit der Auto-Zuordnung. @@ -195,12 +206,42 @@ def health() -> dict: raise HTTPException(503, f"mem0 nicht bereit: {exc}") +def _rerank(query: str, items: list[dict]) -> list[dict]: + """Suchtreffer nach echter Relevanz umordnen; bei jedem Fehler unverändert zurück.""" + if not (RERANK_ENABLED and len(items) > 1): + return items + try: + import httpx + r = httpx.post(RERANK_URL, json={ + "model": RERANK_MODEL, + "query": query, + "documents": [i.get("content", "") for i in items], + "top_n": len(items), + }, timeout=RERANK_TIMEOUT) + r.raise_for_status() + results = r.json().get("results") or [] + ranked = [] + for s in sorted(results, key=lambda x: x.get("relevance_score", 0.0), reverse=True): + idx = s.get("index") + if isinstance(idx, int) and 0 <= idx < len(items): + item = dict(items[idx]) + item["rerank_score"] = round(float(s.get("relevance_score", 0.0)), 4) + ranked.append(item) + # Nur übernehmen, wenn der Reranker ALLE Kandidaten bewertet hat (sonst Verlustgefahr). + return ranked if len(ranked) == len(items) else items + except Exception as exc: # noqa: BLE001 — Gedächtnis darf am Reranker nie scheitern + log.debug("rerank übersprungen: %s", exc) + return items + + @app.get("/memory") def list_memory(q: str = "", category: str = "") -> list[dict]: """q gesetzt → semantische Suche (mit Relevanz-Score). Sonst → alle Fakten.""" if q: res = mem().search(q, filters={"user_id": USER_ID}, top_k=SEARCH_TOP_K) items = [_to_item(r, r.get("score")) for r in res.get("results", [])] + # Zweitstufe: die vorderen Kandidaten nach echter Relevanz ordnen (Rest bleibt hinten dran). + items = _rerank(q, items[:RERANK_CANDIDATES]) + items[RERANK_CANDIDATES:] else: res = mem().get_all(filters={"user_id": USER_ID}, top_k=1000) items = [_to_item(r) for r in res.get("results", [])]