HitonabiandClaude Opus 5
e04ace242c
Ampel / ampel (push) Successful in 22s
Lauf A ueber Nacht: 6 Sitzungen, ~336 Nachrichten, ~360.000 Tokens, 19 Dateien gelesen - und NULL Dateien geschrieben. Das Werkzeug fuer Dateioperationen war die ganze Zeit verfuegbar, wurde nie benutzt. Der Agent lief fuenfmal in dasselbe Muster: "Ich habe jetzt das vollstaendige Bild, jetzt lese ich nur noch die restlichen Dateien, bevor ich anfange." Dann war max_turns erreicht. Sein eigenes Fazit: "Iterationslimit erreicht, bevor ich die erste Zeile geaendert habe." Wichtigste Erkenntnis: das ist KEIN Tempo-Problem. Mit einem schnelleren Modell waere derselbe Lauf genauso gescheitert, nur frueher. Darum kommen A2 (Arbeitsanweisung) und D (reasoning low) jetzt VOR den Modellwechseln B und C. Neu: Arbeitsanweisung ganz oben - hoechstens zwei Dateien lesen, bevor die erste geaendert wird. Dazu agent.max_turns 40 -> 80 im coder-Profil. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
134 lines
7.0 KiB
Markdown
134 lines
7.0 KiB
Markdown
# Referenzaufgabe: Mem0-Sidecar restlos ausbauen
|
||
|
||
> **Zweck dieser Datei:** Messlatte für den Stack-Umbau (Stufe 2, 20.08.2026). Dieselbe Aufgabe wird
|
||
> mehrfach mit verschiedenen Modellen gefahren. Gemessen wird **nicht** Tokens pro Sekunde, sondern:
|
||
> *Wurde sie fertig? Wie lange? Wie viele Züge?*
|
||
> Alle Pfade und Befehle unten sind am 20.08.2026 auf der Box **nachgemessen**, nicht geraten.
|
||
|
||
## Hintergrund
|
||
|
||
Mem0 wurde im August abgelöst (`bf145a3`, `eb4bcfc`, `2286879`). Der Rückbau blieb unvollständig:
|
||
Der Sidecar-Ordner liegt noch im Baum, MC2 fragt weiterhin einen toten Port ab.
|
||
|
||
Gemessen: `curl http://127.0.0.1:8765/health` → **keine Antwort**. Kein systemd-Dienst dafür,
|
||
`/srv/models/mem0` bereits entfernt. Es ist also wirklich tot, nicht nur gerade aus.
|
||
|
||
## Arbeitsplatz
|
||
|
||
**Isolierter Worktree — NICHT das Live-Deployment:**
|
||
|
||
```
|
||
~/projekte/mc2-referenz Zweig: referenz/mem0-ausbau
|
||
```
|
||
|
||
`~/mission-control-v2` bleibt auf `main` und bedient weiter den laufenden Dienst auf `:9001`.
|
||
**Dort nichts ändern.**
|
||
|
||
## ‼️ Arbeitsweise — zuerst lesen
|
||
|
||
**Arbeite Datei für Datei. Lies HÖCHSTENS zwei Dateien, bevor du die erste änderst.**
|
||
|
||
Nach jeder geänderten Datei gehst du zur nächsten. **Kein Gesamtplan, keine Vollinventur vorab** — du
|
||
darfst jederzeit nachlesen, wenn du etwas brauchst. Die Liste unten ist eine Landkarte, keine
|
||
Leseliste.
|
||
|
||
*Warum das hier so deutlich steht:* Im ersten Anlauf (20.08., über Nacht) hat der Agent in sechs
|
||
Sitzungen ~336 Nachrichten und ~360.000 Tokens verbraucht, 19 Dateien gelesen — und **nicht eine
|
||
einzige Zeile geändert**. Er lief fünfmal in dasselbe Muster: „Ich habe jetzt das vollständige Bild,
|
||
jetzt lese ich nur noch die restlichen Dateien, *bevor ich anfange*." Dann war das Zug-Limit
|
||
erreicht. Sein eigenes Fazit: *„Iterationslimit erreicht, bevor ich die erste Zeile geändert habe."*
|
||
|
||
Eine halbfertige Änderung ist wertvoller als eine vollständige Analyse ohne Änderung.
|
||
|
||
## Auftrag
|
||
|
||
Entferne die Mem0-Reste vollständig, ohne etwas anderes kaputtzumachen.
|
||
|
||
**17 Dateien haben Treffer** (gemessen 20.08., selbst nachprüfen statt blind vertrauen):
|
||
|
||
```
|
||
backend/steward.py deploy/stack-postcheck.sh
|
||
backend/config.py deploy/venv-audit.sh
|
||
backend/routers/voice.py deploy/agent-hooks/box-steckbrief-inject.sh
|
||
backend/routers/system.py deploy/warmup.sh
|
||
backend/routers/zeitmaschine.py deploy/autoupdate.sh
|
||
backend/services/sentry.py deploy/hermes-postcheck.sh
|
||
backend/services/voice_metrics.py deploy/restore.sh
|
||
backend/services/backup.py deploy/backup.sh
|
||
mcp/mcp_mc.py
|
||
```
|
||
|
||
Dazu der Ordner `mem0_service/` (app.py, migrate.py, requirements.txt, smoke_test.py).
|
||
|
||
> ‼️ **Der eigentliche Prüfstein:** Wenn eine API-Antwort ein Feld wie `mem0_reachable` liefert, das
|
||
> das Frontend liest, darf es nicht einfach verschwinden — sonst bricht die Oberfläche. Entweder das
|
||
> Frontend mit anpassen oder das Feld sauber entfernen. Wer nur `grep mem0` laufen lässt und alles
|
||
> wegwirft, produziert eine Fassade.
|
||
|
||
## Fertig-Kriterien
|
||
|
||
Ausgangswert am 20.08.: **1, 2, 4, 5 sind bereits grün** — sie sind Schutzgeländer, nicht die Arbeit.
|
||
Nur Kriterium 3 ist offen. Wer 3 erfüllt und dabei 1/2/4/5 kaputtmacht, hat versagt.
|
||
|
||
| # | Prüfung | Befehl | Ausgangswert |
|
||
|---|---|---|---|
|
||
| 1 | Lint sauber | `cd ~/projekte/mc2-referenz && ~/.venv-lint/bin/ruff check .` | ✅ *All checks passed* |
|
||
| 2 | Backend lädt | `cd ~/projekte/mc2-referenz/backend && ~/mission-control-v2/backend/.venv/bin/python -c "import app"` | ✅ ok |
|
||
| 3 | **keine mem0-Reste** | `cd ~/projekte/mc2-referenz && grep -ril mem0 backend/ mcp/ deploy/ --include='*.py' --include='*.sh' \| wc -l` | ❌ **17** → muss **0** werden |
|
||
| 4 | Selbsttest grün | `bash ~/mission-control-v2/deploy/self-smoke.sh` | ✅ grün |
|
||
| 5 | MC2 gesund | `curl -s localhost:9001/api/health` | ✅ `"status":"ok"` |
|
||
|
||
Treffer in `docs/` sind erlaubt — das ist Historie und darf stehenbleiben.
|
||
|
||
Selbstprüfung mit einem Befehl:
|
||
|
||
```bash
|
||
bash ~/projekte/mc2-referenz/docs/aufgaben/referenz-check.sh
|
||
```
|
||
|
||
> Der Prüfbefehl liegt bewusst unter `docs/aufgaben/` und **nicht** unter `deploy/`. Im ersten Anlauf
|
||
> lag er in `deploy/`, enthielt selbst siebenmal das Wort „mem0" (er sucht ja danach) und zählte sich
|
||
> damit in Kriterium 3 mit — das Kriterium war unerfüllbar. In `docs/` wird er nicht durchsucht.
|
||
|
||
## Randbedingungen
|
||
|
||
- ‼️ **In einer FRISCHEN Sitzung starten**, nicht in einer fortgesetzten. Beim ersten Anlauf hat der
|
||
Desktop eine Sitzung vom Vortag weitergeführt und deren Kontext mitgeschleppt — die Messung war
|
||
dadurch wertlos. Im Desktop also einen **neuen Chat** anlegen, nicht den alten öffnen.
|
||
- **Nicht pushen.** Der Zweig bleibt lokal, damit der Lauf wiederholbar ist.
|
||
- **Nichts außerhalb des Worktrees anfassen** — kein `/etc`, keine systemd-Dienste, kein Neustart.
|
||
- Wenn ein Kriterium nicht erfüllbar ist: **ehrlich sagen und aufhören.** Ein klares
|
||
„Kriterium 3 scheitert an X" ist wertvoller als ein beschönigter Abschluss.
|
||
|
||
## Zurücksetzen zwischen den Läufen
|
||
|
||
```bash
|
||
cd ~/mission-control-v2
|
||
git worktree remove --force ~/projekte/mc2-referenz
|
||
git branch -D referenz/mem0-ausbau
|
||
git worktree add -b referenz/mem0-ausbau ~/projekte/mc2-referenz main
|
||
```
|
||
|
||
## Messprotokoll
|
||
|
||
| Lauf | Aufbau | Fertig? | Wanduhr | Züge | Bemerkung |
|
||
|---|---|---|---|---|---|
|
||
| — | *Fehlversuch 20.08. 21:10* | ✗ | 76 min, abgebrochen | 8 | Kriterium 3 unerfüllbar + fortgesetzte Alt-Sitzung. **Verwertbar trotzdem:** 19.899 Ausgabe-Tokens, davon nur ~2.600 Zeichen sichtbar → **>95 % unsichtbares Nachdenken**. Kompression feuerte bereits. |
|
||
| **A** | Qwen3.8-27B, `medium`, `max_turns: 40`, ohne Arbeitsanweisung | ✗ | über Nacht | 6 Sitzungen, ~336 Nachrichten | **0 Dateien geschrieben.** Analyse-Schleife, Zug-Limit erreicht. Werkzeug `file` war die ganze Zeit verfügbar, wurde nie benutzt. ~360k Tokens. Inhaltlich gut: fand `mem0_ms` im Frontend **und** einen toten `memory_svc`-Import in `steward.py`. |
|
||
| **A2** | dasselbe, **+ Arbeitsanweisung oben**, `max_turns: 80` | | | | ← **als Nächstes.** Prüft, ob die Schleife am Auftrag lag |
|
||
| D | Qwen3.8-27B, `reasoning_effort: low` | | | | Nächster Hebel, falls A2 auch nur liest |
|
||
| B | Qwen3.8-27B **+ DFlash-2** | | | | Entwurfsmodell liegt bereit |
|
||
| C | Qwen3.6-35B-A3B (`fast`, 95,7 t/s) | | | | SWE-bench 73,4 |
|
||
|
||
> ★★ **Die Lehre aus Lauf A:** Das ist **kein Tempo-Problem.** Mit 95 t/s statt 12,6 wäre derselbe
|
||
> Lauf genauso gescheitert — nur schneller. Deshalb kommen A2 und D **vor** den Modellwechseln B und C.
|
||
|
||
### Was der Fehlversuch schon gezeigt hat
|
||
|
||
Pro Zug erzeugte das Modell ~2.487 Tokens, sichtbar wurden davon 181–451 Zeichen. Bei 12,6 t/s sind
|
||
das ~26 Minuten reine Erzeugung für ~2.600 Zeichen Text. **Der Engpass ist Denk-Aufwand × Bandbreite,
|
||
nicht das Harness.** Darum Lauf D vor B und C: er prüft den billigsten Hebel zuerst.
|
||
|
||
Inhaltlich war das Modell gut — es fand von selbst den Prüfstein (`mem0_ms` → `memory_ms` im Frontend),
|
||
statt blind zu löschen.
|