A · Filesystem-native Agent
Starke Baseline mit Dateien, Suche, Shell/Tools und Freiheit, persistente Informationen selbst zu organisieren oder umzuschreiben.
research://memorybench
SymbioRAP MemoryBench
Ein architekturneutraler Benchmark für persistentes Agentengedächtnis: Kontinuität, zeitliche Korrektheit, Anpassung, Latenz und Kosten messen, ohne eine Speicherarchitektur konstruktiv zu bevorzugen.
RESEARCHVERÖFFENTLICHT · v1.0.0-m14
research://thesis
Ein Memory-Benchmark ist nur sinnvoll, wenn starke Nicht-Memory-Baselines wirklich konkurrieren dürfen.
MemoryBench vermeidet den schwachen Vergleich „Chat-Historie gegen Memory-Produkt“. Ein best-of-breed filesystem-native Agent darf Dateien durchsuchen, organisieren, umschreiben und konsolidieren. Diese starke Baseline wird mit SynapseFS sowie SynapseFS + SymbioRAP Memory unter gleichem Modell, Informationszugang und Compute-Budget verglichen.
focus://memorybench
Forschungsschwerpunkte
B · SynapseFS Agent
Gleiche Agentenbedingungen mit deterministischer Persistenz, stabilen Identitäten sowie Evidenz- und Versionssemantik.
C · SynapseFS + Memory
Ergänzt episodisches/semantisches Gedächtnis, Temporal Graph, Konsolidierung und provenance-basierte Kontextauswahl.
Gleiche Bedingungen
Modell, Informationszugang, Tasks und Compute-Budget werden kontrolliert, damit Architektureffekte interpretierbar bleiben.
architecture://working-model
Benchmark-Dimensionen umfassen Qualität, Zeitverhalten und Betriebskosten.
Das Protokoll soll Trade-offs sichtbar machen statt einen einzigen schmeichelhaften Score zu erzeugen. Gemessen wird, ob eine Architektur über lange Zeit korrekt bleibt, geänderte Fakten verarbeitet, passende Evidenz findet und dies mit praktikabler Latenz sowie Token-/Compute-Kosten erreicht.
Accuracy
Korrekte Aufgabenantworten und Evidenznutzung über kurze und lange Zeithorizonte.
Temporal Consistency
Korrekte Behandlung abgelöster Fakten, geänderter Präferenzen und zeitabhängigen Zustands.
Adaptation
Fähigkeit, Verhalten zu revidieren, wenn neue Evidenz früheren Annahmen widerspricht.
Latency & Cost
Retrieval-/Konsolidierungsaufwand, Tokenverbrauch und Compute für stabile Gedächtnisqualität.
publication://m14
Offene Benchmark-Evidenz statt Leaderboard
MemoryBench v1.0.0-m14 veröffentlicht Benchmark-Methode, Comparator-Quellen, normalisierte Referenz-Evidenz und eine maschinenlesbare Claim-Matrix. Windows und Linux werden als getrennte Testpopulationen behandelt; unterschiedliche semantische Klassen werden nicht zu einem künstlichen Sieger-Score zusammengezogen.
VERÖFFENTLICHT · v1.0.0-m14
evidence://reference
Veröffentlichte Referenz-Evidenz
Die Promotion-Evidenz behält negative Ergebnisse und Varianz bei. Die Messungen gelten für die getesteten Hosts und Konfigurationen, nicht als universelles Hardware- oder Produktranking.
| Population | H6 ingest | H6 query | H8 · 1 worker | H8 · 32 workers |
|---|---|---|---|---|
| Windows x64 | 154.78 ops/s CV 37.70% | 1758.49 q/s CV 8.73% | 264.00 ops/s | 749.48 ops/s CV 1.45% |
| Linux ARM64 | 137.71 ops/s CV 4.67% | 551.55 q/s CV 15.91% | 129.13 ops/s | 1143.26 ops/s CV 15.77% |
SQLite
Windows 3.53.4 · 1132.88 ops/s · PASS
Linux 3.45.1 · 1304.90 ops/s · PASS
RocksDB
Windows 11.8.1 · 1175.84 ops/s · PASS
Linux 8.9.1 · 866.83 ops/s · PASS
FAISS
Windows 1.14.3 · default NEGATIVE RESULT
Linux 1.14.1 · 180.95 q/s · PASS
SQLite und RocksDB sind matched durable Single-Key-KV-Comparatoren. FAISS ist retrieval-only. Deren Durchsatzwerte sind semantisch nicht mit vollständigem Memory-Engine-Ingest gleichzusetzen.
FAISS Default bestand die Correctness auf der getesteten Linux-Konfiguration. Die getestete Windows-Default-Konfiguration behielt transiente Retrieval-Fehler; ein separat ausgewiesener Windows-Single-Thread-Diagnostic bestand. Das wird als konfigurationsspezifische Evidenz veröffentlicht, nicht als allgemeine Aussage über FAISS.
open://reproduce
Benchmark reproduzieren und auditieren
Das öffentliche Repository enthält eingefrorene Workload-Definitionen, den neutralen Adaptervertrag, SQLite-/RocksDB-/FAISS-Comparator-Quellen, Verifikationswerkzeuge, Methodik und M14-Referenzergebnisse. Der proprietäre SynapseFS-/SymbioRAP-Memory-Engine-Core wird nicht veröffentlicht.
claims://boundary
Was M14 belegt — und was nicht
Durch eingefrorene Evidenz gestützt
- 58/58 native Windows-Korrektheitstests und 62/62 native Linux-Korrektheitstests bestanden.
- 100/100 Abrupt-Termination-Recovery-Runs bestanden auf jeder getesteten Plattform.
- H6 Task Accuracy blieb in allen Promotion-Repetitionen bei 1,0.
- Bei 32 Workern lagen die medianen physischen WAL-Syncs pro Ingest unter den konstant vier WAL-Records pro Ingest; Group Batching wurde auf beiden Hosts gemessen.
- Echte SQLite- und RocksDB-Durable-KV-Comparator-Läufe schlossen auf beiden Plattformen mit Correctness PASS ab.
Von dieser Veröffentlichung nicht gestützt
- Keine Aussage, dass SymbioRAP oder SynapseFS universell schneller als SQLite oder RocksDB ist.
- Keine Aussage, dass die Memory Engine schneller als FAISS ist; FAISS ist retrieval-only.
- Kein Windows-vs.-Linux-Performance-Ranking; Hosts und externe Bibliotheksversionen unterscheiden sich.
- Kein universeller „Best-of-breed“-Claim aus diesen zwei Referenzmaschinen.
research://questions
Offene Forschungsfragen
Welche Tasks brauchen wirklich eine eigene Memory-Schicht statt disziplinierter Filesystem-Organisation?
Wie viel Verbesserung entsteht allein durch Persistenzsemantik, bevor semantisches Gedächtnis hinzukommt?
Welche Konsolidierungspolitiken verbessern Langzeitgenauigkeit, ohne stale oder überkonfidentes Gedächtnis zu erzeugen?
Wie müssen Benchmark-Tasks gestaltet sein, damit Modellmemorisation und architekturspezifische Shortcuts nicht dominieren?
status://research
SymbioRAP Forschung
Die dargestellten Punkte beschreiben Forschungs- und Implementierungsrichtungen. Sie sind keine Zusage fertiger Produktfunktionen.
connect://research
An der Forschungsarchitektur mitarbeiten
Für Forschungs-, Förder- und Technologiepartner teilen wir Architekturfragen, Benchmarkdesign und technische Arbeitsstände im qualifizierten Austausch.
Nächster sinnvoller Schritt
Erzählen Sie uns Ihre Idee – ein paar Stichpunkte reichen.
Sie müssen keine technische Lösung formulieren. Beschreiben Sie, was entstehen oder besser funktionieren soll. Wir ordnen Machbarkeit, sinnvollen ersten Umfang und nächste Schritte ein.
Idee kostenlos einschätzen lassen
Vier Felder reichen. Sie erhalten eine konkrete Rückmeldung dazu, wie sich Ihr Vorhaben sinnvoll klein starten und später erweitern lässt.