A · Filesystem-native agent
Sterke baseline met files, search, shell/tools en vrijheid om persistente informatie zelf te organiseren of herschrijven.
research://memorybench
SymbioRAP MemoryBench
An architecture-neutral benchmark for persistent agent memory: measure continuity, temporal correctness, adaptation, latency and cost without rewarding one storage design by construction.
RESEARCHGEPUBLICEERD · v1.0.0-m14
research://thesis
A memory benchmark is only useful if strong non-memory baselines are allowed to compete.
MemoryBench avoids a weak “chat history vs memory product” comparison. The benchmark gives a best-of-breed filesystem-native agent real tools to search, organize, rewrite and consolidate its own persistent workspace, then compares that baseline with SynapseFS and SynapseFS + SymbioRAP Memory under matched model, information and compute conditions.
focus://memorybench
Onderzoeksrichtingen
B · SynapseFS-agent
Dezelfde agentcondities met deterministische persistence, stabiele identiteiten en evidence-/versiesemantiek.
C · SynapseFS + Memory
Voegt episodisch/semantisch geheugen, temporal graph, consolidatie en contextselectie met provenance toe.
Gelijke condities
Model, informatie-toegang, taken en compute budget worden gecontroleerd zodat architectuureffecten interpreteerbaar blijven.
architecture://working-model
Benchmarkdimensies omvatten kwaliteit, tijd en operationele kosten.
Het protocol moet trade-offs zichtbaar maken in plaats van één flatterende score te produceren. Het meet of een architectuur in de tijd correct blijft, zich aan gewijzigde feiten aanpast, de juiste evidence terugvindt en dat doet binnen praktische latency en token/compute-kosten.
Accuracy
Correcte taakantwoorden en evidencegebruik over korte en lange horizons.
Temporal consistency
Correct omgaan met vervangen feiten, gewijzigde voorkeuren en tijdsafhankelijke toestand.
Adaptation
Gedrag kunnen herzien wanneer nieuwe evidence eerdere aannames tegenspreekt.
Latency & cost
Retrieval/consolidation-overhead, tokengebruik en compute nodig om geheugenkwaliteit te behouden.
publication://m14
Open benchmarkbewijs, geen ranglijst
MemoryBench v1.0.0-m14 publishes the benchmark method, comparator sources, normalized reference evidence and a machine-readable claim matrix. Windows and Linux are treated as separate test populations; unlike semantic classes are not collapsed into a single winner score.
GEPUBLICEERD · v1.0.0-m14
evidence://reference
Gepubliceerde referentie-evidence
Promotion evidence is retained with negative results and variance. These measurements describe the tested hosts and configurations, not universal hardware or product rankings.
| Population | H6 ingest | H6 query | H8 · 1 worker | H8 · 32 workers |
|---|---|---|---|---|
| Windows x64 | 154.78 ops/s CV 37.70% | 1758.49 q/s CV 8.73% | 264.00 ops/s | 749.48 ops/s CV 1.45% |
| Linux ARM64 | 137.71 ops/s CV 4.67% | 551.55 q/s CV 15.91% | 129.13 ops/s | 1143.26 ops/s CV 15.77% |
SQLite
Windows 3.53.4 · 1132.88 ops/s · PASS
Linux 3.45.1 · 1304.90 ops/s · PASS
RocksDB
Windows 11.8.1 · 1175.84 ops/s · PASS
Linux 8.9.1 · 866.83 ops/s · PASS
FAISS
Windows 1.14.3 · default NEGATIVE RESULT
Linux 1.14.1 · 180.95 q/s · PASS
SQLite and RocksDB are matched durable single-key KV comparators. FAISS is retrieval-only. Their throughput values are not semantically equivalent to full Memory Engine ingest.
FAISS default correctness passed on the tested Linux configuration. The tested Windows default configuration retained transient retrieval failures; a separately labeled Windows single-thread diagnostic passed. This is published as configuration-specific evidence, not as a general claim about FAISS.
open://reproduce
Benchmark reproduceren en auditen
The public repository contains frozen workload definitions, the neutral adapter contract, SQLite/RocksDB/FAISS comparator sources, verification tooling, methodology and M14 reference results. The proprietary SynapseFS / SymbioRAP Memory Engine implementation is not published.
claims://boundary
Wat M14 ondersteunt — en wat niet
Supported by the frozen evidence
- 58/58 native Windows correctness tests and 62/62 native Linux correctness tests passed.
- 100/100 abrupt-termination recovery runs passed on each tested platform.
- H6 task accuracy remained 1.0 across all promotion repetitions.
- At 32 workers, median physical WAL syncs per ingest fell below the fixed four WAL records per ingest, showing measured group batching on both tested hosts.
- Genuine SQLite and RocksDB durable-KV comparator runs completed with correctness PASS on both tested platforms.
Not supported by this publication
- No claim that SymbioRAP or SynapseFS is universally faster than SQLite or RocksDB.
- No claim that the Memory Engine is faster than FAISS; FAISS is retrieval-only.
- No Windows-versus-Linux performance ranking; the hosts and external-library versions differ.
- No universal “best-of-breed” claim from these two reference machines.
research://questions
Open onderzoeksvragen
Welke taken vereisen echt een dedicated Memory-laag in plaats van gedisciplineerde filesystem-organisatie?
Hoeveel winst komt uit persistence-semantiek alleen, vóór semantisch geheugen wordt toegevoegd?
Welke consolidatiepolicies verbeteren long-horizon accuracy zonder stale of overzekere memory te creëren?
Hoe maken we benchmarktaken bestand tegen model memorization en architectuurspecifieke shortcuts?
status://research
SymbioRAP-onderzoek
De beschreven punten zijn onderzoeks- en implementatierichtingen, geen toezeggingen van voltooide productfuncties.
connect://research
Meewerken aan de onderzoeksarchitectuur
Met onderzoeks-, subsidie- en technologiepartners delen we architectuurvragen, benchmarkopzet en technische werkstanden in een gekwalificeerde uitwisseling.
Volgende zinvolle stap
Vertel ons uw idee – een paar punten zijn genoeg.
U hoeft de technische oplossing niet te bedenken. Beschrijf wat u wilt bouwen of verbeteren; wij beoordelen haalbaarheid, eerste scope en vervolgstappen.
Laat uw idee gratis beoordelen
Vier velden zijn genoeg. U krijgt een concrete reactie over hoe u klein kunt starten en later gericht kunt uitbreiden.