A · Agente filesystem-native
Baseline forte con file, ricerca, shell/tools e libertà di organizzare o riscrivere informazioni persistenti.
research://memorybench
SymbioRAP MemoryBench
An architecture-neutral benchmark for persistent agent memory: measure continuity, temporal correctness, adaptation, latency and cost without rewarding one storage design by construction.
RESEARCHPUBBLICATO · v1.0.0-m14
research://thesis
A memory benchmark is only useful if strong non-memory baselines are allowed to compete.
MemoryBench avoids a weak “chat history vs memory product” comparison. The benchmark gives a best-of-breed filesystem-native agent real tools to search, organize, rewrite and consolidate its own persistent workspace, then compares that baseline with SynapseFS and SynapseFS + SymbioRAP Memory under matched model, information and compute conditions.
focus://memorybench
Direzioni di ricerca
B · Agente SynapseFS
Stesse condizioni con persistenza deterministica, identità stabili e semantica evidence/versioni.
C · SynapseFS + Memory
Aggiunge memoria episodica/semantica, temporal graph, consolidamento e context selection con provenance.
Condizioni equivalenti
Modello, accesso alle informazioni, task e compute budget sono controllati per rendere interpretabile l’effetto architetturale.
architecture://working-model
Le dimensioni del benchmark coprono qualità, tempo e costo operativo.
Il protocollo mira a mostrare trade-off, non a produrre un unico score favorevole. Misura se un’architettura resta corretta nel tempo, si adatta a fatti cambiati, recupera l’evidence giusta e lo fa con latency e budget token/compute pratici.
Accuracy
Risposte corrette e uso dell’evidence su orizzonti brevi e lunghi.
Temporal consistency
Gestione corretta di fatti sostituiti, preferenze cambiate e stato dipendente dal tempo.
Adaptation
Capacità di rivedere il comportamento quando nuova evidence contraddice ipotesi precedenti.
Latency & costo
Overhead di retrieval/consolidation, token e compute necessari a mantenere la qualità della memoria.
publication://m14
Evidenza benchmark aperta, non una classifica
MemoryBench v1.0.0-m14 publishes the benchmark method, comparator sources, normalized reference evidence and a machine-readable claim matrix. Windows and Linux are treated as separate test populations; unlike semantic classes are not collapsed into a single winner score.
PUBBLICATO · v1.0.0-m14
evidence://reference
Evidenza di riferimento pubblicata
Promotion evidence is retained with negative results and variance. These measurements describe the tested hosts and configurations, not universal hardware or product rankings.
| Population | H6 ingest | H6 query | H8 · 1 worker | H8 · 32 workers |
|---|---|---|---|---|
| Windows x64 | 154.78 ops/s CV 37.70% | 1758.49 q/s CV 8.73% | 264.00 ops/s | 749.48 ops/s CV 1.45% |
| Linux ARM64 | 137.71 ops/s CV 4.67% | 551.55 q/s CV 15.91% | 129.13 ops/s | 1143.26 ops/s CV 15.77% |
SQLite
Windows 3.53.4 · 1132.88 ops/s · PASS
Linux 3.45.1 · 1304.90 ops/s · PASS
RocksDB
Windows 11.8.1 · 1175.84 ops/s · PASS
Linux 8.9.1 · 866.83 ops/s · PASS
FAISS
Windows 1.14.3 · default NEGATIVE RESULT
Linux 1.14.1 · 180.95 q/s · PASS
SQLite and RocksDB are matched durable single-key KV comparators. FAISS is retrieval-only. Their throughput values are not semantically equivalent to full Memory Engine ingest.
FAISS default correctness passed on the tested Linux configuration. The tested Windows default configuration retained transient retrieval failures; a separately labeled Windows single-thread diagnostic passed. This is published as configuration-specific evidence, not as a general claim about FAISS.
open://reproduce
Riprodurre e verificare il benchmark
The public repository contains frozen workload definitions, the neutral adapter contract, SQLite/RocksDB/FAISS comparator sources, verification tooling, methodology and M14 reference results. The proprietary SynapseFS / SymbioRAP Memory Engine implementation is not published.
claims://boundary
Cosa supporta M14 — e cosa no
Supported by the frozen evidence
- 58/58 native Windows correctness tests and 62/62 native Linux correctness tests passed.
- 100/100 abrupt-termination recovery runs passed on each tested platform.
- H6 task accuracy remained 1.0 across all promotion repetitions.
- At 32 workers, median physical WAL syncs per ingest fell below the fixed four WAL records per ingest, showing measured group batching on both tested hosts.
- Genuine SQLite and RocksDB durable-KV comparator runs completed with correctness PASS on both tested platforms.
Not supported by this publication
- No claim that SymbioRAP or SynapseFS is universally faster than SQLite or RocksDB.
- No claim that the Memory Engine is faster than FAISS; FAISS is retrieval-only.
- No Windows-versus-Linux performance ranking; the hosts and external-library versions differ.
- No universal “best-of-breed” claim from these two reference machines.
research://questions
Domande di ricerca aperte
Quali task richiedono davvero un livello Memory dedicato invece di una buona organizzazione filesystem?
Quanto miglioramento deriva dalla sola semantica di persistenza prima di aggiungere memoria semantica?
Quali policy di consolidamento migliorano l’accuracy long-horizon senza creare memoria stale o troppo sicura?
Come rendere i task di benchmark resistenti a memorization del modello e shortcut specifici dell’architettura?
status://research
Ricerca SymbioRAP
I punti descritti sono direzioni di ricerca e implementazione, non promesse di funzionalità prodotto finite.
connect://research
Collaborare all’architettura di ricerca
Con partner di ricerca, finanziamento e tecnologia condividiamo questioni architetturali, design dei benchmark e stati tecnici in un confronto qualificato.
Prossimo passo utile
Raccontaci la tua idea: bastano pochi punti.
Non devi definire la soluzione tecnica. Descrivi cosa vuoi creare o migliorare e valuteremo fattibilità, primo ambito e passi successivi.
Valuta gratuitamente l’idea
Quattro campi bastano. Riceverai una risposta concreta su come partire in piccolo e ampliare poi il progetto.