A · Agent filesystem-native
Baseline forte avec fichiers, recherche, shell/tools et liberté d’organiser ou réécrire l’information persistante.
research://memorybench
SymbioRAP MemoryBench
An architecture-neutral benchmark for persistent agent memory: measure continuity, temporal correctness, adaptation, latency and cost without rewarding one storage design by construction.
RESEARCHPUBLIÉ · v1.0.0-m14
research://thesis
A memory benchmark is only useful if strong non-memory baselines are allowed to compete.
MemoryBench avoids a weak “chat history vs memory product” comparison. The benchmark gives a best-of-breed filesystem-native agent real tools to search, organize, rewrite and consolidate its own persistent workspace, then compares that baseline with SynapseFS and SynapseFS + SymbioRAP Memory under matched model, information and compute conditions.
focus://memorybench
Axes de recherche
B · Agent SynapseFS
Mêmes conditions avec persistance déterministe, identités stables et sémantique evidence/version.
C · SynapseFS + Memory
Ajoute mémoire épisodique/sémantique, temporal graph, consolidation et context selection avec provenance.
Conditions appariées
Modèle, accès à l’information, tâches et compute budget sont contrôlés pour isoler l’effet architectural.
architecture://working-model
Les dimensions du benchmark couvrent qualité, temps et coût opérationnel.
Le protocole vise à révéler les trade-offs plutôt qu’à produire un score unique flatteur. Il mesure si une architecture reste correcte dans le temps, s’adapte aux faits modifiés, récupère la bonne evidence et le fait avec une latence et un budget token/compute pratiques.
Accuracy
Réponses correctes et bon usage de l’evidence sur horizons courts et longs.
Temporal consistency
Gestion correcte des faits remplacés, préférences modifiées et états dépendants du temps.
Adaptation
Capacité à réviser le comportement quand une nouvelle evidence contredit des hypothèses antérieures.
Latency & coût
Overhead retrieval/consolidation, tokens et compute nécessaires au maintien de la qualité mémoire.
publication://m14
Des preuves benchmark ouvertes, pas un classement
MemoryBench v1.0.0-m14 publishes the benchmark method, comparator sources, normalized reference evidence and a machine-readable claim matrix. Windows and Linux are treated as separate test populations; unlike semantic classes are not collapsed into a single winner score.
PUBLIÉ · v1.0.0-m14
evidence://reference
Preuves de référence publiées
Promotion evidence is retained with negative results and variance. These measurements describe the tested hosts and configurations, not universal hardware or product rankings.
| Population | H6 ingest | H6 query | H8 · 1 worker | H8 · 32 workers |
|---|---|---|---|---|
| Windows x64 | 154.78 ops/s CV 37.70% | 1758.49 q/s CV 8.73% | 264.00 ops/s | 749.48 ops/s CV 1.45% |
| Linux ARM64 | 137.71 ops/s CV 4.67% | 551.55 q/s CV 15.91% | 129.13 ops/s | 1143.26 ops/s CV 15.77% |
SQLite
Windows 3.53.4 · 1132.88 ops/s · PASS
Linux 3.45.1 · 1304.90 ops/s · PASS
RocksDB
Windows 11.8.1 · 1175.84 ops/s · PASS
Linux 8.9.1 · 866.83 ops/s · PASS
FAISS
Windows 1.14.3 · default NEGATIVE RESULT
Linux 1.14.1 · 180.95 q/s · PASS
SQLite and RocksDB are matched durable single-key KV comparators. FAISS is retrieval-only. Their throughput values are not semantically equivalent to full Memory Engine ingest.
FAISS default correctness passed on the tested Linux configuration. The tested Windows default configuration retained transient retrieval failures; a separately labeled Windows single-thread diagnostic passed. This is published as configuration-specific evidence, not as a general claim about FAISS.
open://reproduce
Reproduire et auditer le benchmark
The public repository contains frozen workload definitions, the neutral adapter contract, SQLite/RocksDB/FAISS comparator sources, verification tooling, methodology and M14 reference results. The proprietary SynapseFS / SymbioRAP Memory Engine implementation is not published.
claims://boundary
Ce que M14 établit — et ce qu’il n’établit pas
Supported by the frozen evidence
- 58/58 native Windows correctness tests and 62/62 native Linux correctness tests passed.
- 100/100 abrupt-termination recovery runs passed on each tested platform.
- H6 task accuracy remained 1.0 across all promotion repetitions.
- At 32 workers, median physical WAL syncs per ingest fell below the fixed four WAL records per ingest, showing measured group batching on both tested hosts.
- Genuine SQLite and RocksDB durable-KV comparator runs completed with correctness PASS on both tested platforms.
Not supported by this publication
- No claim that SymbioRAP or SynapseFS is universally faster than SQLite or RocksDB.
- No claim that the Memory Engine is faster than FAISS; FAISS is retrieval-only.
- No Windows-versus-Linux performance ranking; the hosts and external-library versions differ.
- No universal “best-of-breed” claim from these two reference machines.
research://questions
Questions de recherche ouvertes
Quelles tâches exigent réellement une couche Memory dédiée plutôt qu’une organisation filesystem disciplinée ?
Quel gain vient de la seule sémantique de persistance avant d’ajouter la mémoire sémantique ?
Quelles politiques de consolidation améliorent la précision long-horizon sans créer une mémoire obsolète ou trop sûre ?
Comment rendre les tâches de benchmark résistantes à la memorization du modèle et aux raccourcis spécifiques d’architecture ?
status://research
Recherche SymbioRAP
Les éléments décrits sont des orientations de recherche et d’implémentation, pas des fonctionnalités produit garanties.
connect://research
Contribuer à l’architecture de recherche
Avec des partenaires de recherche, de financement et de technologie, nous partageons questions d’architecture, conception des benchmarks et états techniques dans un échange qualifié.
Prochaine étape utile
Parlez-nous de votre idée – quelques points suffisent.
Vous n’avez pas besoin de définir la solution technique. Décrivez ce que vous souhaitez créer ou améliorer ; nous évaluons faisabilité, premier périmètre et prochaines étapes.
Faire évaluer l’idée gratuitement
Quatre champs suffisent. Vous recevrez une réponse concrète sur la meilleure façon de commencer petit puis d’étendre.