A · Agente filesystem-native
Baseline fuerte con archivos, búsqueda, shell/tools y libertad para organizar o reescribir información persistente.
research://memorybench
SymbioRAP MemoryBench
An architecture-neutral benchmark for persistent agent memory: measure continuity, temporal correctness, adaptation, latency and cost without rewarding one storage design by construction.
RESEARCHPUBLICADO · v1.0.0-m14
research://thesis
A memory benchmark is only useful if strong non-memory baselines are allowed to compete.
MemoryBench avoids a weak “chat history vs memory product” comparison. The benchmark gives a best-of-breed filesystem-native agent real tools to search, organize, rewrite and consolidate its own persistent workspace, then compares that baseline with SynapseFS and SynapseFS + SymbioRAP Memory under matched model, information and compute conditions.
focus://memorybench
Líneas de investigación
B · Agente SynapseFS
Mismas condiciones con persistencia determinista, identidades estables y semántica de evidencia/versiones.
C · SynapseFS + Memory
Añade memoria episódica/semántica, temporal graph, consolidación y selección de contexto con provenance.
Condiciones equivalentes
Modelo, acceso a información, tareas y compute budget se controlan para que el efecto arquitectónico sea interpretable.
architecture://working-model
Las dimensiones del benchmark cubren calidad, tiempo y coste operativo.
El protocolo busca mostrar trade-offs, no producir un único score favorable. Mide si una arquitectura sigue siendo correcta con el tiempo, se adapta a hechos cambiados, recupera la evidencia adecuada y lo hace con latencia y presupuesto token/compute prácticos.
Accuracy
Respuestas correctas y uso adecuado de evidencia a corto y largo plazo.
Temporal consistency
Manejo correcto de hechos sustituidos, preferencias cambiadas y estado dependiente del tiempo.
Adaptation
Capacidad de revisar comportamiento cuando nueva evidencia contradice supuestos anteriores.
Latency y coste
Overhead de retrieval/consolidation, tokens y compute necesarios para mantener calidad de memoria.
publication://m14
Evidencia abierta de benchmark, no un ranking
MemoryBench v1.0.0-m14 publishes the benchmark method, comparator sources, normalized reference evidence and a machine-readable claim matrix. Windows and Linux are treated as separate test populations; unlike semantic classes are not collapsed into a single winner score.
PUBLICADO · v1.0.0-m14
evidence://reference
Evidencia de referencia publicada
Promotion evidence is retained with negative results and variance. These measurements describe the tested hosts and configurations, not universal hardware or product rankings.
| Population | H6 ingest | H6 query | H8 · 1 worker | H8 · 32 workers |
|---|---|---|---|---|
| Windows x64 | 154.78 ops/s CV 37.70% | 1758.49 q/s CV 8.73% | 264.00 ops/s | 749.48 ops/s CV 1.45% |
| Linux ARM64 | 137.71 ops/s CV 4.67% | 551.55 q/s CV 15.91% | 129.13 ops/s | 1143.26 ops/s CV 15.77% |
SQLite
Windows 3.53.4 · 1132.88 ops/s · PASS
Linux 3.45.1 · 1304.90 ops/s · PASS
RocksDB
Windows 11.8.1 · 1175.84 ops/s · PASS
Linux 8.9.1 · 866.83 ops/s · PASS
FAISS
Windows 1.14.3 · default NEGATIVE RESULT
Linux 1.14.1 · 180.95 q/s · PASS
SQLite and RocksDB are matched durable single-key KV comparators. FAISS is retrieval-only. Their throughput values are not semantically equivalent to full Memory Engine ingest.
FAISS default correctness passed on the tested Linux configuration. The tested Windows default configuration retained transient retrieval failures; a separately labeled Windows single-thread diagnostic passed. This is published as configuration-specific evidence, not as a general claim about FAISS.
open://reproduce
Reproducir y auditar el benchmark
The public repository contains frozen workload definitions, the neutral adapter contract, SQLite/RocksDB/FAISS comparator sources, verification tooling, methodology and M14 reference results. The proprietary SynapseFS / SymbioRAP Memory Engine implementation is not published.
claims://boundary
Qué respalda M14 — y qué no
Supported by the frozen evidence
- 58/58 native Windows correctness tests and 62/62 native Linux correctness tests passed.
- 100/100 abrupt-termination recovery runs passed on each tested platform.
- H6 task accuracy remained 1.0 across all promotion repetitions.
- At 32 workers, median physical WAL syncs per ingest fell below the fixed four WAL records per ingest, showing measured group batching on both tested hosts.
- Genuine SQLite and RocksDB durable-KV comparator runs completed with correctness PASS on both tested platforms.
Not supported by this publication
- No claim that SymbioRAP or SynapseFS is universally faster than SQLite or RocksDB.
- No claim that the Memory Engine is faster than FAISS; FAISS is retrieval-only.
- No Windows-versus-Linux performance ranking; the hosts and external-library versions differ.
- No universal “best-of-breed” claim from these two reference machines.
research://questions
Preguntas de investigación abiertas
¿Qué tareas requieren realmente una capa Memory dedicada frente a una buena organización filesystem?
¿Cuánta mejora aporta la semántica de persistencia por sí sola antes de añadir memoria semántica?
¿Qué políticas de consolidación mejoran precisión long-horizon sin crear memoria obsoleta o excesivamente segura?
¿Cómo evitar que los benchmarks premien memorization del modelo o atajos específicos de arquitectura?
status://research
Investigación SymbioRAP
Los puntos descritos son líneas de investigación e implementación, no promesas de funciones de producto terminadas.
connect://research
Colaborar en la arquitectura de investigación
Con partners de investigación, financiación y tecnología compartimos cuestiones de arquitectura, diseño de benchmarks y estados técnicos de trabajo en un intercambio cualificado.
Siguiente paso útil
Cuéntenos su idea; unos pocos puntos son suficientes.
No necesita definir la solución técnica. Describa qué quiere crear o mejorar y evaluaremos viabilidad, primer alcance y siguientes pasos.
Evaluación gratuita de la idea
Cuatro campos bastan. Recibirá una respuesta concreta sobre cómo empezar pequeño y ampliar después.