A · Agent filesystem-native
Silna baseline z plikami, wyszukiwaniem, shell/tools i swobodą organizowania lub przepisywania persistent informacji.
research://memorybench
SymbioRAP MemoryBench
An architecture-neutral benchmark for persistent agent memory: measure continuity, temporal correctness, adaptation, latency and cost without rewarding one storage design by construction.
RESEARCHOPUBLIKOWANO · v1.0.0-m14
research://thesis
A memory benchmark is only useful if strong non-memory baselines are allowed to compete.
MemoryBench avoids a weak “chat history vs memory product” comparison. The benchmark gives a best-of-breed filesystem-native agent real tools to search, organize, rewrite and consolidate its own persistent workspace, then compares that baseline with SynapseFS and SynapseFS + SymbioRAP Memory under matched model, information and compute conditions.
focus://memorybench
Główne kierunki badań
B · Agent SynapseFS
Te same warunki agenta z deterministyczną persystencją, stabilnymi IDs oraz semantyką evidence i wersji.
C · SynapseFS + Memory
Dodaje pamięć epizodyczną/semantyczną, temporal graph, konsolidację i context selection z provenance.
Równe warunki
Model, dostęp do informacji, zadania i compute budget są kontrolowane, aby efekt architektury pozostał interpretowalny.
architecture://working-model
Wymiary benchmarku obejmują jakość, czas i koszt operacyjny.
Protokół ma ujawniać trade-offy zamiast produkować jeden korzystny score. Mierzy, czy architektura pozostaje poprawna w czasie, adaptuje się do zmienionych faktów, znajduje właściwą evidence i robi to przy praktycznej latency oraz kosztach token/compute.
Accuracy
Poprawne odpowiedzi i użycie evidence w krótkim i długim horyzoncie.
Temporal consistency
Poprawna obsługa zastąpionych faktów, zmienionych preferencji i stanu zależnego od czasu.
Adaptation
Zdolność zmiany zachowania, gdy nowa evidence przeczy wcześniejszym założeniom.
Latency i cost
Narzut retrieval/consolidation, zużycie tokenów i compute potrzebne do utrzymania jakości pamięci.
publication://m14
Otwarte dowody benchmarkowe zamiast rankingu
MemoryBench v1.0.0-m14 publikuje metodę benchmarku, źródła comparatorów, znormalizowane wyniki referencyjne i maszynowo czytelną macierz claimów. Windows i Linux są oddzielnymi populacjami testowymi.
OPUBLIKOWANO · v1.0.0-m14
evidence://reference
Opublikowane wyniki referencyjne
Promotion evidence is retained with negative results and variance. These measurements describe the tested hosts and configurations, not universal hardware or product rankings.
| Population | H6 ingest | H6 query | H8 · 1 worker | H8 · 32 workers |
|---|---|---|---|---|
| Windows x64 | 154.78 ops/s CV 37.70% | 1758.49 q/s CV 8.73% | 264.00 ops/s | 749.48 ops/s CV 1.45% |
| Linux ARM64 | 137.71 ops/s CV 4.67% | 551.55 q/s CV 15.91% | 129.13 ops/s | 1143.26 ops/s CV 15.77% |
SQLite
Windows 3.53.4 · 1132.88 ops/s · PASS
Linux 3.45.1 · 1304.90 ops/s · PASS
RocksDB
Windows 11.8.1 · 1175.84 ops/s · PASS
Linux 8.9.1 · 866.83 ops/s · PASS
FAISS
Windows 1.14.3 · default NEGATIVE RESULT
Linux 1.14.1 · 180.95 q/s · PASS
SQLite and RocksDB are matched durable single-key KV comparators. FAISS is retrieval-only. Their throughput values are not semantically equivalent to full Memory Engine ingest.
FAISS default correctness passed on the tested Linux configuration. The tested Windows default configuration retained transient retrieval failures; a separately labeled Windows single-thread diagnostic passed. This is published as configuration-specific evidence, not as a general claim about FAISS.
open://reproduce
Odtwórz i zweryfikuj benchmark
The public repository contains frozen workload definitions, the neutral adapter contract, SQLite/RocksDB/FAISS comparator sources, verification tooling, methodology and M14 reference results. The proprietary SynapseFS / SymbioRAP Memory Engine implementation is not published.
claims://boundary
Co M14 wspiera — a czego nie
Supported by the frozen evidence
- 58/58 native Windows correctness tests and 62/62 native Linux correctness tests passed.
- 100/100 abrupt-termination recovery runs passed on each tested platform.
- H6 task accuracy remained 1.0 across all promotion repetitions.
- At 32 workers, median physical WAL syncs per ingest fell below the fixed four WAL records per ingest, showing measured group batching on both tested hosts.
- Genuine SQLite and RocksDB durable-KV comparator runs completed with correctness PASS on both tested platforms.
Not supported by this publication
- No claim that SymbioRAP or SynapseFS is universally faster than SQLite or RocksDB.
- No claim that the Memory Engine is faster than FAISS; FAISS is retrieval-only.
- No Windows-versus-Linux performance ranking; the hosts and external-library versions differ.
- No universal “best-of-breed” claim from these two reference machines.
research://questions
Otwarte pytania badawcze
Które zadania rzeczywiście wymagają dedykowanej warstwy memory zamiast zdyscyplinowanej organizacji filesystem?
Ile poprawy daje sama semantyka persystencji przed dodaniem pamięci semantycznej?
Które polityki konsolidacji poprawiają dokładność long-horizon bez tworzenia stale lub nadmiernie pewnej pamięci?
Jak projektować zadania benchmarkowe odporne na memorization modelu i skróty specyficzne dla architektury?
status://research
Badania SymbioRAP
Opisane elementy są kierunkami badań i implementacji, a nie deklaracją gotowych funkcji produktu.
connect://research
Współtwórz architekturę badawczą
Partnerom badawczym, grantowym i technologicznym udostępniamy pytania architektoniczne, projekt benchmarków i techniczne stany prac w kwalifikowanej współpracy.
Następny sensowny krok
Opisz swój pomysł – kilka punktów wystarczy.
Nie musisz definiować rozwiązania technicznego. Napisz, co ma powstać lub działać lepiej, a my ocenimy wykonalność, pierwszy zakres i kolejne kroki.
Bezpłatna ocena pomysłu
Cztery pola wystarczą. Otrzymasz konkretną odpowiedź, jak rozsądnie zacząć i później rozwijać projekt.