From 8196655479f9c3c036681995108ad5dde4af9e7f Mon Sep 17 00:00:00 2001 From: "jinli.yl" Date: Fri, 19 Jun 2026 02:08:54 +0800 Subject: [PATCH] docs(cognition): add comprehensive auto-cognition design documentation - Added auto_cognition_design.md with three-stage cognitive model overview - Included detailed Stage 1 auto-dream design with abstraction capabilities - Documented Stage 2 auto-consolidate with community detection and merge logic - Specified 15-dimensional capability matrix across cognition stages - Defined cross-stage invariants and data flow contracts - Established system-level assertions for cognitive loop operation - Created documentation structure following mental cycle analogy chore(config): refine gitignore and pre-commit configuration rules - Organized .gitignore with categorized sections for different file types - Updated pre-commit excludes to remove test and cookbook directories - Adjusted line length settings to 120 characters for formatting tools - Streamlined hook configurations and exclude patterns - Added comprehensive ignore rules for various build artifacts - Enhanced editor and environment specific exclusions --- .github/workflows/pre-commit.yml | 6 +- .github/workflows/python-publish.yml | 2 +- .github/workflows/unittest.yml | 6 +- .gitignore | 98 ++- .pre-commit-config.yaml | 7 - docs/auto_dream_logic_and_step_refactor.md | 943 ++++++++++++++++++++ docs/old/auto_cognition_design.md | 330 +++++++ docs/old/auto_consolidate_design.md | 741 ++++++++++++++++ docs/old/auto_dream_design.md | 352 ++++++++ docs/old/auto_memory_design.md | 197 +++++ docs/old/auto_recall_design.md | 323 +++++++ docs/old/background_backup.md | 166 ++++ docs/old/reme_design.md | 192 ++++ docs/old/reme_index.md | 211 +++++ docs/old/reme_report.md | 971 +++++++++++++++++++++ docs/old/structure.md | 782 +++++++++++++++++ docs/reme_design.md | 389 +++++++++ docs/todo.md | 38 + example.env | 11 +- pyproject.toml | 158 +--- 20 files changed, 5744 insertions(+), 179 deletions(-) create mode 100644 docs/auto_dream_logic_and_step_refactor.md create mode 100644 docs/old/auto_cognition_design.md create mode 100644 docs/old/auto_consolidate_design.md create mode 100644 docs/old/auto_dream_design.md create mode 100644 docs/old/auto_memory_design.md create mode 100644 docs/old/auto_recall_design.md create mode 100644 docs/old/background_backup.md create mode 100644 docs/old/reme_design.md create mode 100644 docs/old/reme_index.md create mode 100644 docs/old/reme_report.md create mode 100644 docs/old/structure.md create mode 100644 docs/reme_design.md create mode 100644 docs/todo.md diff --git a/.github/workflows/pre-commit.yml b/.github/workflows/pre-commit.yml index 9685f577..3c889dc3 100644 --- a/.github/workflows/pre-commit.yml +++ b/.github/workflows/pre-commit.yml @@ -11,13 +11,13 @@ jobs: os: [ ubuntu-latest ] env: OS: ${{ matrix.os }} - PYTHON: '3.10' + PYTHON: '3.11' steps: - uses: actions/checkout@master - name: Setup Python uses: actions/setup-python@master with: - python-version: '3.10' + python-version: '3.11' - name: Update setuptools run: | pip install -U setuptools wheel @@ -35,4 +35,4 @@ jobs: echo -e "\e[41m [**FAIL**] Please install pre-commit and format your code first. \e[0m" exit 1 fi - echo -e "\e[46m ********************************Passed******************************** \e[0m" \ No newline at end of file + echo -e "\e[46m ********************************Passed******************************** \e[0m" diff --git a/.github/workflows/python-publish.yml b/.github/workflows/python-publish.yml index cd24d877..2a872ab3 100644 --- a/.github/workflows/python-publish.yml +++ b/.github/workflows/python-publish.yml @@ -26,7 +26,7 @@ jobs: - name: Set up Python uses: actions/setup-python@v6 with: - python-version: '3.10' + python-version: '3.11' - name: Install dependencies run: | python -m pip install --upgrade pip diff --git a/.github/workflows/unittest.yml b/.github/workflows/unittest.yml index 9170460d..868fdcc2 100644 --- a/.github/workflows/unittest.yml +++ b/.github/workflows/unittest.yml @@ -32,11 +32,11 @@ jobs: - name: Install dependencies run: | python -m pip install --upgrade pip setuptools wheel - pip install -e "./reme4[dev,core]" + pip install -e ".[dev,core]" - - name: Run tests4 unit tests + - name: Run unit tests run: | - pytest tests4/unit \ + pytest tests/unit \ -v \ --tb=long \ -s \ diff --git a/.gitignore b/.gitignore index 9bb3ea32..b6f01e11 100644 --- a/.gitignore +++ b/.gitignore @@ -1,50 +1,54 @@ -.vscode -.env* +# OS / editor .DS_Store -.idea -venv/ -.ipynb_checkpoints -.__pycache__ -__pycache__/ -*.pyc -*.pyo -*.pyd -*.log -tmp* -temp* -private* -dist/ -nohup* -cache -log/ -.trash/ -runs -logs -rag_nodes_index.jsonl -alfworld_data -step_experiences/* -build/* -*.egg-info/* -cookbook/appworld/data/* -cookbook/appworld/experiments/* -cookbook/appworld/exp_result/* -file_vector_store/* -cookbook/appworld/file_vector_store/* -/.venv/ -site/* -docs/_build/* -test_compact_storage/* -test_working_memory/* +.idea/ +.vscode/ *.code-workspace -local_vector_store/* -reme_profile/* -chroma_vector_store/* -bench_results/* -meta_memory/* -*.sqlite3 -**/data/*.json + +# Local environment +.env +.env.* +!.env.example +!example.env +.venv/ +venv/ +env/ +private*/ + +# Python caches / test artifacts +__pycache__/ +*.py[cod] +*$py.class +.ipynb_checkpoints/ +.pytest_cache/ +.ruff_cache/ +.mypy_cache/ +.coverage +coverage.xml +htmlcov/ + +# Packaging / build outputs +build/ +dist/ +*.egg-info/ + +# Logs / temporary files +*.log +nohup.out +nohup*.out +log/ +logs/ +runs/ +tmp*/ +temp*/ +.trash/ + +# ReMe runtime data +.reme/ +vault/ *.db -memories/* -.reme/* -vault -*/integration/*.jsonl \ No newline at end of file +*.sqlite +*.sqlite3 + +# Documentation build outputs +docs/_build/ +site/ diff --git a/.pre-commit-config.yaml b/.pre-commit-config.yaml index 42f6ad0b..51c15046 100644 --- a/.pre-commit-config.yaml +++ b/.pre-commit-config.yaml @@ -3,7 +3,6 @@ repos: rev: v6.0.0 hooks: - id: check-ast - exclude: ^(test/|cookbook/|reme_ai/) - id: check-yaml - id: check-xml - id: check-toml @@ -14,18 +13,15 @@ repos: rev: v4.0.0 hooks: - id: add-trailing-comma - exclude: ^(test/|cookbook/|reme_ai/) - repo: https://github.com/psf/black rev: 25.9.0 hooks: - id: black - exclude: ^(test/|cookbook/|reme_ai/) args: [--line-length=120] - repo: https://github.com/PyCQA/flake8 rev: 7.3.0 hooks: - id: flake8 - exclude: ^(test/|cookbook/|reme_ai/) args: [ "--extend-ignore=E203", "--max-line-length=120" @@ -37,14 +33,11 @@ repos: exclude: (?x)( ^docs - | ^test/ - | ^cookbook/ | pb2\.py$ | grpc\.py$ | \.demo$ | \.md$ | \.html$ - | reme_ai/ ) args: [ --disable=W0511, diff --git a/docs/auto_dream_logic_and_step_refactor.md b/docs/auto_dream_logic_and_step_refactor.md new file mode 100644 index 00000000..9d52b846 --- /dev/null +++ b/docs/auto_dream_logic_and_step_refactor.md @@ -0,0 +1,943 @@ +# auto_dream 逻辑解读与 Step 拆分方案 + +## 1. 配置入口 + +`/Users/yuli/workspace/ReMe/reme/config/default.yaml` 里和 auto dream 相关的是四个 job: + +| job | 用途 | 当前 steps | +|---|---|---| +| `dream` | 对单个文件做完整 dream,并顺手写一次 daily topics | `dream_step` -> `daily_topics_step` | +| `dream_extract` | auto_dream 内部使用的单文件 dream,只抽取和整合 digest,不写 daily topics | `dream_step` | +| `auto_dream` | 扫描某一天的 daily index 和 session notes,只处理新增/修改文件,最后聚合写当天兴趣主题 | `auto_dream_step` | +| `daily_topics` | 从 dream 产生的 topic candidates 中选最终兴趣主题,写 `daily//interests.md` | `daily_topics_step` | + +关键点: + +- `dream` 和 `auto_dream` 不是同一条链路。 +- `dream` 是单文件命令,执行 `dream_step` 后立刻执行 `daily_topics_step`。 +- `auto_dream` 默认 `dispatch_job: dream_extract`,所以它对每个文件只跑 `dream_step`,把所有文件产生的 `topic_candidates` 收集起来,最后只调用一次 `daily_topics`。 +- `auto_dream` 默认写 3 个 topic,回看 7 天去重,输出 session id 是 `interests`。 + +配置片段的实际语义: + +```yaml +auto_dream: + steps: + - backend: auto_dream_step + dispatch_job: dream_extract + emit_topics: true + topic_dispatch_job: daily_topics + topic_count: 3 + topic_diversity_days: 7 + topic_session_id: interests +``` + +也就是说,`auto_dream` 本身是一个调度器和增量扫描器,真正的 LLM dream 逻辑在 `DreamStep`,topic 写入在 `DailyTopicsStep`。 + +## 2. auto_dream_step 执行链路 + +实现位置: + +- `reme/steps/evolve/auto_dream.py` +- `reme/steps/evolve/dream.py` +- `reme/steps/evolve/daily_topics.py` +- `reme/steps/file_io/_daily_index.py` + +### 2.1 读取输入和默认日期 + +`AutoDreamStep.execute()` 从 runtime context 读取: + +| 参数 | 语义 | +|---|---| +| `date` | 要扫描的日期,空字符串时用配置 timezone 下的今天 | +| `hint` | 透传给每个单文件 dream 的提示 | + +日期默认逻辑: + +```text +date_input 非空 -> 使用 date_input +date_input 为空 -> now(app_config.timezone).strftime("%Y-%m-%d") +``` + +`daily_dir` 不来自用户参数,而是来自 app config,默认是 `daily`。 + +### 2.2 先刷新 day-index + +正式扫描前,auto_dream 会先调用: + +```python +await refresh_day_index(self.file_store, today, daily_dir) +``` + +它会重建: + +```text +daily/.md +``` + +这个 day-index 文件包含 `daily//` 下每个 session note 的链接和 frontmatter 摘要。这样 auto_dream 后续处理的第一个文件就是当天总览。 + +隐含结果: + +- 如果 session notes 有新增/删除/frontmatter 变化,day-index 的内容可能变化。 +- day-index 被放在扫描列表第一位,所以当天总览先于具体 session note 被 dream。 + +### 2.3 扫描当天文件范围 + +扫描范围由 `_scan_today_files(vault, today, daily_dir)` 决定: + +```text +1. daily/.md +2. daily//**/*.md +``` + +处理顺序: + +```text +daily/.md first +daily//**/*.md sorted by path +``` + +但 auto_dream 会排除: + +```text +daily//interests.md +``` + +也就是 `topic_session_id` 对应的 daily topics 文件。原因是 `interests.md` 是 auto_dream 自己产出的兴趣主题,不能再作为 dream 输入,否则容易自我循环。 + +### 2.4 用 file_catalog 做增量判断 + +auto_dream 构造两张表: + +| 名称 | 来源 | 内容 | +|---|---|---| +| `existing` | 当前磁盘 | `{vault_relative_path: st_mtime}` | +| `indexed` | `file_catalog.get_nodes()` | `{vault_relative_path: st_mtime}` | + +`indexed` 只保留当天范围: + +```text +daily/.md +daily//* +``` + +并且同样排除: + +```text +daily//interests.md +``` + +然后做 diff: + +| 条件 | 分类 | 行为 | +|---|---|---| +| `rel in existing`,但 catalog 没有 | added | 需要 dream | +| `rel in existing`,但 mtime 不同 | modified | 需要 dream | +| `rel in existing`,且 mtime 相同 | unchanged | 跳过 | +| catalog 有,但磁盘没有 | deleted | 从 catalog 删除 | + +注意这里的 `file_catalog` 更像是 auto_dream 的“已处理 mtime 水位线”,不是语义索引本身。默认配置没有给 `auto_dream_step` 显式传 `file_catalog`,所以按 `BaseStep.Ref` 规则解析到 `file_catalog.default`。 + +### 2.5 先删除 catalog 中的缺失文件 + +如果某些当天文件已经不存在: + +```python +await self.file_catalog.delete(to_delete) +``` + +这一步不需要 LLM,也不会阻塞后续 dream。删除失败只记录日志,当前实现不会把它计入 `result.files_failed`。 + +### 2.6 对新增/修改文件逐个 dispatch dream_extract + +对每个 `to_dream` 文件,auto_dream 调: + +```python +resp = await self.run_job("dream_extract", path=rel_path, hint=hint) +``` + +`dream_extract` 只有一个 step: + +```yaml +steps: + - backend: dream_step +``` + +`AutoDreamStep._dispatch_dream()` 会把 `resp.metadata` 重新校验成 `DreamResult`。如果 job 抛异常、metadata 不是 `DreamResult`、或 response `success=False`,都会转成带 `error` 的 `DreamResult`。 + +### 2.7 单文件 DreamStep 内部逻辑 + +`DreamStep.dream_one(path, hint)` 是真正的 per-file create_or_update。 + +它的主流程: + +```text +1. path 为空 -> skipped +2. 没有 LLM -> error +3. _pack_material() 读取 vault-relative 文件内容 +4. Phase 1: _extract() +5. 如果 Phase 1 没有 units -> skipped,但保留 topic_candidates +6. Phase 2: 对每个 unit 调 _integrate_unit() +7. 返回 DreamResult +``` + +#### Phase 1: extract + +工具: + +```python +_EXTRACT_TOOLS = ("read",) +``` + +输出 schema 是 `ExtractedUnits`: + +```text +units: list[MemoryUnit] +topic_candidates: list[TopicCandidate] +``` + +每个 memory unit 包含: + +| 字段 | 语义 | +|---|---| +| `name` | agent 内部短名 | +| `bucket` | `procedure` / `personal` / `wiki` 三选一 | +| `summary` | 这个抽象是什么,证据在哪 | + +每个 topic candidate 包含: + +| 字段 | 语义 | +|---|---| +| `title` | 兴趣主题标题 | +| `reason` | 为什么用户可能关心 | +| `evidence` | 证据指针 | +| `keywords` | 去重关键词 | + +如果 LLM 输出了未知 bucket,当前代码会警告并改成 `wiki`。 + +#### Phase 2: integrate + +每个 unit 单独发起一次 ReAct: + +```text +system prompt = integrate_system_prompt_ +``` + +工具: + +```python +_INTEGRATE_TOOLS = ( + "node_search", + "read", + "frontmatter_read", + "write", + "edit", + "frontmatter_update", +) +``` + +输出 schema 是 `IntegrateOutcome`: + +| 字段 | 语义 | +|---|---| +| `action` | `CREATE` / `CORROBORATE` / `REFINE` / `CORRECT` | +| `target_path` | 实际写入或更新的 digest path | +| `note` | 简短说明 | + +`DreamStep` 根据 action 统计: + +```text +CREATE -> nodes_created +其他 action -> nodes_updated +``` + +当前实现里,某个 unit 的 integrate 失败不会让整个 DreamResult 变成 error,只会在 summary 里记录 `FAILED`。这意味着文件级别仍会被 auto_dream 当作成功并写入 catalog mtime。 + +### 2.8 汇总 per-file 结果并更新 catalog + +auto_dream 对每个文件的 `DreamResult` 做三件事: + +| 情况 | 行为 | +|---|---| +| `dr.error` 非空 | `files_failed += 1`,不更新这个文件的 catalog mtime,下次会重试 | +| `dr.skipped` 为 true | `files_skipped += 1`,仍然 upsert mtime,避免每次重复跑 Phase 1 | +| 正常 dream | `files_dreamed += 1`,upsert mtime | + +同时收集: + +```python +topic_candidates.extend(dr.topic_candidates or []) +``` + +最后批量: + +```python +await self.file_catalog.upsert(upsert_nodes) +``` + +### 2.9 聚合写 daily topics + +如果: + +```text +emit_topics == true +topic_candidates 非空 +``` + +auto_dream 会调用: + +```python +await self.run_job( + "daily_topics", + date=today, + candidates=topic_candidates, + topic_count=3, + diversity_days=7, + session_id="interests", +) +``` + +`DailyTopicsStep` 做: + +```text +1. 清洗 candidates +2. 读取过去 diversity_days 天的 interests.md +3. 有 LLM 时用 select prompt 选最终 topics +4. 没有 LLM 时 fallback: 简单标题去重 +5. 写 daily//interests.md +6. refresh_day_index() +``` + +写出的文件形态: + +```text +daily//interests.md +``` + +frontmatter 包含: + +```yaml +name: interests +description: " interest topic(s) inferred for ." +date: +topic_count: 3 +diversity_days: 7 +``` + +body 是 `# Interested Topics` 加编号列表。 + +auto_dream 收到 daily_topics 成功响应后,还会把这些文件的最新 mtime 写入 catalog: + +```text +daily//interests.md +daily/.md +``` + +这里有一个隐含行为:day-index 在 per-file dream 之后又因为 `interests.md` 被写入而刷新,auto_dream 会把刷新后的 `daily/.md` mtime 标记为已处理。也就是说,仅由 interests 写入引发的 day-index 变化不会在下一轮再次触发 dream。 + +### 2.10 持久化与响应 + +如果: + +```text +persist == true +并且有 upsert 或 delete +``` + +则: + +```python +await self.file_catalog.dump() +``` + +最终 response: + +```text +success = files_failed == 0 and not topics_error +answer = AutoDreamResult.summary +metadata = AutoDreamResult.model_dump() +``` + +summary 格式大致是: + +```text +[AutoDreamStep] date=2026-06-18 scanned=... unchanged=... dreamed=... skipped=... failed=... deleted=... + - daily/2026-06-18.md: OK (+1 created, ~2 updated) + - daily/2026-06-18/session.md: SKIP + - topics: OK (3 written to daily/2026-06-18/interests.md) +``` + +## 3. 当前逻辑的边界和风险 + +### 3.1 AutoDreamStep 职责过重 + +`AutoDreamStep` 同时负责: + +- 日期解析 +- day-index 刷新 +- 文件扫描 +- catalog diff +- 删除 catalog +- per-file job dispatch +- DreamResult 校验 +- topic candidates 汇总 +- daily_topics job dispatch +- topic 输出后的 catalog upsert +- catalog dump +- summary 渲染 + +这些职责可以拆成明确 step,提高可测试性和可替换性。 + +### 3.2 file_catalog 的语义不够显式 + +这里的 catalog 不是“今天有哪些文件”的普通目录索引,而是“哪些文件已经被 auto_dream 处理到某个 mtime”。建议在拆分后把它显式命名为 dream catalog / processed catalog,至少在 step 名和文档中说清楚。 + +### 3.3 integrate unit 失败不会触发文件重试 + +`DreamStep` 当前捕获单个 unit integrate 异常,写进 summary 后继续,但不设置 `DreamResult.error`。auto_dream 因此会把这个文件 mtime upsert,下次不会自动重试失败 unit。 + +这可能是有意的“尽量前进”,但如果要做严格一致性,应改成: + +```text +任一 unit integrate 失败 -> DreamResult.error 非空 -> auto_dream 不更新 mtime +``` + +### 3.4 topic 写入导致的 day-index 变化被标记为已处理 + +auto_dream 写 `interests.md` 后刷新 day-index,并把 day-index 最新 mtime upsert 到 catalog。这样可以避免自生成内容触发循环,但也意味着 `daily/.md` 中新增的 `interests.md` 链接不会被 dream。 + +这通常是合理的,因为 `interests.md` 本身被排除在 dream 输入之外。 + +### 3.5 删除 catalog 失败不影响 success + +删除 catalog entry 失败只打日志,不会让 response failure。拆分后可以明确这个策略: + +- catalog delete 是 best-effort,不影响 dream 主流程 +- 或者 catalog delete 失败应导致整个 job failure + +## 4. 拆分目标 + +重新拆分时,不按“每个小动作一个 step”拆,而按执行边界拆: + +```text +非 LLM 准备/扫描/diff + -> LLM: per-file dream + -> LLM: daily topics + -> 非 LLM response 汇总 +``` + +核心原则: + +- 使用 LLM 的阶段单独成 step,便于限流、重试、观测和替换模型。 +- 不使用 LLM 的准备、扫描、diff 可以合并,避免 step 过碎。 +- catalog 只是 auto_dream 的内部进度水位线,不提升为独立阶段。 +- prompt 重新写,但可以复用旧 prompt 的核心内容和约束。 +- 不做旧接口/旧格式兼容;按新 4-step pipeline 重新定义最干净的输入输出。 + +## 5. 新方案:拆成 4 个 Step + +新方案不再是“逐文件 extract + 逐文件 integrate”。核心变化是: + +```text +本轮 changed files + -> 1 个 agent 一次性阅读所有 changed paths + -> 输出全局去重/合并后的 unit list + -> Python for 循环逐 unit integrate +``` + +这样一个抽象可能来自多个文件,Phase 1 就能合并为同一个 unit,避免同一天多个 session note 反复提出同一概念。 + +目标代码位置: + +```text +reme/steps/evolve/dream/ + __init__.py + models.py + plan.py + extract.py + integrate.py + topics.py + finish.py + prompts.yaml 或 dream.yaml +``` + +重构完成后删除旧文件,不保留兼容 alias: + +```text +reme/steps/evolve/dream.py +reme/steps/evolve/auto_dream.py +reme/steps/evolve/daily_topics.py +``` + +### 5.0 Step 输入输出总表 + +| Step | 是否 LLM | 核心能力 | 输入 | 输出 / 写入 context | 副作用 | +|---|---:|---|---|---|---| +| `dream_extract_step` | 是 | 根据 dream catalog 找出本轮新增/修改/删除文件,把所有 changed paths 交给一个 agent,一次性输出跨文件合并后的 `unit_list` 和 `topic_list` | `context.date`; `context.hint`; `app_config.daily_dir`; `app_config.timezone`; `file_store.vault_path`; `file_catalog.dream`; step 参数 `topic_session_id=interests` | `dream.date`; `dream.hint`; `dream.daily_dir`; `dream.vault`; `dream.existing`; `dream.indexed`; `dream.changed_paths`; `dream.deleted_paths`; `dream.units`; `dream.topics`; `dream.extract_summary`; `dream.result.files_scanned/files_changed/files_deleted`; `dream.errors` | 刷新 `daily/.md`; 删除 catalog 中缺失文件 entry; 读取所有 changed files; 本 step 不写 digest | +| `dream_integrate_step` | 是 | `for unit in units` 逐个执行原 Phase 2 integrate 逻辑,保持 node_search/read/write/edit/frontmatter_update 工具和 bucket prompt 不变 | `dream.units`; `dream.hint`; `dream.vault`; `app_config.digest_dir`; agent tools: `node_search/read/frontmatter_read/write/edit/frontmatter_update` | `dream.integrate_results`; `dream.nodes_created`; `dream.nodes_updated`; `dream.result.units_integrated/units_failed`; `dream.errors` | 写/更新 `digest//*.md`; 不更新 dream catalog | +| `dream_topics_step` | 是 | 根据 `topic_list` 更新 `daily//interests.yaml`; 读取当天已有 topics 和最近 N 天 topics 做去重 | `dream.date`; `dream.daily_dir`; `dream.topics`; `file_store.vault_path`; step 参数 `topic_count`; `topic_diversity_days`; `topic_session_id=interests` | `dream.topics_path=daily//interests.yaml`; `dream.topics_written`; `dream.topics_merged`; `dream.topics_skipped_duplicates`; `dream.errors` | 新建或更新 `daily//interests.yaml`; 刷新 `daily/.md` | +| `dream_finish_step` | 否 | 统一收口:按 path checkpoint 成功处理的文件,持久化 catalog,渲染 summary 和 response metadata | `dream.changed_paths`; `dream.deleted_paths`; `dream.failed_paths`; `dream.integrate_results`; `dream.topics_path`; `dream.errors`; `dream.result`; `file_catalog.dream`; step 参数 `persist=true` | `context.response.success`; `context.response.answer`; `context.response.metadata` | upsert successful paths 的 mtime 到 `file_catalog.dream`; upsert `interests.yaml` 和 day-index mtime; `file_catalog.dump()` | + +### Step 1: `dream_extract_step` + +这是新的全局 Phase 1。它合并了当前 `auto_dream_step` 的扫描/diff 和当前 `DreamStep._extract()` 的抽取能力。 + +职责: + +- 解析 `date` / `hint`。 +- 刷新 day-index: `daily/.md`。 +- 扫描输入文件并统一交给 extract agent: + - `daily/.md` + - `daily//.md` + - `daily//.md` + - 以及 `daily//**/*.md` 下其它当天 note +- 排除自生成文件: + - `daily//interests.yaml` +- 读取 `file_catalog.dream`,按 mtime diff 出: + - `changed_paths` + - `unchanged_paths` + - `deleted_paths` +- 删除 catalog 中 `deleted_paths`。 +- 打包所有 `changed_paths` 的文件内容。 +- 调用一次 extract agent,让它看见所有 changed paths。 +- 输出跨文件合并后的 `unit_list` 和 `topic_list`。 + +新的 unit schema: + +```python +class DreamUnit(BaseModel): + name: str + bucket: Literal["procedure", "personal", "wiki"] + summary: str + paths: list[str] +``` + +`paths` 是这个 unit 的证据来源列表。多个文件讲的是同一抽象时,Phase 1 必须合并成一个 unit: + +```json +{ + "name": "jwt-session-expiry-policy", + "bucket": "procedure", + "summary": "How the project decides session expiry from compliance and product constraints.", + "paths": [ + "daily/2026-06-18/auth.md", + "daily/2026-06-18/api-review.md" + ] +} +``` + +topic schema 可以沿用当前 `TopicCandidate`,但建议把来源改成 `paths`: + +```python +class DreamTopicCandidate(BaseModel): + title: str + reason: str + evidence: str + keywords: list[str] = [] + paths: list[str] = [] +``` + +输出到 context: + +```python +{ + "dream": { + "date": "YYYY-MM-DD", + "changed_paths": [ + {"path": "daily/YYYY-MM-DD/a.md", "mtime": 1710000000.0} + ], + "deleted_paths": [], + "units": [ + { + "name": "jwt-session-expiry-policy", + "bucket": "procedure", + "summary": "...", + "paths": ["daily/YYYY-MM-DD/a.md", "daily/YYYY-MM-DD/b.md"] + } + ], + "topics": [ + { + "title": "...", + "reason": "...", + "evidence": "...", + "keywords": ["..."], + "paths": ["daily/YYYY-MM-DD/a.md"] + } + ] + } +} +``` + +LLM 调用数量: + +```text +1 个 agent 任务 +``` + +注意: + +- 这个 step 不再为每个文件分别调用 `dream_extract`。 +- 如果 `changed_paths` 为空,它不调用 LLM,直接输出空 `units/topics`。 +- 只有 `dream_finish_step` 才把 changed file mtime 标为已处理。这样 integrate/topics 失败时不会误跳过。 + +### Step 2: `dream_integrate_step` + +这是新的全局 Phase 2。它对 Step 1 输出的 `units` 做 Python for 循环,每个 unit 的 integrate 逻辑保持当前 `DreamStep._integrate_unit()` 不变。 + +职责: + +- 遍历 `dream.units`。 +- 每个 unit 根据 `unit.bucket` 选择: + - `integrate_system_prompt_procedure` + - `integrate_system_prompt_personal` + - `integrate_system_prompt_wiki` +- material 不再是单文件 blob,而是这个 unit 对应 `paths` 的证据包。 +- 调用当前相同工具: + - `node_search` + - `read` + - `frontmatter_read` + - `write` + - `edit` + - `frontmatter_update` +- 输出 `IntegrateOutcome`。 + +`integrate_user_message` 需要从单 `material_blob` 改成多路径 evidence blob: + +```text +unit_name: ... +unit_bucket: ... +unit_summary: ... +source_paths: + - daily/... + - daily/... + +# Evidence materials +### daily/.../a.md +... + +### daily/.../b.md +... +``` + +输出: + +```python +{ + "dream": { + "integrate_results": [ + { + "unit_name": "jwt-session-expiry-policy", + "bucket": "procedure", + "action": "CREATE", + "target_path": "digest/procedure/jwt-session-expiry-policy.md", + "source_paths": ["daily/YYYY-MM-DD/a.md", "daily/YYYY-MM-DD/b.md"], + "note": "..." + } + ], + "nodes_created": ["digest/procedure/jwt-session-expiry-policy.md"], + "nodes_updated": [] + } +} +``` + +LLM 调用数量: + +```text +N 个 agent 任务 +N = len(dream.units) +``` + +失败策略建议: + +- 任一 unit integrate 失败,记录到 `dream.errors`。 +- 因为每个 unit 都有明确的 `paths`,失败 unit 对应的 paths 进入 `dream.failed_paths`。 +- `dream_finish_step` 不 checkpoint `failed_paths`。 +- 不在任何失败 unit `paths` 里的 changed paths 可以 checkpoint。 +- 如果同一个 path 同时出现在成功 unit 和失败 unit 中,以失败为准,该 path 不 checkpoint。 + +### Step 3: `dream_topics_step` + +这个 step 取代当前 `daily_topics_step`。目标文件固定为: + +```text +daily//interests.yaml +``` + +职责: + +- 读取 `dream.topics`。 +- 如果 `daily//interests.yaml` 已存在,读取旧 topics。 +- 读取最近 `topic_diversity_days` 天的 `daily//interests.yaml` 作为历史去重上下文。 +- 合并当天旧 topics + 新 topics。 +- 去重: + - 标题 normalize 后相同视为重复。 + - keywords 高重叠视为可能重复。 + - evidence/paths 完全相同视为重复。 + - 与最近 N 天历史 topics 重复时跳过。 +- 可选使用 LLM 对候选 topic 做最终选择和改写。 +- 写回 YAML。 +- 刷新 day-index。 + +建议 YAML 格式: + +```yaml +date: "2026-06-18" +updated_at: "2026-06-18T22:00:00+08:00" +topic_count: 3 +diversity_days: 7 +topics: + - title: "JWT session expiry policy" + reason: "The user repeatedly worked through compliance-driven auth expiry tradeoffs." + evidence: "Mentioned in auth review and API notes." + keywords: ["auth", "jwt", "session", "compliance"] + paths: + - "daily/2026-06-18/auth.md" + - "daily/2026-06-18/api-review.md" +``` + +输入: + +```text +dream.date +dream.daily_dir +dream.topics +topic_count +topic_diversity_days +topic_session_id +``` + +输出: + +```python +{ + "dream": { + "topics_path": "daily/YYYY-MM-DD/interests.yaml", + "topics_written": 3, + "topics_merged": 5, + "topics_skipped_duplicates": 2 + } +} +``` + +LLM 调用数量: + +```text +0 或 1 个 agent 任务 +``` + +建议: + +- 如果只是 append/去重,不必 LLM。 +- 如果需要从很多 candidates 中挑 `topic_count` 个,才调用 LLM。 +- 不读取也不写 `interests.md`;全新格式只认 `interests.yaml`。 + +### Step 4: `dream_finish_step` + +这是非 LLM 收尾 step。 + +职责: + +- 根据前面步骤结果决定 success。 +- 计算 `failed_paths`: + - 每个失败 unit 的 `unit.paths` 都进入 failed set。 + - 如果某个 path 同时属于成功 unit 和失败 unit,以失败为准。 +- 计算 `checkpoint_paths`: + - `changed_paths - failed_paths` + - extract 成功但没有任何 unit/topics 的 changed paths 也可以 checkpoint,避免重复空跑。 +- 把 `checkpoint_paths` 的当前 mtime upsert 到 `file_catalog.dream`。 +- 把 `daily//interests.yaml` 的 mtime upsert 到 `file_catalog.dream`。 +- 把刷新后的 `daily/.md` 的 mtime upsert 到 `file_catalog.dream`。 +- `deleted_paths` 的 catalog 删除在 extract step 已完成,finish 只负责 dump。 +- `file_catalog.dump()`。 +- 渲染 summary。 +- 写 `context.response.metadata`。 + +输出 metadata 建议: + +```python +{ + "date": "YYYY-MM-DD", + "files_scanned": 10, + "files_changed": 3, + "files_deleted": 1, + "paths_checkpointed": ["daily/2026-06-18/a.md"], + "paths_failed": ["daily/2026-06-18/b.md"], + "units_extracted": 4, + "units_integrated": 4, + "units_failed": 0, + "topics_written": 3, + "nodes_created": [...], + "nodes_updated": [...], + "errors": [] +} +``` + +## 6. 拆分后的 YAML 形态 + +建议把 `auto_dream` 改成新的 dream pipeline: + +```yaml +auto_dream: + backend: base + description: "Auto-dream: scan daily changes, extract cross-file units, integrate digest nodes, update daily interests." + parameters: + type: object + properties: + date: + type: string + description: "YYYY-MM-DD to scan; defaults to today in the dreamer's timezone" + default: "" + hint: + type: string + description: "caller guidance passed through to the dreamer LLM" + default: "" + steps: + - backend: dream_extract_step + file_catalog: dream + topic_session_id: interests + - backend: dream_integrate_step + - backend: dream_topics_step + topic_count: 3 + topic_diversity_days: 7 + topic_session_id: interests + - backend: dream_finish_step + file_catalog: dream + persist: true +``` + +旧 job 删除,不做兼容 wrapper: + +```yaml +dream: + # 删除 + +dream_extract: + # 删除 + +daily_topics: + # 删除 +``` + +## 7. 数据结构建议 + +建议所有跨 step 状态都放在 `context["dream"]`。 + +核心模型: + +```python +class DreamUnit(BaseModel): + name: str + bucket: Literal["procedure", "personal", "wiki"] + summary: str + paths: list[str] = Field(default_factory=list) + + +class DreamTopic(BaseModel): + title: str + reason: str + evidence: str = "" + keywords: list[str] = Field(default_factory=list) + paths: list[str] = Field(default_factory=list) + + +class DreamState(BaseModel): + date: str = "" + hint: str = "" + daily_dir: str = "daily" + vault: str = "" + changed_paths: list[dict] = Field(default_factory=list) + unchanged_paths: list[str] = Field(default_factory=list) + deleted_paths: list[str] = Field(default_factory=list) + failed_paths: list[str] = Field(default_factory=list) + checkpoint_paths: list[str] = Field(default_factory=list) + units: list[DreamUnit] = Field(default_factory=list) + topics: list[DreamTopic] = Field(default_factory=list) + integrate_results: list[dict] = Field(default_factory=list) + nodes_created: list[str] = Field(default_factory=list) + nodes_updated: list[str] = Field(default_factory=list) + topics_path: str = "" + topics_written: int = 0 + errors: list[str] = Field(default_factory=list) + result: dict = Field(default_factory=dict) +``` + +## 8. 实现任务 + +这是一次 breaking rewrite,不存在旧接口/旧格式迁移任务。剩余工作就是按新设计实现 4 个 step。 + +必须实现: + +1. 在 `reme/steps/evolve/dream/` 下新增 `models.py`、helper 和 4 个 step 文件。 +2. 重写 prompts: + - `extract_system_prompt` + - `extract_user_message` + - `integrate_system_prompt_procedure` + - `integrate_system_prompt_personal` + - `integrate_system_prompt_wiki` + - `integrate_user_message` + - 可参考旧 prompt 的内容,但不保持旧 prompt 接口。 +3. 实现 `dream_extract_step`: + - 扫描 `daily/.md` 与 `daily//**/*.md`。 + - 排除 `daily//interests.yaml`。 + - 根据 `file_catalog.dream` 计算 changed/unchanged/deleted。 + - 一个 agent 统一读取所有 changed paths,输出全局 units/topics。 + - 清洗 units: unknown bucket fallback 到 `wiki`; paths 去重; paths 必须来自 changed paths。 +4. 实现 `dream_integrate_step`: + - 按 `unit.paths` 打包 evidence。 + - for 循环逐 unit integrate。 + - 保留工具集合和 action 语义。 + - unit 失败时记录 `failed_paths += unit.paths`。 +5. 实现 `dream_topics_step`: + - 只读写 `daily//interests.yaml`。 + - 读取当天已有 YAML topics。 + - 读取最近 `topic_diversity_days` 天的 `interests.yaml` 做历史去重。 + - 写回去重后的 YAML。 + - 刷新 day-index。 +6. 实现 `dream_finish_step`: + - `checkpoint_paths = changed_paths - failed_paths`。 + - checkpoint 成功 paths 的 mtime。 + - checkpoint `interests.yaml` 和 `daily/.md`。 + - dump `file_catalog.dream`。 + - 输出全新 response metadata。 +7. 更新 `default.yaml`: + - `auto_dream` 改为 4-step pipeline。 + - 删除 `dream`、`dream_extract`、`daily_topics` job。 + - 保留 `file_catalog.dream`。 +8. 删除旧代码: + - `reme/steps/evolve/auto_dream.py` + - `reme/steps/evolve/dream.py` + - `reme/steps/evolve/daily_topics.py` + - 更新 `reme/steps/evolve/__init__.py`。 + +现在没有保留的迁移项: + +- 不兼容 `interests.md`。 +- 不保留单文件 `dream path=...`。 +- 不保留 `dream_extract` job。 +- 不保留 `daily_topics` job。 +- 不要求 response metadata 兼容 `AutoDreamResult`。 +- 不要求 prompt 入参兼容旧 `dream.yaml`。 + +## 9. 推荐测试用例 + +最低测试集: + +| 场景 | 期望 | +|---|---| +| 当天没有任何文件 | scanned=0,success=true,no topics | +| 只有 day-index 新增 | `dream_extract_step` 调用一次全局 extract,finish checkpoint day-index | +| session note 新增 | extract evidence 中 day-index first,session notes sorted | +| session note mtime 未变 | unchanged+1,不进入 changed evidence | +| session note 删除 | catalog delete | +| `interests.yaml` 存在 | 不进入 scan/diff/changed evidence | +| 多个文件产出同一抽象 | extract 输出 1 个 unit,`paths` 包含多个 source path | +| extract 输出空 units/topics | finish 仍 checkpoint changed files,避免重复空跑 | +| 某个 unit integrate 失败 | 该 unit 的 `paths` 不 checkpoint,response failure | +| 同一 path 同时属于成功和失败 unit | 失败优先,该 path 不 checkpoint | +| 其它 path 的 units 都成功 | 这些 path 可以 checkpoint | +| 有 topic candidates | 写/更新 `daily//interests.yaml`,记录 topics_path/topics_written | +| 已存在 `interests.yaml` | 合并新旧 topics,不重复 | +| 最近 N 天已有相同 topic | 当前日 topics 去重跳过 | +| extract 输出 unknown bucket | 清洗后 bucket=`wiki` | +| prompt 输出 path 不在 changed paths | 该 unit 被丢弃或修正,不能 checkpoint 不明来源 | diff --git a/docs/old/auto_cognition_design.md b/docs/old/auto_cognition_design.md new file mode 100644 index 00000000..71e40e8b --- /dev/null +++ b/docs/old/auto_cognition_design.md @@ -0,0 +1,330 @@ +# auto-cognition 设计(顶层:心智循环) + +> 本文档:reme 中**长期记忆系统**的顶层认知模型 —— 把 agent 的记忆生命周期类比人类睡眠/觉醒回路,推导出**三阶段分工**与**15 维能力清单**。 +> +> **三阶段实现各有专属文档**: +> - Stage 1 写入(REM 重放抽象) → `auto_dream_design.md` +> - Stage 2 巩固(NREM 深度整合) → `auto_consolidate_design.md` +> - Stage 3 检索(觉醒态提取) → `auto_recall_design.md` +> +> 配套阅读: +> - `auto_memory_design.md`:入流端(daily 写入),与 cognition 平行 —— cognition 负责"已落地后的认知循环",memory 负责"经历落地" +> - `structure.md` §4(retrieve 三种问法) +> +> **核心立场**: +> - 长期记忆不是"存 + 取"两个动作,是**写入 → 巩固 → 提取**的循环 —— 三段时间尺度不同(同步 / 周期 / 同步),设计形态不同 +> - vault 是**事实层**,只承载经过 LLM 写入认证的关系;`meta/` 是**派生层**,承载概率推断的统计信号 +> - 任一阶段独立演化,任一信号缺失系统降级而不崩 + +--- + +## 0. 心智循环:reme 的认知模型 + +agent 的长期记忆系统在概念上对应人脑的**海马—皮层回路 + 睡眠—觉醒周期**: + +``` + ┌─────────────────────────────────┐ + │ 外部经验(daily / resource) │ + └─────────────┬───────────────────┘ + │ (auto-memory 写 daily) + ▼ + ┌─────────────────────────────────────────────────┐ + │ │ + │ ┌────────────────┐ 抽象 / 关系编织 │ + │ │ Stage 1 │ ◄─ 类比 REM 睡眠 │ + │ │ auto-dream │ "重放 + 写进 schema" │ + │ └───────┬────────┘ │ + │ │ 写 vault(digest body + wikilink) │ + │ ▼ │ + │ ┌────────────────┐ │ + │ │ vault(事实) │ │ + │ └───────┬────────┘ │ + │ │ 只读 │ + │ ▼ │ + │ ┌────────────────┐ 长期组织 / 派生指标 │ + │ │ Stage 2 │ ◄─ 类比 NREM 慢波睡眠 │ + │ │ auto-consol- │ "巩固 + 修剪 + 集群" │ + │ │ idate │ │ + │ └───────┬────────┘ │ + │ │ 写 meta/ + audit/(派生层) │ + │ ▼ │ + │ ┌────────────────┐ │ + │ │ meta(派生) │ │ + │ └───────┬────────┘ │ + │ │ 只读 │ + │ ▼ │ + │ ┌────────────────┐ query → 答案合成 │ + │ │ Stage 3 │ ◄─ 类比觉醒态 cue retrieval│ + │ │ auto-recall │ "融合 + pattern complete"│ + │ └───────┬────────┘ │ + │ │ │ + └───────────┼─────────────────────────────────────┘ + │ 召回结果给 agent + ▼ + ┌─────────────────────────────────┐ + │ agent query │ + └─────────────────────────────────┘ +``` + +**心智循环回答四个根本问题**: + +| 问题 | 谁回答 | +|---|---| +| 我经历过什么? | auto-memory(daily 入流) | +| 我从中学到什么? | Stage 1 — auto-dream | +| 这些知识如何长期组织? | Stage 2 — auto-consolidate | +| 我需要时如何调用? | Stage 3 — auto-recall | + +memory 负责"经历落地",cognition 三阶段负责"已落地经历的认知循环"。 + +--- + +## 1. 三阶段全景 + +| 阶段 | 神经科学类比 | 时间尺度 | 改 vault | 实现归属 | +|---|---|---|---|---| +| **Stage 1 dream** | REM 重放抽象 | 同步(随入流即跑) | 是(写 digest body) | `auto_dream_design.md` | +| **Stage 2 consolidate** | NREM 深度巩固 | 周期 / idle(daily / weekly)| **否**(写 `meta/` + `audit/`)| `auto_consolidate_design.md` | +| **Stage 3 recall** | 觉醒态 cue retrieval | 同步(query 触发) | 否(只读;唯一对外写是 `meta/access_log.json`)| `auto_recall_design.md` | + +**关键的不对称**: +- 写入与检索是**同步**的(用户 / agent 等待),巩固是**离线**的(idle / 周期) +- 改 vault 的资格被严格限制在 **dream + consolidate 中的 split** —— 其它阶段全只读 +- 三阶段时间尺度差三个数量级,这是设计形态(同步 vs 异步 vs idle)的根本来源 + +--- + +## 2. 系统级能力(贯穿三阶段) + +不属任何单阶段,但任一阶段不能违反: + +| 能力 | 含义 | +|---|---| +| **事实层 vs 派生层分离** | vault 只承载经 LLM 写入认证的关系(显式 wikilink);`meta/` 承载概率推断的派生指标(community / recency / archived);两者绝不混同 | +| **不变量守恒** | F-invariants(0 文件移动 / 改正文限定 subject / wikilink 是 body 一部分)+ E-invariants(边守恒 E-1/E-2/E-3)横跨三阶段;详 `auto_dream_design.md` §4.3-§4.4 | +| **阶段独立演化** | 任一阶段算法升级不破坏其它阶段(community 算法换 → dream 不变;打分公式调 → consolidate 不变) | +| **缺失即降级** | 任一派生信号缺失,系统降级而不崩;冷启动可用 | +| **全程可审计** | 每阶段产 audit / report / log,人 / agent 可检视追溯 | + +--- + +## 3. Stage 1 — auto-dream:经验 → 抽象 + +**类比**:REM 睡眠的记忆重放与抽象提炼。脑在做梦时把白天事件拆解、重组,提取出可泛化的模式,登记进皮层 schema。 + +**根本目的**:把"原始经历"转化为"长期值得调取的教训",同时把它编织进已有知识图谱。 + +### 3.1 五个能力维度 + +逻辑递进 —— 输入 → 抽象 → 整合 → 编织 → 写入: + +| # | 能力 | 它在问什么 | 失效后果 | +|---|---|---|---| +| 1 | **抽象判断**(gate) | 这段材料里有"值得长期记住"的东西吗? | 噪声进 vault / 只蒸馏不抽象 | +| 2 | **经验重放**(召回) | 这个抽象在已有记忆里**已经存在**吗?以什么形式? | 重复节点 / 错过整合机会 | +| 3 | **整合决策** | 创建新节点,还是丰富已有节点?若已有 —— 是再次印证 / 精化范围 / 修正错误? | 已有信息丢失 / 错误没纠正 | +| 4 | **关系编织** | 这个抽象与谁有关系?谁是它的来源? | wikilink 缺失,后续 retrieve 漏召 | +| 5 | **写入安全** | 写入会不会破坏 vault 既有事实?并发冲突如何处理? | 边丢失 / race condition | + +### 3.2 关键定性 + +- dream 是 vault 的**唯一写者**(在 cognition 三阶段里;memory 写 daily 不算) +- **写入瞬间是关系建立的唯一可信时机** —— 错过的关系不靠后台扫回(那不是 consolidate 的工作) +- 一次写入,所有未来检索受益(持久化优于实时计算) + +详细机制见 `auto_dream_design.md`。 + +--- + +## 4. Stage 2 — auto-consolidate:抽象 → 网络 + +**类比**:NREM 慢波睡眠的系统巩固 + 突触代谢稳态。脑在深睡时把分散事件融入 schema、修剪弱连接、把长期不用的记忆淡出意识可达范围。 + +**根本目的**:跨时间累积地把 vault 从"一堆节点"组织成"有结构、有权重、有时效的网络",但**只产派生信号,不污染事实层**。 + +### 4.1 五个能力维度 + +按作用尺度从微观到宏观: + +| # | 能力 | 作用尺度 | 类比 | 输出形态 | +|---|---|---|---|---| +| 1 | **结构维护** | 节点级 | 海马表征过密 → 分化新单元 | 改 vault(split,唯一例外)| +| 2 | **跨节点关系发现** | 节点对级 | 多次睡眠中识别"同一件事" → schema | `audit/` 报告 | +| 3 | **主题集群形成** | 子图级 | 皮层网络的功能性分区 | `meta/communities.json` | +| 4 | **时效性管理** | 节点级 / 时间维度 | 突触代谢稳态 + 遗忘 | `meta/access_log.json` + `meta/archived.json` | +| 5 | **健康监控** | 系统级 | 神经环路诊断 | 告警 / 严重告警 | + +### 4.2 关键定性 + +- consolidate 是**纯只读 + 派生写**(读 vault,写 `meta/` + `audit/`) +- **唯一例外是 split** —— 改 vault 的维护任务,但触发严格(D3 inline 写后)且只改自身负责的 parent + children +- **关系判断有错率 → 报告优先,人/agent 介入,不主动合并**(夸大置信度的代价是污染事实层) +- 离线 / 周期 / idle —— 与前台不抢资源;失败不影响主流程,下次重跑 + +详细机制见 `auto_consolidate_design.md`。 + +--- + +## 5. Stage 3 — auto-recall:网络 → 答案 + +**类比**:觉醒态的 cue-driven retrieval + pattern completion。脑接到 query,激活相关皮层模式,补全成完整答案;同时召回过程本身强化被用到的记忆痕迹。 + +**根本目的**:接到当前 query 时,从 vault + 派生信号合成最相关的过去经验 —— 既要**覆盖率**(不漏)也要**信噪比**(不冗余)。 + +### 5.1 五个能力维度 + +按召回流程从输入到输出: + +| # | 能力 | 它在解决什么 | +|---|---|---| +| 1 | **多路召回** | 不同问法走不同算子(state / semantic / topological 三分立);agent 自选,不强加聚合 verb | +| 2 | **多信号融合** | 单一文本相似度不够 —— 还要节点权威性 / 主题集群 / 时效性;乘法融合 | +| 3 | **信噪比管理** | 节点级去重 + 节点级 surface(frontmatter 一同呈现)+ multi-hop 可控展开 + 冷藏过滤 | +| 4 | **召回反馈** | 被命中的节点 → 写访问日志 → 影响下次 recency / archived 判定 | +| 5 | **鲁棒降级** | 派生信号缺失 → 退到基础召回;version 不兼容 → warning + 跳过该因子 | + +### 5.2 关键定性 + +- recall 是**只读** —— 唯一对外写入是 `meta/access_log.json`(经 ring buffer + consolidate 聚合) +- recall **不引入新 L4 模块**(`structure.md` ✗-15)—— 三种问法分别由 L3 原子工具(`list_step` / `search_step` / `traverse_step`)直接覆盖 +- 默认路径 **0 LLM 调用**(信号都是离线维护好的);LLM rerank / query rewrite 是 SDK 上层选项 + +详细机制见 `auto_recall_design.md`。 + +--- + +## 6. 能力地图(横切视角) + +15 维按"作用对象"重排,可以看到三阶段如何分工: + +| 作用对象 | dream(写入) | consolidate(巩固)| recall(检索)| +|---|---|---|---| +| **节点(单个)** | 1 抽象判断 / 3 整合决策 / 5 写入安全 | 1 结构维护(split) | 3 信噪比(节点级合并/surface) | +| **节点对 / 关系** | 4 关系编织(wikilink) | 2 跨节点关系发现(dups 报告) | (消费已有边,不产新关系) | +| **子图 / 集群** | 2 经验重放(召回邻居) | 3 主题集群形成(community)| 2 多信号融合(community boost) | +| **时间维度** | (写入瞬间) | 4 时效性管理(decay / archived)| 4 召回反馈(access log)| +| **系统健康** | 5 守恒校验 | 5 健康监控(D1 / D10) | 5 鲁棒降级 | +| **入口形态** | 异步 fan-out per sub-unit | 周期 batch / idle | 同步 query response | + +**几个观察**: +- "节点对 / 关系"列在 recall 是空 —— recall 不产新关系,只用已有边(避免 query-time 高成本推断) +- "时间维度"行 dream 缺位 —— 写入瞬间无"时间维度"概念(那是 consolidate 后续才能提取的统计) +- 每行至少有一个阶段负责 —— 没有能力被全阶段忽略 + +--- + +## 7. 跨阶段不变量 + +所有阶段共同遵守的硬约束。任何阶段越界 = 设计错误。 + +### 7.1 F-invariants(继承 `auto_dream_design.md` §4.3) + +| # | 约束 | 跨阶段含义 | +|---|---|---| +| F-1 | 0 文件移动 | 没有任何阶段可以 move 文件;rename 走 `wikilink_handler.retarget_links` 显式路径 | +| F-2 | 改正文限定 subject | dream 改 subject body / consolidate split 改 parent + children body;**recall 绝不改任何 body** | +| F-3 | maintainer 只做 split | consolidate 内的结构维护只做 split;无 merge / dissolve / re-edge | +| F-10 | inbound 不动 | split 后外部 wikilink 仍指 parent,不强制重定向 | +| F-11 | wikilink 是 body 一部分 | 没有"独立的边";所有关系变化是 body 编辑副作用 | + +### 7.2 E-invariants(边守恒) + +- E-1:dream update 出边 ⊇ 原出边 +- E-2:split 后 `(parent_new ∪ ∪children_outbound) ⊇ parent_old` +- E-3:inbound wikilink split 时不动 + +**recall 不写 body** → E-* 与之无关;但 recall 看到的 wikilink 图永远是 dream / split 守恒后的状态。 + +### 7.3 派生信号边界 + +- **consolidate / recall 不写 vault** —— 关系判断、活跃度统计、社区划分都是概率推断,不污染事实层 +- **`meta/*.json` 不被 retrieve 召回** —— 只作权重信号,不进入"召回结果"集合 +- **audit/ 不被自动消费** —— 报告永远等待人 / agent 介入,不闭环回写 + +--- + +## 8. 跨阶段数据流(契约总览) + +``` +┌──────────────┐ wikilink ┌──────────────┐ +│ auto-dream │─落 body──►│ vault/ │ +│ (Stage 1) │ │ (事实层) │ +└──────────────┘ └──────┬──────┘ + │ 只读 + ▼ + ┌──────────────────┐ + │ auto-consolidate │ + │ (Stage 2) │ + └─┬────────┬───────┘ + │ │ + meta/ 元数据───┘ └─── audit/ 报告 + (派生层) (人工介入) + │ + │ 只读 + ▼ + ┌──────────────┐ + │ auto-recall │ ◄─ user query + │ (Stage 3) │ + └──────┬───────┘ + │ 命中钩子(异步) + ▼ + meta/access_log.json + (recall 唯一对外写入,经 consolidate 聚合) +``` + +| 产物 | 路径 | 写入者 | 读取者 | 缺失行为 | +|---|---|---|---|---| +| **vault wikilink** | `digest/**.md` body | dream / split | recall(图遍历) | — | +| **dups 报告** | `audit//auto_link_dups.md` | consolidate | 人 / agent | — | +| **communities** | `meta/communities.json` | consolidate | recall | 不做同社区 boost | +| **access log** | `meta/access_log.json` | recall(写命中) + consolidate(聚合) | recall(读 recency)| recency_factor = 1.0 | +| **archived list** | `meta/archived.json` | consolidate | recall(默认过滤)| 不过滤 | +| **centrality** | `file_graph` 反向索引(实时,不存)| 自动 | recall(O(1) 查) | — | + +**契约稳定性**:`meta/*.json` 都带 `version` + `computed_at`;recall 启动时校验 version,不兼容则降级。 + +**冷启动**:`meta/` 为空 → recall 仍能跑(base + centrality + 图)→ 排序略弱不崩。 + +--- + +## 9. 系统级断言(把"要什么"提炼到 5 条) + +1. **抽象与事实分层** —— vault 是经 LLM 写过的事实;`meta/` 是统计 / 算法的派生;两者绝不混同 + +2. **关系建立的时机集中在写入瞬间** —— dream 写入是关系唯一可信来源;consolidate 不补 vault 关系,recall 不预存关系矩阵 + +3. **维护是离线的派生劳动,不是补救** —— consolidate 不修 dream 的疏漏(那叫返工),它做的是 dream 不擅长的事(全局视角 / 统计视角 / 时间视角) + +4. **检索是融合,不是检索** —— recall 的价值不在"找文本相似",而在"把文本 / 图 / 时效 / 权威多个独立信号合成一个答案" + +5. **整个心智循环可降级** —— 任一阶段失效或失准,整个系统降级而不崩;冷启动有意义;dogfooding 可演进 + +--- + +## 10. 与 auto-memory 的边界 + +auto-memory 写入的 daily event 节点也是图的一部分(承载 daily → digest 的 `derived_from::` 边)。但 daily 节点**不参与 cognition 三阶段的全部改造**: + +| cognition 阶段 | 是否触及 daily | +|---|---| +| **dream** | 只读(作为入流之一) | +| **consolidate** | 不参与 dups / community / decay(daily 是时间索引,本质不去重 / 不冷藏) | +| **recall** | 三层并行召回时 daily 也参与命中(`structure.md` R-2 默认 `digest > daily > resource`) | + +**关键约束**:cognition 三阶段任何子阶段都**不改写 daily**(无写回路径);daily 由 auto-memory 写完即只读。 + +--- + +## 11. 演进 / 待补 + +**当前实现状态**: +- ✅ Stage 1 dream 已实现并跑通(`reme/steps/evolve/dream.py` + `dream.yaml`) +- ⏳ Stage 2 consolidate split 部分将实现;dups / community / decay / archived 待实现 +- ⏳ Stage 3 recall 增强未实现(当前 search.py 已有 vector + keyword + RRF + 一跳 expand) + +**顶层级演进议题**(不属任何单阶段): +- ⏳ **能力成熟度路标** —— 把 15 个能力维度按 M0(必须)/ M1(期望)/ M2(演进)分级 +- ⏳ **跨阶段集成测试** —— vault 从空到充实的端到端 dogfooding,验证三阶段配合是否符合"心智循环"预期 +- ⏳ **可观测性聚合** —— 三阶段各自的 audit / log 现在分散;是否需要统一的 cognition 健康面板 + +各阶段实现进度详见各自文档的"下一步"章节。 diff --git a/docs/old/auto_consolidate_design.md b/docs/old/auto_consolidate_design.md new file mode 100644 index 00000000..8deccac2 --- /dev/null +++ b/docs/old/auto_consolidate_design.md @@ -0,0 +1,741 @@ +# auto-consolidate 设计(Stage 2 巩固:主动解决 vault 长期演化的实际问题) + +> 本文档:reme 中 **auto-cognition 三阶段** 的 **Stage 2 — 巩固阶段** 实现。覆盖 vault 长期演化中累积的实际问题(冗余 / 过载 / 稀疏 / 腐败 / 抽象缺位),通过周期 batch + 写后 inline 的方式**主动改 vault**,让记忆系统保持健康。 +> +> 配套阅读: +> - `auto_cognition_design.md`:三阶段顶层心智循环 +> - `auto_dream_design.md`:Stage 1 写入 / 节点 + 边模型 / F-invariants 原始定义 / 边守恒 +> - `auto_recall_design.md`:Stage 3 检索 —— 消费本文档产出的信号 +> - `auto_memory_design.md`:auto-memory 写 daily,daily 节点不参与本文档的巩固改造 +> - `structure.md` §3.6(maintain 动作语义) +> +> **核心立场**: +> - consolidate **不是产报告等人介入**,是**主动解决问题** —— 类比 NREM 慢波睡眠的 systems consolidation:跨多事件抽 schema、修剪弱连接、稳态突触强度。这些都是真实发生的改造 +> - vault **会被 consolidate 改**,但每个动作有严格的**置信度门槛 + 守恒规则 + 审计 trail + 渐进 rollout** +> - 灰色地带(置信度不够)才产报告等人介入;高置信度自己解决 +> - **community detection 是巩固的中枢** —— P0 基础设施,P1-P3 三个动作(abstract / merge / reinforce)都依赖它 + +--- + +## 0. 问题陈述与五大动作全景 + +dream 写入是单点视角,有三类视野局限:**写入瞬间没有跨节点视角 / 跨时间视角 / 全局拓扑视角**。这些局限会让 vault 长期演化中累积五类实际问题: + +| # | 问题 | 类比 | 表现 | 解决 | +|---|---|---|---|---| +| 1 | **冗余** | 同事件留下重复记忆痕迹 | dream 漏判去重 / 术语演化 / 跨桶建成两份 | merge | +| 2 | **过载** | 单一突触表征过密 | 节点 body 累积过长 / 单节点杂糅多主题 | split | +| 3 | **稀疏** | 应有连接未建立 | dream 写入瞬间漏召回的相关节点 / 反复共现但无 wikilink | reinforce | +| 4 | **腐败** | 长期不激活的痕迹 | 旧节点过时 / 半年没人读 / 内容已被矛盾 | archive | +| 5 | **抽象缺位** | 跨多 instance 缺 schema | vault 只有原子节点,没有"主题层"视角承接全局问 | abstract | + +### 0.1 四大动作 + 优先级 + +| 优先级 | 动作 | 解决问题 | 触发节奏 | 改 vault | 风险 | 收益 | +|---|---|---|---|---|---|---| +| **P0** | **community detection** | (基础设施) | weekly batch | 否 | 0(只产 meta) | 基础(下游动作的依据)| +| **P1** | **abstract** | 抽象缺位 | weekly batch(基于 P0) | 是(新建 summary) | 低(additive) | **最高**(GraphRAG 核心) | +| **P2** | **merge** | 冗余 | weekly batch(基于 P0) | 是(合并 + retarget) | 高(lossy) | 中(消除可见冗余) | +| **(独立)** | **split** | 过载 | inline 写后(D3) | 是(拆 parent + children) | 低 | 中 | +| **(独立)** | **archive** | 腐败 | daily batch | 软(meta 标记) | 0 | 中 | +| ~~P3 reinforce~~ | **已并入 dream synapse** | 稀疏 wikilink | 由 dream Phase 2 step 4 织突触承担 | (不在 consolidate 范围内) | — | — | + +**关键论断**: +- **P1 比 P2 优先** —— abstract additive 失败可逆且回报最大;merge lossy 失败要回滚 inbound,价值是消除冗余(必要但不增能力)。 +- **reinforce 已取消**(2026-06-02)—— 详 §4 标作废说明;wikilink 稀疏的解决方案是 dream Phase 2 在写入瞬间多召回 + 织突触(详 `auto_dream_design.md` §4.2.2),不再由 consolidate 周期补救。 + +### 0.2 实施路径 + +``` +M0: P0 community detection (基础设施) + + split (已实现) + + archive (软标记,完全可逆) + +M1.1: P1 abstract (additive,最低风险开始改 vault) +M1.2: P2 merge (lossy,高门槛 + 多数票) + +M2+: 多层 abstract (L2 super-community) / delete + +reinforce: 不再排期 —— 已由 dream Phase 2 synapse 织突触承担 +``` + +### 0.3 显式排除 + +- ❌ 重做"抽象判断" —— gate 决策只在 dream(consolidate 不重新判定"该不该记") +- ❌ 重做"语义内容" —— UPDATE 三种 flavor(CORROBORATE / REFINE / CORRECT)只在 dream;consolidate 做结构层,不做语义层 +- ❌ 改 daily / resource —— consolidate 只动 digest 节点(I-2 / I-3 仍守) + +--- + +# Part A — community 工作群(本文档核心) + +P0-P3 四件套围绕 community detection 协同工作:**community 提供"哪些节点同主题"的判据,abstract / merge / reinforce 各自利用这个判据做不同的解决动作**。 + +## 1. community detection(P0,基础设施) + +**目的**:在 vault wikilink 图上做 community detection,产出"节点 → community_id"映射。这是 P1-P3 三个动作的**唯一前置**。 + +### 1.1 算法选择:Leiden + +| 选项 | 评估 | +|---|---| +| Louvain | 经典,但有 resolution limit + disconnected community 风险 | +| **Leiden** ✅ | Louvain 改进版(2019),稳定性显著好;GraphRAG 采用;Python `igraph.community_leiden` 现成 | +| label propagation | 实现最简,但结果不稳定(随机种子敏感) | + +**首版决策:Leiden**,直接对齐 GraphRAG 路线,后续接它的多层抽象更顺。 + +### 1.2 图的形态 + +| 维度 | 决策 | +|---|---| +| **节点范围** | **只 digest 节点**;daily / resource 不参与 | +| **边权重** | **首版 unweighted undirected**(所有 wikilink 等权)—— 加权方案(predicate 类型加权)留 M2+ 视效果 | +| **跨桶 community** | **必须允许** —— bucket 是物理归档,community 是语义聚合,二者本就正交。"错桶节点"会被自然纳入 community,可作 audit 信号但不强制 move(F-1 守住)| +| **resolution** | **1.0 起步**(Leiden 默认 / GraphRAG 默认)—— dogfooding 后视 community 平均规模(理想 5-15 节点)调 | +| **更新模式** | **全量重算**;vault 千节点级 Leiden < 1 秒,M0/M1 不引入增量复杂度 | + +### 1.3 多层级:M1 只 L1 + +| 层数 | 适用 | reme 决策 | +|---|---|---| +| 单层 L1(原子 → community)| vault < 500 节点足够 | **M1 起步** | +| 双层 L1 + L2(community → super-community) | vault > 500 节点 / 跨主题大类涌现 | M2+ 视规模 | +| GraphRAG 4 层 | 大规模文档库 | M3+ 不优先 | + +理由:GraphRAG 论文证明 L1 拿走 60-80% 效果。先把 L1 跑稳,L2 看实际是否需要。 + +### 1.4 输出 + +**`meta/communities.json`**: +```json +{ + "version": 1, + "computed_at": "2026-06-08T03:00:00Z", + "algorithm": "leiden", + "resolution": 1.0, + "communities": { + "digest/auth/jwt-rotation.md": "c_07", + "digest/auth/oauth-flow.md": "c_07", + "digest/api/rate-limit.md": "c_12" + }, + "stats": { + "n_communities": 14, + "median_size": 7, + "max_size": 23 + } +} +``` + +**`meta/community_changes.json`**(供 abstract 稳定度判据): +```json +{ + "computed_at": "...", + "previous": "...", + "stability_per_community": { + "c_07": 0.92, // 1 - (Jaccard 距离与上周该 community 节点集) + "c_12": 0.45 // 不稳定,abstract 跳过 + } +} +``` + +### 1.5 community_id 不需要稳定 + +下游(abstract / merge / reinforce)只关心"两节点是否同 community";id 本身可重排。每周重算后 id 不需要保持与上周对齐。stability 信号通过节点集 Jaccard 距离计算,不依赖 id。 + +### 1.6 用途总览 + +| 下游 | 用法 | +|---|---| +| **abstract**(§2)| 判据"该 community 节点数 ≥ N + 稳定度满足 + 无 hub" → 创建 summary | +| **merge**(§3)| 候选 pair 必须在同 community(降错率;不同 community 的相似 description 多是同名异义)| +| **reinforce**(§4)| 候选 wikilink 必须在同 community(避免假关联)| +| **recall**(`auto_recall_design.md` §3) | 同 community 节点 boost | + +--- + +## 2. abstract(P1,抽象提升) + +**类比**:NREM systems consolidation —— 跨多次睡眠把分散事件抽出共同 schema,从 episodic 升到 semantic。 + +**目的**:vault 演化到一定规模后,某些 community 形成稳定主题群,需要一个 hub 节点统领,让 retrieve 能召回到"主题概览"而非散点。 + +### 2.1 等价处理立场(关键) + +**summary 节点完全等同普通节点**: + +| 维度 | 决策 | +|---|---| +| **路径** | LLM 选桶,正常 slug 命名(如 `digest/auth/authentication-mechanisms.md`);**无 `__community__` / `__hub__` 等结构性标识** | +| **frontmatter** | 仅 `name + description`(reme 核心保留);**无 `kind: community_summary`、无 `auto_generated`** | +| **summary 性质** | 完全体现在 **body 形态** —— 主题概述 + 列出 source 节点 wikilink + 跨节点 pattern;但这是内容自然形态,不是结构性宣告 | +| **后续维护** | **无** —— 跟其它节点等价,被 dream / split / merge / archive 自然演化(参见 §2.6) | + +这跟 dream 的核心立场对齐:"节点角色由 body 内容决定,不由 frontmatter 类型标记"。abstract 是"用一种新方式创造节点",不是"创造一种新节点类型"。 + +### 2.2 触发判据(组合门槛) + +``` +weekly batch: + for community in communities.json: + if community_has_hub(community): # §2.5 结构化判据 + continue + if len(community) < MIN_NODES (5): # 节点数门槛 + continue + if stability(community) < 0.7: # 稳定度门槛 + continue + if active_node_count(community, 30d) < 3: # 活跃度门槛 + continue + if name_diversity(community) < 0.5: # 多样性门槛 + continue + → enqueue abstract job +``` + +| 门槛 | 默认 | 含义 | 防的是 | +|---|---|---|---| +| **节点数** | ≥ 5 | community 大小 | 给 2-3 节点造 hub 不划算 | +| **稳定度** | ≥ 0.7 | 与上周边界 Jaccard 距离 | 给短命 community 造 hub 浪费 | +| **活跃度** | ≥ 3 节点近 30 天 hit | community 仍在用 | 给死社区造 hub(下次没人看)| +| **多样性** | name 差异度 ≥ 0.5 | frontmatter `name` 互不相同 | 给"一组重复节点"造 summary —— 那是 merge 的事 | + +### 2.3 创建动作 + grounding 守恒 + +``` +LLM 看 community 内所有节点 (frontmatter + body) + ↓ +产 planned summary body (三段): + 1. 主题概述 (1-2 段,跨多节点共同主题) + 2. 关键支柱 (列表,3-5 节点 + 一句话 + wikilink) + 3. 不在概览的细节 (明说哪些细节留原节点) + ↓ +长度限制: summary body < 1500 token + (防 abstract 创建后立刻被 split 触发,§5) + ↓ +LLM 决定 path: digest//.md + ↓ +CAS 写入 (§9) + 双重守恒校验: + - 机械: 出边集合 ⊇ "关键支柱"声称引用的节点 (防套话) + - 机械: 出边集合 ⊇ source_nodes 的至少 60% (allow LLM 漏列少数) + ↓ +audit 记录: audit//consolidate_actions.md +``` + +**grounding 守恒**:summary body 中**声称引用某节点必须真写 wikilink**。LLM 不能仅口头提及"我们在 X 中看到..."而不带 `[[X.md]]`。这是机械可校验的,LLM 跑不掉。 + +### 2.4 长度限制为什么重要 + +summary body < 1500 token 是**与 split 互锁的机制**: + +- 不限长 → LLM 会写"完整覆盖" → 最终 body 累积接近 split 阈值(2000 token)→ 下次 D3 触发拆 → 拆出来的 children 又被 community 视为同主题 → 下次 abstract 又造一个 hub → 循环 +- 限长 1500 → summary 留出 split 阈值的 25% buffer,稳定不触发拆 + +### 2.5 "community 已有 hub"的结构化判据 + +不靠 frontmatter / 路径标识,靠**结构**: + +``` +def community_has_hub(community): + for node in community: + out_targets = outbound(node) ∩ community + if len(out_targets) / len(community) >= 0.6: + return True # 该节点出边覆盖 community 60% 以上 → 它已是 hub + return False +``` + +**好处**: +- split parent overview 自然被识别为 hub(split parent 出边覆盖大部分 children)→ abstract **复用** split 的工作,不重复创建 +- 已有 abstract 创建过的节点,只要它出边没退化,下次 batch 自然识别为 hub,不重复创建 +- 节点被 dream update 后形态变化,出边变了 → 自动重新评估 + +**M1 实施关键验证点**:跑实测验证这个涌现 —— split parent 是否真被识别为 hub。如有 corner case,调阈值 0.6 → 0.5 / 0.7。 + +### 2.6 后续维护:无 —— 完全靠 5 大动作演化 + +abstract 创建即放归 vault,**consolidate 不再"管"它**。后续命运: + +| 演化路径 | 结果 | +|---|---| +| 新材料触及该主题 | dream update 自然修正 body(走 CORROBORATE / REFINE / CORRECT)| +| 老 summary 长期不被引用 | archive 自动归档(§6)| +| community 边界变了 → 下次 batch 创建新 summary | 新老 summary 描述同主题 → merge 自动合并(§3)| +| summary body 累积过长 | split 自动拆(§5)| + +这是真正的"vault 自我代谢"。**没有特殊维护通道**。 + +--- + +## 3. merge(P2,同概念合并) + +**类比**:NREM 跨多次睡眠识别"同一件事" → 合一个记忆痕迹。 + +**目的**:消除 vault 内的冗余 —— 同概念多节点。 + +### 3.1 候选挖掘(community 内三层过滤) + +``` +weekly batch (依赖 community detection): + for community in communities: + pairs = all_pairs(community) + for (A, B) in pairs: + if description_sim(A, B) < 0.6: # 第一层: frontmatter 相似 + continue + if body_topic_overlap(A, B) < 0.5: # 第二层: body 主题词重合 + continue + if cooldown_active(A) or cooldown_active(B): # 第三层: cooldown 检查 + continue + candidates.append((A, B)) +``` + +**关键约束**:候选必须在**同 community**(降错率)。 + +### 3.2 多数票决策 + +merge 是高风险动作(lossy + 改 inbound),用多数票降错: + +``` +for (A, B) in candidates: + votes = parallel_run(N=3, prompt="A 和 B 是否同一概念? 返回 {is_same, confidence}") + agree = sum(v.is_same and v.confidence >= 0.8 for v in votes) + if agree >= 2: + → enqueue merge job + elif agree == 1: + → 写 audit//dups_uncertain.md (灰色地带,人介入) + else: + → 丢弃 +``` + +### 3.3 merge 动作:body 重写归 consolidate(方案 B) + +**关键决策**:merge 后的 body 由 **consolidate 自跑合并 prompt**,不走 dream update 路径。 + +| 方案 | 评估 | 决策 | +|---|---|---| +| A. 走 dream update 路径(把 loser body 作"新材料")| 优雅但跨阶段;dream 不应知道 caller 是 consolidate 还是新材料 | ❌ | +| **B. consolidate 自跑合并 prompt** | 简单自包含;通过严格 prompt 约束化解"做语义工作"张力 | ✅ | +| C. 不重写 body(留 redirect stub) | 完全不做语义,但 vault 留无用节点 | ❌ | + +**B 方案的边界守住**(避免 consolidate 真在做语义判断): + +| 边界 | 含义 | +|---|---| +| **prompt 严格约束** | "只合并不精化" —— 不重写措辞、不加新内容、不做精化决策 | +| **机械守恒** | 出边 ⊇ A.outbound ∪ B.outbound + provenance 全保留(LLM 跑不掉) | +| **信息守恒抽样** | LLM 自检 "merged.body ⊇ A.body ∪ B.body 全部信息";audit 抽样人审 | +| **失败拒写** | 守恒校验失败 → LLM 重试一次 → 二次失败拒写 + audit | + +### 3.4 完整动作流 + +``` +A, B → 选择 winner (path): + - inbound 数大者赢 (保护既有 inbound,降 retarget 量) + - 平局取路径短者 + ↓ +LLM 跑 merge prompt → planned merged_body (B 方案) + ↓ +机械 retarget 准备: + - 扫所有 inbound(loser): [[loser.md]] → [[winner.md]] + - alias 保留;predicate 保留 + - 这是机械算子,非 LLM + ↓ +事务式 CAS 写入: + 1. winner body 改写 + 2. 所有 inbound 节点 body 改写 (retarget) + 3. 删除 loser 文件 + 任一步失败 → 全部回滚 + ↓ +audit 记录 + cooldown 设置 (winner 进 cooldown 2 weeks) +``` + +### 3.5 灰色地带:报告 + +- 多数票通过(agree ≥ 2)→ 自动 merge +- 仅 1 票通过 → 写报告 `audit//dups_uncertain.md`,人 / agent 介入 +- 0 票 → 丢弃 + +报告格式: +```markdown +# dups uncertain 2026-06-08 + +## pair 1 (1/3 votes) +- A: digest/auth/jwt-rotation.md ("JWT 密钥轮换") +- B: digest/security/key-rotation.md ("密钥轮换原则") +- vote 1 (yes, 0.85): "同一概念,A 偏 JWT 场景" +- vote 2 (no, 0.72): "B 是通用原则,A 是具体应用" +- vote 3 (no, 0.68): "粒度不同,不应合并" + +建议:走 dream update 通道把 A 内容作为 B 的实例并入。 +``` + +--- + +## 4. ~~reinforce~~(**已作废,2026-06-02**) + +> ⚠️ **本节作废,reinforce 已并入 dream Phase 2 synapse 织突触**(详 `auto_dream_design.md` §4.2.2)。理由: +> - reinforce 的本质 = "找语义相关但 wikilink 缺失的节点对,补 wikilink" +> - 但 dream Phase 2 在写入新节点瞬间已经在做同样的事(多召回 + 内化判 related + 织 `[[Y.md]]`) +> - 让 consolidate 周期事后补 wikilink = dream RECALL 不充分的兜底,与其兜底不如把 dream 召回做强 +> - F-2 自然守住:dream 只动新节点 body(自己的 subject),不需要 consolidate 改 leaf body 这种 F-2 破例 +> +> **新立场**:wikilink 的稀疏由 dream Phase 2 在写入瞬间一次性解决,vault 不维护"事后周期补 wikilink"的通道(`auto_cognition_design.md` §9.2 立场:关系建立在写入瞬间)。详 `hierarchical_summary.md` §13.2 Q4。 +> +> 以下保留原 reinforce 设计内容作为历史快照,**不实施**。 + +**(以下内容已作废,仅作历史快照)** + +**类比**:NREM 突触强化 LTP —— 反复共激活的连接被强化。 + +**目的**:vault 演化中,某些节点对应该有 wikilink 但 dream 写入时漏召。reinforce 周期检测并 additive 补。 + +### 4.1 候选挖掘(三层过滤) + +``` +weekly batch (依赖 community detection): + for community in communities: + for (A, B) in all_pairs(community): + if has_wikilink(A, B): + continue + # 第一层: 字符串 mention 锚点 + if not has_mention(A.body, B.frontmatter.name): + continue + # 第二层: embedding 相似度验证 + if embedding_sim(A.context_around_mention, B.body) < 0.7: + continue + # 第三层: 同 community (已经是,但显式说明) + candidates.append((A, mention_pos, B)) +``` + +**三层过滤的角色**: + +| 层 | 防的是 | +|---|---| +| 字符串 mention | 大幅降候选数(从 O(N²) 降到 O(实际共现)) | +| embedding 相似度 | 防同名异义("Apple" 公司 vs 水果)| +| 同 community | 防表面术语共现但语义无关 | + +### 4.2 决策(单票即可,门槛较高) + +reinforce 是 additive 低风险动作,不需要多数票: + +``` +for (A, mention_pos, B) in candidates: + vote = LLM("A.body 在该位置提到 B 的概念。是否合理加 [[B.md]] 链接?") + if vote.confidence >= 0.85: + additive_wikilink(A, mention_pos, target=B.path) + → CAS 写入 (E-1 自动满足:additive 只增不删) + → audit 记录 + else: + 丢弃 +``` + +### 4.3 边界 + +| 维度 | 决策 | +|---|---| +| **只 additive 加 wikilink** | 不改 body 文字,不升级 typed predicate(predicate 升级是语义判断,留 dream)| +| **alias 保留原文** | `[[B.md\|<原文 mention>]]`;原文一字不改 | +| **写入位置** | mention 第一次出现处加;后续保持原文(防 wikilink 满文) | +| **不动 anchor** | 与 dream 一致 | +| **守恒** | E-1 天然满足(纯增) | +| **rollback** | 误链发生时,人 / agent 直接编辑 body 删除 wikilink 即可;reinforce 不维护"我加过哪些"audit log(每次动作进 `audit//consolidate_actions.md`)| + +### 4.4 reinforce 与 dream 的边界 + +dream 写入时 LLM 应已尽力召回相关节点 + 加 wikilink。reinforce 是**周期性兜底** —— 写入瞬间漏的、术语后才一致的、被 split 拆出来后才相关的,在 reinforce batch 里被检出。 + +这不违反"consolidate 不修 dream 漏的"立场 —— **dream 漏的 wikilink 在巩固阶段补,是合法工作**(它的依据是 dream 单点视角永远做不到的"周期统计 + 全局视角");**dream 漏的语义抽象在巩固阶段不补**(那是 dream 的语义判断,consolidate 不重做)。 + +--- + +# Part B — 独立工作 + +P0-P3 围绕 community,这两个动作独立运行。 + +## 5. split(过载分化:inline 写后) + +**类比**:海马表征过密 → 分化新单元。 + +**目的**:节点 body 累积过长 / 主题离散后,拆成 parent overview + N children,保持单节点"一个原子语义单元"的粒度。 + +### 5.1 触发模型(写后立即,inline) + +split 是 5 大动作中**唯一 inline** 的 —— 跟 dream 写入流强耦合,不走 weekly batch: + +``` +dream / split 写 body 成功 (CAS 通过) + └─ if len(body) > T_token (default 2000): + └─ LLM 判离散度 + └─ if is_overloaded: + └─ enqueue split job (FIFO, CAS-protected) + └─ return (不阻塞 dream) +``` + +理由:节点过载是**写入瞬间的本地信号**(token + 离散度),延后无价值;反应即时。 + +### 5.2 split 动作 + +``` +LLM 看 parent body: + - 拆成 1 个 parent overview body + N 个 children body + - 每个 child 自带 [[parent]] 反向链接 + - inbound 不动 (F-10) + ↓ +机械 outbound 守恒校验 (E-2): + (parent_new ∪ ∪children_outbound) ⊇ parent_old + 失败 → LLM 重试 → 二次失败拒写 + audit + ↓ +事务式 CAS 写入: parent body 改写 + N 个新 children 文件创建 + ↓ +audit + cooldown 设置 (parent + children 进 cooldown,与 merge 互锁) +``` + +### 5.3 split 与 abstract 的协同(关键) + +| | 起源 | 方向 | 触发 | +|---|---|---|---| +| split overview | 单节点过载分化 | 自上而下(一拆多)| inline 写后 D3 | +| abstract summary | 多节点抽象凝聚 | 自下而上(多归一)| weekly batch + 稳定度阈值 | + +**协同**:split 产出的 overview 节点会被 §2.5 的"已有 hub"判据识别,abstract 不重复创建。两者互补,不冲突。 + +--- + +## 6. archive(时效衰减:让长期不激活的节点淡出) + +**类比**:突触代谢稳态 —— 长期不用的连接被减弱,但不删除。 + +**目的**:让 retrieve 默认排除"已不活跃"的节点,提升信噪比;不删 vault 文件,保持可逆。 + +### 6.1 recency_score:连续衰减信号 + +``` +recency_score(node) = + exp(-(now - last_update) / τ_update) # 时间衰减 + × (1 + log(1 + last_hit_count_30d)) # 活跃度增强 + × (1 + log(1 + inbound_count) / SCALE) # 中心性 cushion(避免 hub 被冷藏) +``` + +| 参数 | 默认 | 含义 | +|---|---|---| +| τ_update | 60 days | 时间衰减常数 | +| SCALE | 10 | 中心性 cushion 缩放 | + +输出:`meta/recency.json`,每节点 0.0~1.0 连续值。 + +### 6.2 archived 派生快照 + +archived 是 recency_score 的二元化派生: + +``` +archived = {node | recency_score(node) < 0.15} +``` + +输出:`meta/archived.json`,recall 默认过滤这个列表。 + +### 6.3 解冻 + +任何动作触及节点 → 自动从 archived 移除: +- retrieve 命中(写 access_log) +- dream update 触及 +- merge / reinforce 触及 + +下次 batch 时 recency_score 重算自然超过阈值。 + +### 6.4 daily 节奏 + +archive 是唯一不需要 community detection 的动作 → 节奏可以更快(daily batch),让冷启动后第二天就能影响 recall。 + +``` +daily batch: + 1. 读 access_log (retrieve / dream / consolidate 钩子记录的命中事件) + 2. 重算 recency_score for all digest nodes + 3. 输出 meta/recency.json + 4. 阈值过滤 → meta/archived.json +``` + +--- + +# Part C — 共享基础设施 + +## 7. F-invariants 松绑与守恒规则 + +旧 F-invariants(`auto_dream_design.md` §4.3)在"vault 只读"立场下定义,新立场要松绑。但松绑不是"自由改",是用**动作级守恒规则**换"一刀切禁令"。 + +### 7.1 F-invariants 修订 + +| # | 旧约束 | 新立场 | +|---|---|---| +| **F-1** | 0 文件移动 | **改为**:"非 consolidate 动作不移动文件";merge 删除 loser 文件是**合法移动**(逻辑上等价 retarget) | +| **F-2** | 改正文限定 subject | **改为**:"dream / split / reinforce 改 subject body;merge 在受控算子内可改 inbound 节点 body";其它阶段(recall)绝不改 | +| **F-3** | maintainer 只做 split | **作废** —— consolidate 5 大动作合法 | +| **F-10** | inbound 不动 | **改为**:"split 时 inbound 不动";merge 必须 retarget inbound(机械算子) | +| **F-11** | wikilink 是 body 一部分 | **保留** —— 没有"独立的边"基础设施 | + +### 7.2 动作级守恒规则矩阵 + +| 动作 | 置信度门槛 | 守恒规则 | +|---|---|---| +| **abstract** | community 节点 ≥ 5 + 稳定度 ≥ 0.7 + 活跃度 ≥ 3 + 多样性 ≥ 0.5 + 无 hub | 出边 ⊇ "关键支柱"列表 + 出边 ⊇ source 节点 60%(机械)| +| **merge** | LLM 多数票 ≥ 2/3 + similarity ≥ 0.6 + body overlap ≥ 0.5 | 信息守恒(merged.body ⊇ A ∪ B)+ 出边 ⊇ A.out ∪ B.out + inbound 全 retarget(机械)| +| **reinforce** | LLM 单票 ≥ 0.85 + 同 community + mention 锚点存在 + embedding ≥ 0.7 | E-1 天然(additive)| +| **archive** | recency_score < 0.15 | 软标记,无破坏性 | +| **split** | token > T + LLM 判离散 | E-2(parent ∪ children ⊇ parent_old)+ inbound 不动 | + +--- + +## 8. cooldown 与防循环 + +5 大动作之间的潜在循环: + +``` +A merge B → AB body 长 → split AB 回 A' + B' → 又 merge → ... +``` + +防御: + +| 互锁对 | 窗口 | 实现 | +|---|---|---| +| **split → merge** | 2 weeks | 刚 split 出的兄弟节点不参与 merge 候选 | +| **merge → split** | 2 weeks | 刚 merge 的节点不参与 split 评估(D3 检测时跳过)| +| **merge → merge**(同对反复) | 12 weeks | 同一 path 12 周内被 merge 又被识别为新 merge 候选 → audit 警报,人介入 | +| **abstract → merge**(同主题反复 abstract) | 4 weeks | 刚 abstract 出的 hub 节点 4 周内不参与 merge 候选 | + +cooldown 状态外置 `meta/cooldowns.json`,不污染 vault。 + +--- + +## 9. CAS 写入协议(共享基础设施) + +CAS 是 dream(`auto_dream_design.md` §4.2)、split / merge / reinforce / abstract(本文档)**多方共用**的 vault 写入协议。归本文档因 consolidate 是写入主战场。 + +archive 不写 vault → 不走 CAS;它写 `meta/`,各任务的 atomic write(write-temp + rename)即可。 + +### 9.1 协议 + +``` +1. 读 + 记戳: read body → version_stamp = sha256(body) | mtime +2. 决策: LLM / 算法 → 产 planned new_body +3. CAS 写入: 重读 body 比 version_stamp + - 未变: 跑动作级守恒校验 → 通过 → atomic write (write-temp + rename) → done + - 已变: 丢弃 planned new_body, 带最新 body 重走 step 1 +4. 守恒校验失败: LLM 重试一次, 二次失败拒写 + audit +5. 重做次数上限: 3 次 → 跳过候选 + audit log +``` + +### 9.2 事务式 merge / split 写入 + +merge 涉及多文件写入(winner body + N 个 inbound retarget + loser 删除);split 涉及多文件创建(parent body + N children)。需要事务语义: + +- 准备阶段:全部 planned new_body 写到 temp 区(带 version_stamp) +- 提交阶段:逐个 CAS 检查 + atomic write(write-temp + rename) +- 任一 CAS 失败 → 全部回滚(temp 区清理,已 rename 的恢复) + +实现细节:可借 fs-level 事务库(如 `pyrsistent` 模式)或自实现 journal。M0 起步用最简的"先全部检查 → 再全部写入"两阶段,接受窗口期(检查到写入间)的极小并发风险。 + +### 9.3 create 路径 race + +merge / abstract 都可能并发 create 同一 path → atomic create(`O_CREAT | O_EXCL`)只让一个赢;输者 EEXIST → 重走 step 1(此时大概率改判 update 或丢弃)。 + +### 9.4 不解决 + +- 跨进程并发(多 reme 实例同 vault)→ 不在 M0,需 fs lock(M1+) +- 高冲突 workload(同候选反复触发)→ 重做上限触发后 audit + +--- + +## 10. D 健康检查(D1 / D10) + +不属"巩固"主语义,但跟 consolidate 同节奏(周期 batch 顺手跑),归本文档: + +| # | 信号 | 节奏 | 修复策略 | +|---|---|---|---| +| **D1** | 断链(wikilink → 不存在 path) | 写时 inline + weekly batch 巡检(双重保险)| 就地删 wikilink 或保留 alias 文本 → audit | +| **D10** | provenance 断裂(digest 反指的 daily/resource 不可达)| 同上 | I-不变量违反 → 严重告警 + 人介入 | + +D1 / D10 不算 5 大动作之一(它们不解决"vault 演化问题",只检测异常)。但它们的修复(就地删 wikilink)需要走 CAS,所以协议共享。 + +--- + +# Part D — 契约与实施 + +## 11. 维护 → 检索契约 + +5 大动作产物给 retrieve 消费(详细 retrieve 逻辑见 `auto_recall_design.md`): + +| 产物 | 路径 | 写入者 | 读取者 | 缺失行为 | +|---|---|---|---|---| +| **vault 节点变化** | `digest/**.md` | merge / split / reinforce / abstract | recall(图遍历 / 命中) | — | +| **communities** | `meta/communities.json` | community detection | recall + abstract / merge / reinforce | 不做同社区 boost / 三个动作跳过 | +| **community changes** | `meta/community_changes.json` | community detection | abstract 决策 | abstract 跳过(无稳定度判据)| +| **recency** | `meta/recency.json` | archive daily batch | recall | recency_factor = 1.0 | +| **archived** | `meta/archived.json` | archive daily batch | recall(默认过滤)| 不过滤 | +| **cooldowns** | `meta/cooldowns.json` | split / merge | consolidate 内部 | 无防御循环 | +| **access_log** | `meta/access_log.json` | recall(写命中) + archive(聚合) | archive(读 recency) | recency 不衰减 | +| **dups uncertain** | `audit//dups_uncertain.md` | merge | 人 / agent | — | +| **consolidate actions** | `audit//consolidate_actions.md` | 全部 5 动作 | 审计 | — | +| **D1 / D10 健康** | `audit//health_*.md` | inline check + weekly | 人 / agent | — | + +**契约稳定性**:`meta/*.json` 都带 `version` + `computed_at`;recall 启动时校验 version,不兼容则降级。 + +--- + +## 12. 与 dream 模型的引用关系 + +本文档松绑了部分 F-invariants(§7),但仍在 dream 定义的底层模型上工作: + +| 引用 | 来源 | +|---|---| +| wikilink 基础语法 | `auto_dream_design.md` §3 | +| 节点 / 边模型 | `auto_dream_design.md` §4 / §2 / §3 | +| F-invariants 原始定义 | `auto_dream_design.md` §4.3(本文档 §7 修订)| +| 边守恒 E-1 / E-2 / E-3 | `auto_dream_design.md` §4.4 | +| 路径即 ID / rename | `auto_dream_design.md` §2 | +| anchor 不引入 | `auto_dream_design.md` §3 | +| provenance 载体形态 | `auto_dream_design.md` §4.2 | +| dream 写入路径 | `auto_dream_design.md` §4.2 | + +--- + +## 13. 下一步(M0 → M1.1 → M1.2 → M1.3 → M2) + +实现进入 `reme/steps/consolidate/` 时,本文档与 `auto_dream_design.md` / `auto_cognition_design.md`(顶层)/ `auto_recall_design.md` 共同作为契约依据。 + +### M0:基础设施 + 完全可逆动作 + +- ✅ split inline 触发 + LLM 离散度判 + E-2 守恒(基础部分) +- ⏳ **community detection weekly batch**(Leiden via `igraph`)+ `meta/communities.json` + `meta/community_changes.json` +- ⏳ **archive daily batch** + recency_score + access_log 收集 +- ⏳ CAS 写入框架 + version_stamp + EEXIST race + 重做上限 + audit +- ⏳ D1 / D10 写时 inline 检测 + weekly 巡检 + +### M1.1:abstract(P1,additive 最低风险) + +- ⏳ abstract 候选挖掘(community 大小 + 稳定度 + 活跃度 + 多样性 + 无 hub 五重判据) +- ⏳ abstract LLM prompt(三段输出 + 长度限制 1500 token) +- ⏳ grounding 守恒校验(出边 ⊇ 关键支柱 + 出边 ⊇ source 60%) +- ⏳ "已有 hub" 结构化判据(outbound 覆盖度 ≥ 60%) +- ⏳ **关键验证点**:实测 split parent 是否被识别为 hub + +### M1.2:merge(P2,lossy 高门槛) + +- ⏳ 候选挖掘(community 内 description 相似 + body 重合 + cooldown 检查) +- ⏳ 多数票框架(N=3 LLM,2/3 通过) +- ⏳ merge prompt(B 方案:"只合并不精化") +- ⏳ inbound retarget 机械算子(扫所有 `[[loser.md]]` → `[[winner.md]]`,alias / predicate 保留) +- ⏳ 事务式多文件 CAS 写入 +- ⏳ 灰色地带报告(`audit//dups_uncertain.md`) +- ⏳ cooldown 框架(`meta/cooldowns.json` + 各动作互锁) + +### M1.3:reinforce(P3,价值最低,可缓做) + +- ⏳ 候选挖掘(三层过滤:mention + embedding + 同 community) +- ⏳ 单票决策(门槛 0.85) +- ⏳ additive wikilink 写入(alias 保留原文) + +### M2+:演进 + +- ⏳ 多层级 community(L2 super-community)+ L2 abstract +- ⏳ delete(永久删除 vault 文件)—— 视 dogfooding 效果决定是否开启 +- ⏳ predicate upgrade(typed link reinforce —— 当前 reinforce 只 additive 加无谓词) +- ⏳ PageRank 替代 simple inbound count(若 retrieve 质量瓶颈在中心性) +- ⏳ 跨进程并发(fs lock 支持多 reme 实例同 vault) +- ⏳ Leiden 边权重(按 predicate 类型加权) diff --git a/docs/old/auto_dream_design.md b/docs/old/auto_dream_design.md new file mode 100644 index 00000000..cb8ed4f2 --- /dev/null +++ b/docs/old/auto_dream_design.md @@ -0,0 +1,352 @@ +# auto-dream 设计(桶 / 节点 / 边 / 演化) + +> 本文档:digest 沉淀层的**桶**(物理布局)/ **节点**(原子单元)/ **边**(wikilink)/ **演化**(dream create_or_update;split 归 maintain)。 +> +> 配套阅读: +> - `structure.md` §1.2(数据视角)/ §2(三层存储)/ §3.5(digest 动作) +> - `auto_memory_design.md`:daily 实时事件 = dream 的入流之一 +> - `auto_consolidate_design.md`:M split / D 检测 / CAS 写入协议(dream 模型的运行时实现) +> - `auto_cognition_design.md`:auto-cognition 三阶段顶层思想 —— dream 是其 Stage 1(写入阶段)的实现 +> +> **核心**:digest = **浅桶(shallow bucket)+ flat .md** + **一张图(节点 + 边)**;dream 定义模型与主流程(create_or_update),maintain 负责 split / 写入运行时。 +> +> **关键收敛**:digest 不分"逻辑层"。所有 .md 文件都是同一种节点,内容决定它扮演什么角色(主题概览 / 概念定义 / 方法描述 / 实体记录 ...)。"主题"从图中涌现,不是结构性宣告。 + +--- + +## 0. 问题陈述 + +digest 是 agent 长期记忆的"组织化沉淀"层,与三层架构的另两层职责互补: + +| 层 | 组织主轴 | 形态 | +|---|---|---| +| resource/ | 时间(`/`) | 外部原始资料,不可变 | +| daily/ | 时间 + 任务(`//`) | agent 任务过程,半可变 | +| **digest/** | **语义** | **跨任务知识,可重组** | + +dream 设计回答四个问题:**桶**怎么布局 / **节点**长什么样 / **边**怎么连 / **演化**谁负责怎么做。 + +--- + +## 1. 桶(物理布局) + +| 维度 | 决策 | +|---|---| +| **物理几何** | `digest//.md`;**浅桶一层**(顶多两层),桶内 flat | +| **bucket 角色** | **仅承担物理归档 + OS-level 浏览锚点**;不承担语义本体角色 —— 主题由图中节点表达 | +| **bucket 集合** | **代码内 hard-coded**(`reme/steps/evolve/dream.py` 的 `BUCKETS` 常量),不通过配置外置,不由 dreamer / maintainer 动态生成 —— 三桶设定是 dream 模型本身的一部分(Phase 2 prompt 按 bucket 专化),不是可调参数 | +| **集合视图** | 桶名内嵌在 prompt 中(extract 阶段三桶判别启发 + 三份独立 integrate prompt);不再生成独立 `_buckets.md` 视图 | +| **初始化** | opinionated **三桶**,按"答什么问 + 谁在问"划分:`procedure`(答"怎么做 X" —— 步骤 / 方法 / runbook)/ `personal`(答"X 是谁 / 喜欢什么 / 不要做什么" —— 用户 / 团队 specific 身份 + 偏好)/ `wiki`(答"X 是什么 / 发生了什么 / 决策依据是什么" —— 通用知识 / 定义 / 原则 / 观察 / 决策先例;**也是默认兜底**) | +| **bucket 主页** | 不强制存在;split 累积出层级时 parent 节点天然成为浏览主页(中心性涌现,非架构必需) | +| **新节点归属** | bucket 由 **Phase 1** 在 unit 级别分配(写进 `MemoryUnit.bucket`),Phase 2 据此分发到对应 bucket 的专用 prompt;LLM 不能造新桶 | +| **未归类节点** | Phase 1 找不到更明确归属时强制归入 `wiki` —— 它就是默认兜底,不是失败状态 | +| **跨桶 move** | F-1 已禁止;若必须做(人工介入修错桶),走一次 `wikilink_handler.retarget_links(old, new)` | + +**`wiki` 兜底桶**: + +| 维度 | 内容 | +|---|---| +| **语义** | "通用知识 / 默认归属" —— `wiki` 在三桶中 scope 最广(定义 / 原则 / 观察 / 决策先例),Phase 1 没有更明确归属(不属于 `procedure` 的可执行流程,也不属于 `personal` 的用户 specific 偏好)时归入此桶;**是合法常态,不是故障状态** | +| **路径** | `digest/wiki/.md`,与其它 bucket 完全等同;节点演化与其它桶一致 | +| **错桶后续** | 不主动跨桶 move;若严重,人工 mv + `retarget_links(old, new)` | + +**为什么 `wiki` 兜底,而不是另设 `unknown`**:三桶设计中 `procedure` / `personal` 都有明确语义边界,剩下的"X 是什么 / 决策依据 / 一般原则"自然落在通用知识那一边 —— 这恰好就是 `wiki` 的本职。再设独立 `unknown` 会出现两类语义重叠的兜底(`wiki` 的"通用知识" vs `unknown` 的"分类未定"),反倒让 LLM 在 Phase 1 多一道无意义的犹豫。`wiki` 节点本身就是合法常态,不需要后续清理。 + +**为什么是浅桶而不是深树**: +- 物理浏览有"主题轮廓"(打开 `digest/wiki/` 能看到这一族节点),不像纯 flat 那样毫无锚点 +- 节点不被深路径绑死("属 wiki/auth 还是 wiki/session"这种归属焦虑被消解 —— 一个节点可以同时被多个主题通过 wikilink 引用) +- F-1(0 文件移动)+ 平铺后,深树的核心收益(子树重组)消失,只剩深路径维护负担 +- **固定三桶的关键意义**:LLM 在 dream 桶决定时只做"分类"(三选一),不做"造类" —— 决策面坍缩,跨任务跨时间稳定;不会出现 "knowledge" / "wiki" / "concepts" 三个语义重叠的桶共存。三桶覆盖 personal-knowledge 的核心切片(做什么 / 谁喜欢什么 / 知识本身),进一步细分由桶内 wikilink 图自然涌现 + +**已排除**:动态扩桶 / 拒绝写入(候选丢失)/ 强行选最近似专属桶(本体污染) / 把 bucket 数推回 6+(决策面失控)。 + +--- + +## 2. 节点 + +| 维度 | 决策 | +|---|---| +| **粒度** | atomic;一个 .md 文件 = 一个原子单元(概念 / 方法 / 实体 / 案例 / 原则 / 主题概览)| +| **节点角色** | **由 body 内容决定,不由 frontmatter 类型标记**;同一节点扮演"主题概览"还是"具体方法",看它的 body 写了什么 | +| **身份(ID)** | **vault-relative 路径(含 `.md`)即节点身份** —— `digest/auth/jwt-rotation.md` | +| **`name` frontmatter** | 文件名 basename(不含扩展名),与文件名同步 —— 检索 hint / 人读标签,**不当 ID 用** | +| **frontmatter 保留字段** | 只有 `name` + `description`(reme 核心保留)| +| **可选 `kind` 字段** | 例:concept / procedure / preference / observation / ...;**消费层 schema 提示**,reme 核心透明,不读它做结构决策。与 bucket 是不同概念 —— bucket 决定物理归档(三桶)+ Phase 2 prompt 走哪份;`kind` 是更细粒度的 frontmatter 标签,留给消费层自由使用 | +| **文件名冲突** | 同 bucket 内文件名冲突 → 文件系统层断言(写入即拒);不需要独立检测信号 | +| **rename** | 一次 `wikilink_handler.retarget_links(old_path, new_path)`(机制现成);无 alias 表,无透明展开 | + +**为什么 atomic + 路径即 ID**: +- **节点粒度 = retrieve 精度上限** —— semantic 检索召回 "一个原子单元" 远比召回 "一个 5000 字的主题文档" 信噪比高 +- **wikilink 在 atomic 粒度才真有意义** —— `[[digest/auth/jwt-rotation.md]]` 指向"一个具体方法"比指向"auth 主题文档"精确一个数量级 +- F-1 + 平铺 + 下层 immutable 后,slug abstraction 的核心价值(移动鲁棒性)蒸发;路径作 ID 与 `wikilink_handler.py` 默认形态完全对齐(*Recommended form: full path relative to the vault with extension*) +- provenance wikilink 反指 daily/resource 本来就用路径,统一后整个 vault 一种 wikilink 形态 + +**"主题概览节点"靠内容识别,不靠前缀 / kind**:`hub__` / `topic__` 前缀**不存在**;文件名自然命名(`auth-fundamentals.md` / `jwt-rotation.md`)。主题概览身份是图位置(中心性 / split parent)+ body 形态共同涌现。 + +--- + +## 3. 边 + +参考实现:`reme/utils/wikilink_handler.py` + `reme/schema/file_link.py`。 + +| 形态 | 写法 | 说明 | +|---|---|---| +| **基础** | `[[.md]]` | literal,不隐含 `.md`,不自动短链补全 | +| **alias** | `[[path.md\|display-text]]` | rewrite 时 alias 保持 | +| **image** | `![[image.png]]` | 资源引用,不是知识边 | +| **可选谓词** | `predicate:: [[path.md]]`(行级)/ `[predicate:: [[path.md]]]`(内联) | Dataview 风格;谓词在 `[[]]` 外,`[[]]` 内只保留纯目标 | +| **谓词标识符** | `[A-Za-z][A-Za-z0-9_]*`(`is_a` / `extends` / `causes` / `references` ...) | 词表**开放**,任意标识符 | +| **未类型化合法** | 绝大多数 wikilink 不加 predicate;`predicate=None` 是默认 / 常态 | | +| **边唯一性键** | `(target_path, predicate)` 二元组 | 同源同标不同 predicate = 不同边 | +| **不引入 anchor** | digest 设计层不使用 `[[path.md#section]]` | `FileLink.target_anchor` schema 保留(供其它消费层),digest 层永远写 `None` | + +**reme 核心对 predicate 的"透明"边界**(关键): +- 横向 link/ retrieve 中心性 —— 都**聚合所有 predicate** 算,不分桶 +- 只有 edge 唯一性 / 反向索引会用到 predicate(否则 `[[A]]` 和 `is_a:: [[A]]` 会被当作同一条边互相覆盖) +- 消费层若要按 predicate 做更精细的推理(如"taxonomic 路径只走 `is_a` 边"),自己读 `FileLink.predicate` 即可 + +**与 `kind` 一致的立场**(与 [[reme_schema_layering]] 对齐):reme 核心**只有节点 + 边两种结构类型**;`kind` / `predicate` 都是内容标签,绝不参与"hub / topic / leaf"这类结构角色判断。 + +**为什么不引入 anchor**:LLM 想"指向具体子主题"时,**正确做法是让那个子主题升级为独立节点**(必要时通过 split),不在过载 parent 内部用 anchor 凑合。anchor 在 digest 层无语义;prompt 必须明确告知 LLM 写 wikilink 时不带 `#section`。 + +--- + +## 4. 演化 + +### 4.1 演化只做两件事 + +| op | 谁 | 何时 | 改什么 | +|---|---|---|---| +| **dream**(create_or_update) | dreamer(本文档 §4.2) | 入流(新材料进入) | 创建新节点 / update 已有节点 body(语义守恒重写;UPDATE 内分 **CORROBORATE / REFINE / CORRECT** 三种 flavor,详 §4.2.3) | +| **M split** | maintainer(`auto_consolidate_design.md` §1) | 节点过载(token / 主题离散度超阈值) | 把 parent body 拆成 parent overview + N children;parent 文件原地 | + +> **关键观察**:"主题概览节点"不是一种 kind,也不是 maintainer 主动涌现的产物 —— 它是 split 的副产品(parent 节点天然成为该 cluster 的 overview,中心性自然高)。 + +显式排除: +- ❌ merge / dissolve / re-edge / unify —— 跨节点重组不做(同概念二次进入靠 dream update;错桶节点不主动 move) +- ❌ 完美归簇 —— F-5 留白,不确定就不动 +- ❌ 实时一致 —— 异步 / eventual + +### 4.2 dream(create_or_update)流程 + +**dream = dreamer 入流唯一改 body 的操作,且只改 subject node。** + +#### 4.2.0 digest 是抽象记忆层 + +Digest 是 agent 长期记忆的**抽象层** —— 类比前额叶对认知的聚合。原始细节(数字、流程文本、谁说了什么)留在材料(daily / resource),digest 只承载细节淡忘后仍想调取的那一层:原则、模式、可作为先例的决策、认知要点。这一立场决定了 dream 流程的形态:**Phase 1 识别抽象,Phase 2 把抽象登记到 digest 节点**。 + +#### 4.2.1 两阶段流程 + +``` +material 进入(daily / resource 选定 scope) + │ + ▼ +Phase 1 — extract (轻量) + LLM 读材料 → 识别其中教导的"抽象"(原则 / 模式 / 先例) + → 为每个 unit **分配 bucket**(procedure / personal / wiki) + → 发出 ExtractedUnits 结构化输出 = K 个 sub-unit + (每个: {name, bucket, summary}) + 说明:多个支撑事实说明同一抽象 → 合并为同一 sub-unit + (倾向少而精);Phase 1 是 gate —— + 无新抽象时发空列表,Phase 2 跳过整轮; + bucket 由 Phase 1 一次性决定,Phase 2 不再回选 + │ + ▼ (Python 外循环,K 次) +Phase 2 — integrate (per sub-unit,**按 bucket 分发到独立 prompt**) + │ system prompt = integrate_system_prompt_ + │ procedure / personal / wiki 三份独立 prompt,**不共用一套** + │ sub-unit ↔ digest 节点 1:1;Phase 2 必写,无 SKIP 出口 + │ + ├─ RECALL: search(关键词 + 向量 + RRF) + traverse(对 top hit + │ 做图扩展,**跨 bucket**) → 候选路径集 + │ + ├─ HIT: frontmatter_read 廉价 triage → read 完整 body + │ 确认候选是否承载同一抽象 → hit 集合 + │ + ├─ 决策: + │ ├─ hit 空 → CREATE 在 digest//.md + │ └─ hit 非空 → UPDATE 路径 (CORROBORATE / REFINE / CORRECT; + │ 目标可在任意桶 —— 召回是跨桶的) + │ + ▼ +写入(canonical write 创建 / canonical edit 改正文) + │ + ▼ +agent 上报 IntegrateOutcome {action, target_path} +``` + +**两阶段 trade-off**:Phase 2 把完整材料发 LLM K 次(一次一 sub-unit),不做 summary loss;代价是 K 倍 prompt token。换来的是 Phase 1 只做"识别抽象 + 分类 bucket"两件事(粒度集中在一个 prompt),Phase 2 每次会话上下文干净、bucket-specific prompt 让推理聚焦于"这一桶要怎么写 / 怎么改"。 + +**Phase 2 的 bucket 专化**:三桶各有独立 system prompt,因为各桶的 body 形态、决策偏置不同 —— `procedure` 节点是 runbook 风(触发 / 步骤 / 前置 / 失败模式),`personal` 节点是规则风(rule + Why + How to apply),`wiki` 节点是百科风(定义 + 性质 + 关系)。共用一份通用 prompt 会让"应该写成什么样"的指导被稀释,bucket 信号靠一段 if-this-then-that 散文承载,效果劣于让每桶自带专属 prompt。 + +#### 4.2.2 召回 → 内化分类 → 决策 → 织突触(ReAct agent 一体完成) + +Phase 2 是单个 ReAct agent 在一个 loop 内完成 4 件事 —— **不拆 stage,不引入外部机械步骤**,只通过 prompt 引导 agent 把 dedup 与 synapse 这两类判断都做透。当前默认 `search(limit=5)` 不够,prompt 已显式引导更深召回。 + +**4 步流程**(整段由 ReAct agent 自主组织调用): + +| # | 步 | 关键动作 | +|---|---|---| +| 1 | **召回 —— 多角度宽召** | 显式 `limit=20-30` × 两轮 search(一次 hybrid,一次 `vector_weight=1.0` 纯语义)+ `traverse depth=2` 拓扑补充 | +| 2 | **内化分类** | `frontmatter_read` triage + 必要时 `read` body;对每个候选**内化打 label**(只在思考中分类,不输出):`same_abstraction` / `related` / `unrelated` | +| 3 | **决策** | 0 个 `same_abstraction` → CREATE;1 个 → UPDATE(选 flavor) | +| 4 | **织突触** | CREATE 或 UPDATE 都把所有 `related` 候选织入 body 作 `[[Y.md]]`;CREATE 一次性织全;UPDATE additive 加 wikilink | + +**两类内化判断的本质**: + +| 判断 | 服务 | 输出形态 | +|---|---|---| +| **同抽象?**(dedup)| 决定 CREATE / UPDATE | 0/1 个 target(决策面排他) | +| **相关?**(synapse)| 决定织哪些 wikilink | N 个 related 候选(决策面累加) | + +两者是同一个 ReAct agent 在看完 candidates 后的**两层独立判断**,共享同一批召回结果,**不需要分两轮 LLM 调用**。 + +**召回**(对应 prompt step 1):dream 用专属的 `node_search`(`reme/steps/index/node_search.py`),**不**用通用 `search`,**也不用 `traverse`** —— 详 §4.2.2.1(traverse 是 retrieve-time 子图挖掘工具,跟 dream 写入场景错位)。 + +| 调用 | 找什么 | +|---|---| +| `node_search(query=<...>, limit=20-30)` | digest 内节点级 hybrid 召回(vector + BM25 RRF),返回 path + frontmatter | + +**召回结果服务两类判断**:dedup(`same_abstraction` label,是否同抽象 → CREATE / UPDATE)和 synapse(`related` label,是否相关 → 织 wikilink)是 LLM 在**同一批 candidates** 上的两类内化 label。原"两轮 search(hybrid + vector_only)"是设计冗余 —— 同一批候选 LLM 自己能判 same/related/unrelated,模式切换无意义。**调用次数由 agent 自决**:一次通常够;若 unit 跨多个概念维度,agent 可发起多次不同 query 的召回,prompt 不强约束。 + +**HIT = `node_search` 返回 + read**:`node_search` 已内嵌返回每个 hit 的 frontmatter(`name + description`),agent 直接据此 triage,**不需要额外调 `frontmatter_read` 批量取 metadata**;仅对需要看 body 的少数候选用 `read`。**不可仅凭 frontmatter 决定 UPDATE**,body 才是判定依据。 + +##### 4.2.2.1 node_search vs 通用 search 的差别 + 为什么 dream 不用 traverse + +**node_search vs 通用 search**:dream 的召回需求跟外部 agent 的 RAG 检索**结构性不同**,因此用专属 step 而非复用 `search`: + +| 维度 | 通用 `search`(外部 agent)| `node_search`(dream Phase 2) | +|---|---|---| +| 用户 | 用户/外部 agent 的自然语言 query | dream 内部生成的 unit.summary | +| 结果粒度 | **chunk 级**(可能同一 node 多个 chunk)| **node 级**(同 path 聚合 max score)| +| 返回信息 | 完整 chunk text + scores | **path + name + description**(frontmatter 内嵌,无 body)| +| 范围 | 全 vault(daily / resource / digest) | **digest-only**(dream 永远只在 digest 找候选)| +| expand_links | 默认 `True`(给 agent 更多上下文)| **永远 `False`**(synapse 找的就是未 link 的)| +| 默认 limit | 5 | **20**(dream 需要宽召覆盖 synapse)| + +复用通用 `search` 会让 dream 拿到的候选**既粒度不对**(chunk 级,同 node 多次出现)**又信息冗余**(chunk text 不必要)**又被噪声污染**(daily / resource hits 永远不是 dream 的 UPDATE 候选)**又召回偏窄**(expand_links 把已 link 的拖回来,挤掉真正未 link 的 synapse 候选)。所以 dream 需要自己的 `node_search`。 + +**为什么 dream toolkit 不包含 traverse(或 dream_traverse)** —— traverse 是 **retrieve-time 子图挖掘工具**,跟 dream 写入场景**结构性错位**: + +| 维度 | traverse 的本性(retrieve / RAG)| dream 的真实需求(写入)| +|---|---|---| +| 方向 | 从已知中心向外扩散 | 从外部新材料找 vault 内相关候选 | +| 输入 | 已知种子节点 | 新材料的 unit.summary | +| 输出语义 | "X 的子图"(给读者上下文) | "X 应该 link 到哪些 Y" | +| 图遍历的角色 | 主操作 | 召回兜底(可有可无) | + +dream 写新节点要回答"vault 中谁跟我相关",这是**召回**问题(给 query 找相关),不是**遍历**问题(给中心找邻居)。**召回工具 = node_search;遍历工具 = traverse(留给 retrieve / 外部 agent 用)。dream 不需要遍历**。 + +(早期曾实现 `dream_traverse` 准备作为 dream toolkit 一员,后撤销 —— 实测拓扑遍历 vs vector 召回重叠率 ~95%,真正独特贡献 < 2%,且引入 LLM 调用 / 上下文 / 复杂度成本。详 git log。) + +**node_search 参数极简**(`query / limit` 两个):**mode 不需要**(同一批候选服务双判断);**exclude_paths 不需要**(self 由 LLM 自己识别,frontmatter 内嵌让 agent 一眼看出"这就是我");**min_score 不需要**(RRF 分数范围 0~0.025,跟 cosine 0~1 量纲完全不同,召回深度由 `limit` 控制就够)。**调用次数 agent 自决**:prompt 不约束"必须一次",unit 跨多个概念维度时 agent 可多次召回。 + +**node_search 召回算法:weighted node-level RRF**(vector + BM25 hybrid): + +- vector + BM25 各自独立召回 → 各自得到 chunk list(按各自 score 排序) +- 同 path 多 chunk 合并:取该 path 在两个 list 中的 max chunk score 位置作为 node rank +- RRF 融合:`score(path) = vector_weight × 1/(60 + rank_v) + (1-vector_weight) × 1/(60 + rank_k)` +- `vector_weight=0.7`(默认),vector 主导,BM25 作为兜底(覆盖专有名词 / 缩写等 embedding 可能 struggle 的字面 case) +- 输出 score 是 RRF 分(0~0.025 量级,不是 cosine);LLM 不依赖具体分数,内化判 same/related/unrelated + +**reinforce 并入立场**(对照 `auto_consolidate_design.md` §4 标作废):reinforce 不再是独立的 consolidate 动作 —— 它就是 step 4 的"织突触"。新节点写入瞬间一次性建立关系,vault 不维护"事后周期 batch 补 wikilink"的通道。F-2 自然守住 —— dream 只动新节点 body,不动其它节点。 + +**关键约束**(诚实承认): +- **写入即定型** —— 今天没织的 wikilink 以后没机会再织;vault 单调演化 +- **一次性 commit,无事后兜底** —— prompt 明示"宁可多织"(false positive 一眼能否决;false negative 永远沉默) +- **召回深度取决于 prompt 引导 + agent 配合** —— 不引入外部机械召回 step;prompt 已明示 `limit=20-30 × 两轮`,但仍是 ReAct agent 的开放执行 +- **dedup 与 synapse 在一次 LLM 调用内完成** —— 不拆独立 stage,共享召回结果,内化分类是免费的 + +#### 4.2.3 UPDATE 三种 flavor + +| flavor | 何时 | body 怎么动 | +|---|---|---| +| **CORROBORATE**(最常见)| 已有节点已覆盖此抽象,材料是又一个实例 | body 实质不变 —— 追加 `derived_from::` 溯源,可选强化措辞("似乎"→"确实") | +| **REFINE**(常见)| 已有节点覆盖了核心,但材料揭示新的范围 / 边界 / 维度 | 改相关片段使更精确,加新维度,加 `derived_from::`。正文在**精度**上长,不在**细节**上膨胀 | +| **CORRECT**(少见)| 材料与已有抽象矛盾 / 表明它被夸大 | 收紧到新旧证据都支持的窄形式,或内联标注 `> note: contradicted by [[...]]` 不仲裁。仍加溯源 | + +三种都受 §4.4 E-1 强守恒约束(出边集合不能缩)。 + +#### 4.2.4 关键边界 + +- **Phase 1 是 gate + 分类器** —— "不值得记忆"在 Phase 1 过滤(空列表);此外 Phase 1 还为每个进入 Phase 2 的 unit 分配 bucket(procedure / personal / wiki),决定 Phase 2 走哪份专用 prompt;Phase 2 必然写,sub-unit 与 digest 节点 1:1 +- **Phase 2 prompt 按 bucket 分发** —— `integrate_system_prompt_procedure` / `_personal` / `_wiki` 三份独立 system prompt,各自承载该桶的 body 形态指南与决策偏置,**不共用一份通用 prompt** +- **CREATE 写入桶 = Phase 1 分配的桶**;**UPDATE 目标可在任意桶**(召回跨桶,UPDATE 命中谁就写谁) +- **dream update 必须语义守恒** —— LLM 重写 body 时只能"融入"新内容,不能删除已有信息(只增不删 / 不改原意;冲突标注 `> 注:不同来源记载...`,不擅自仲裁);**当前实现下 E-1 强守恒是 prompt-only 自律**(canonical edit 不做机械 outbound diff;早期 `digest_edit` 子类的机械校验已在切到 canonical 工具时移除,详 §4.4) +- **Phase 2 用 canonical write / edit** —— 不再有 `digest_write_step` / `digest_edit_step` 子类;桶归位与边守恒都是 prompt-level 纪律 +- **dream 不改其它节点正文**(F-2) —— 只动 subject +- **dreamer 不做事件级伞节点** —— 材料本身(daily / resource 文件)就是 fan-out 点,每个 sub-unit 的 `derived_from::` 让材料天然聚合到所有派生节点 +- **0 出边节点合法**(没识别到合适邻居),后续 dream 进入时其它节点可以反向链回来 —— 不强求 LLM 一次性给全 +- **dream 漏判去重**(同概念建成新节点)→ 不主动兜底,接受重复;若 vault 累积明显重复,由 auto-consolidate 的 dups 检测周期 batch 产报告(`auto_consolidate_design.md` §3) +- **召回不做 bucket 粗筛** —— LLM 拥有完整跨桶视野,可识别"概念跨桶同抽象"(例如同一原则在 wiki 已有节点而 Phase 1 把新材料归入 personal,此时 UPDATE wiki 节点而非新建 personal 节点) +- **reinforce 已并入 dream synapse recall** —— 不存在独立的 reinforce 动作或周期 batch;突触构建(原 `auto_consolidate_design.md` §4 reinforce 的职责)在 dream Phase 2 synapse recall 阶段完成,新节点写入瞬间织全(详 §4.2.2) +- **vault 不维护事后补 wikilink 通道** —— 上一条的直接推论;cognition §9.2 立场("关系建立在写入瞬间")在此自然守住 + +**provenance 写出**: +- 行文中自然带:"... 该模式最早出现在 [[daily/2026/05/15.md]] 的实践中" +- **强制 typed predicate `derived_from::`** —— body 必须织入至少一条 `derived_from:: [[daily/...]]` 或 `[[resource/...]]`,纯散文形式不会被未来的 update / 守恒比对识别为边,下次 update 时会消失 +- LLM 直接做语义守恒重写(只增不删) —— 不走"首版 append 起步"的过渡路径 + +### 4.3 F-invariants(演化的硬约束) + +| # | 约束 | 含义 | +|---|---|---| +| **F-1** | **0 文件移动** | dream / split 都不移动现有文件;split 创建的是**新文件**,parent 原地 | +| **F-2** | **改正文限定 subject** | dream update 改 subject body;M split 改 parent body + 创建 children body;**没有任何操作改"其它节点正文"** | +| **F-3** | **maintainer 只做 split** | 没有 summarize / merge / re-edge / link / unify / dissolve | +| **F-4** | **一次一个候选** | M split 一次拆一个;dream 一次处理一个原子单元(N 候选 = N 次 dream) | +| **F-5** | **不确定时不动** | dream 拿不准 create 还是 update → 倾向 create;split 拿不准 cluster → 不拆 | +| **F-7** | **多归属合法** | 一个节点可被多个引用,也可指向多个;**没有"单父"约束** | +| **F-10** | **inbound 目标节点不动** | 所有 inbound 是裸链 `[[.md]]`(digest 不引入 anchor);split 时全部保持,parent 路径未变即天然有效 | +| **F-11** | **wikilink 是 body 的一部分** | 不存在"独立的边";reme 核心机械算子只感知字符层,语义责任在 LLM(prompt 自律);split 写入路径仍带机械 outbound 校验,dream update 当前是 prompt-only(详 §4.4) | + +### 4.4 边守恒(E-1 / E-2 / E-3) + +**前提**:wikilink 是 body 的一部分(F-11)。"边"不是独立抽象 —— body 一变,边就跟着变。reme 核心**没有"修边"算子**;边的所有变化都是 body 文本编辑的副作用。语义层守恒由两条腿承担:**prompt 自律**(LLM 在 update 时被反复要求 only-add, not-delete)+ **必要时的机械校验**(下文区分了哪些保留、哪些已移除)。 + +| # | 类别 | 规则 | 谁负责 | +|---|---|---|---| +| **E-1** | dream update 节点出边(subject 自身) | **强守恒**:新 body 出边 ⊇ 原 body 出边(`(target, predicate)` 二元组,predicate 一并守住) | **当前实现:LLM(prompt)自律** —— canonical `edit` 不做机械 outbound diff,prompt 反复强调"never drop wikilinks the old span contained" | +| **E-2** | split parent 出边(parent 拆解) | `(parent_new ∪ ∪children_outbound) ⊇ parent_old` | LLM(split prompt)+ 机械(由 maintainer 在 split 写入路径上实施,见 `auto_consolidate_design.md`) | +| **E-3** | inbound wikilink `[[.md]]` | split 时**不动** —— 仍指 parent;后续 dream 进入若 LLM 觉得 child 粒度更合适,直接加新边到 child(F-10) | 不动 | + +**E-1 实现取舍**:早期版本有专用 `digest_edit_step` 子类,在写入前对 body 做 outbound diff 比较,违反守恒时返回 `REJECT_CONSERVATION` 让 LLM 重试。在切到 canonical `edit` 工具(放弃 digest 子类)后,这道机械校验被移除 —— 守恒退化为 prompt-only 自律。trade-off: +- **失**:LLM 偶尔会在 REFINE / CORRECT 时无意丢弃 `derived_from::` 链;系统不再自动拒写 +- **得**:Phase 2 工具与系统其它写入路径完全一致(write / edit 是 canonical job),没有 dream-private 写入语义;prompt 复杂度下降,工具表面更小 +- **后续**:若 prompt-only 守恒在生产中被证伪(掉链率高),可在 canonical `edit` 上挂一个可选的 conservation 校验 hook(不再走子类化路径),由 dreamer 在调用前后各 read 一次做 diff;但当前不做 + +**强守恒(集合包含)而非等价**:`new ⊇ old` = 允许加新边(新关联),不允许减边(老内容不能丢);`new == old` 会拒绝任何新出边 → update 失去意义。 + +**predicate 守住** —— `[[A]]` ↔ `is_a:: [[A]]` 视为不同 key,升降级走显式 audit 路径,不走默认。重排 / 改 alias / 加新边都不被拦下(集合相同或只增)。 + +**provenance 不单列** —— 节点反指上游 daily/resource 的 wikilink 是 body 正文的一部分,跟其它 wikilink 走同一套 E-1 / E-2;reme 核心没有 provenance 专用算子。 + +**inbound anchor 这一类不存在** —— digest 不引入 anchor,所有 inbound 都是裸链,走 E-3 即可,无需机械 retarget 子流程。 + +--- + +## 5. 与其它层 + +| 上下游 | 关系 | +|---|---| +| ← **auto-memory**(daily) | dream 读 daily 作为入流;daily 写完即对 dream 可见 | +| ← **resource** | dream 读 resource 作为入流(只读,不写) | + +**关键边界**:dream 不写 daily / resource(I-2 / I-3);只写 digest 节点 body(自身 subject)。dream 不感知下游 —— split / 链接增强 / 索引刷新 / rename 等由 `auto_consolidate_design.md` / `auto_cognition_design.md` / `update_store_index_loop` 各自负责。 + +--- + +## 6. 下一步 + +本文档覆盖 dream 模型(桶 / 节点 / 边 / 演化)。组织端实现清单(M split / D 检测 / CAS 框架)见 `auto_consolidate_design.md` §10。 + +- ✅ **dream step 实现** —— Phase 1 extract(识别抽象 + 分配 bucket)+ Phase 2 integrate(per sub-unit,**bucket-specific prompt 分发**;`reme/steps/evolve/dream.py` + `dream.yaml`,与 `auto_memory` 同级同形) +- ✅ **三桶 hard-coded** —— `procedure / personal / wiki`,`BUCKETS` 常量在 `dream.py` 顶部,Phase 1 通过 `MemoryUnit.bucket: Literal[...]` 由 Pydantic 强制约束 +- ✅ **provenance prompt 规范** —— `derived_from:: [[daily/...]]` / `[[resource/...]]` 强制(三桶 prompt 各自重申) +- ❌ ~~**边守恒校验工具**~~ —— 早期 `digest_edit` 子类的 outbound diff 校验已随子类一并移除(切到 canonical `edit`);E-1 现由 prompt 自律,详 §4.4 +- ❌ ~~**bucket 集合配置外置**~~ —— 撤销:三桶是 dream 模型本身的一部分,不做配置参数(`vault.yaml` 不再承载 `digest.buckets`,`_buckets.md` 视图也不再生成) +- 🆕 **Phase 2 召回拆 dedup / synapse**(2026-06-02 沉淀,详 §4.2.2)—— 当前 prompt 共用一次 `search(limit=5)`,既不够 dedup 精度也不够 synapse 覆盖;落地:`dream.yaml` 6 处(en + zh × 3 buckets)Recall 段改写,加 synapse 模式说明 + 写入即定型纪律 +- 🆕 **`file_store.default.embedding_model` 启用**(blocker)—— `default.yaml` 当前 `""`,synapse recall 用 vector_weight=1.0 模式必须开启;否则 `search` 退化为纯 BM25,dedup 也劣化 +- 🆕 **reinforce 并入立场写入**(详 §4.2.2)—— 与 `auto_consolidate_design.md` §4 标作废同步;`hierarchical_summary.md` §13.2 Q4 标解决 + +实现进入 `reme/steps/evolve/` 时,本文档与 `auto_memory_design.md` / `auto_consolidate_design.md` / `auto_cognition_design.md` 共同作为契约依据。 diff --git a/docs/old/auto_memory_design.md b/docs/old/auto_memory_design.md new file mode 100644 index 00000000..c60bca36 --- /dev/null +++ b/docs/old/auto_memory_design.md @@ -0,0 +1,197 @@ +# auto-memory 设计(实时事件拆分 / 写入 daily) + +> 本文档记录 reme 中 **auto-memory** 的设计讨论 —— 把 agent 连续的对话 / 任务流切成离散的 daily 事件原子,inline 落到 `daily/` 层。 +> +> 配套阅读: +> - `structure.md` §2.1-2.2(daily 层定位)/ §3.4(sync 动作语义)/ §7.1(synchronizer 模块) +> - `auto_dream_design.md`:auto-memory 产物如何被 dream 消化(dream 读 daily 作为入流之一) +> - `auto_consolidate_design.md`:digest 的组织端 / CAS 写入协议;auto-memory 不直接复用,但事件级"拆"与节点级 split 在概念上同构(都把过载粒度切小) +> - `auto_cognition_design.md`:auto-cognition 三阶段顶层思想(写入 / 巩固 / 检索);daily 节点是 cognition 图视图的一部分(承载 `derived_from::` 反指),但不参与 Stage 2 巩固改造 +> +> **服务全景**:reme 服务两条主线 —— **auto-memory**(本文档,入流端 / daily 写入)与 **auto-cognition**(顶层思想:写入 = auto-dream,巩固 = auto-consolidate,检索 = auto-recall)。auto-memory 把 agent 实时事件流切成 daily 事件原子;它的产物是 dream(cognition Stage 1)消化的两路输入之一(另一路是 resource)。 +> +> **核心立场**:auto-memory 是 `structure.md` §3.4 `sync` 动作的实现侧 —— 强调 **inline 实时**与**事件边界检测**。是不是改名 sync → auto-memory 留给上层文档对齐,本文档聚焦机制。 + +--- + +## 0. 问题陈述 + +agent 的对话与任务过程是连续事件流(用户回合、工具调用、上下文切换、中断恢复),但记忆系统需要离散的、可独立检索的事件单元。auto-memory 解决这个切分问题。 + +| 输入 | 输出 | +|---|---| +| agent 当前事件流(对话回合 / 工具调用 / 任务切换信号);可选 `notify` 候选作为 cue | `daily///.md` 事件原子;`daily/.md` 主索引 | + +**设计目标**: +1. **事件边界尽量与 agent 语义意图一致** —— 同一个意图(同一个任务 / 同一段思路)→ 同一个事件;意图切换 → 新事件 +2. **inline 实时写入** —— 不滞后,不批处理;agent 一边工作,记忆一边落地 +3. **保持 daily 写权契约** —— I-2 单作者(同 folder 不并发改);folder 名 = summary note 名(I-3 可移动单元) + +**显式排除**(不属于 auto-memory 职责): +- ❌ 蒸馏 / 沉淀:那是 auto-dream(`auto_dream_design.md`)的事 +- ❌ 实体识别 / wikilink 自动补全:cognition 三阶段不在写入后做"事后补 wikilink"(详 `auto_cognition_design.md` §1.1);所有 wikilink 由 dream 在写入瞬间产出 +- ❌ 改写 resource / digest:auto-memory 只写 daily(I-1 / I-3) + +--- + +## 1. 已对齐决策 + +### 1.1 物理布局:与 `structure.md` §2.2 对齐 + +| 项 | 决策 | +|---|---| +| **主轴** | 时间 + 任务:`daily///` | +| **event-slug** | LLM 抽取的事件短名(snake_case / dash-case;不强制 schema),同 `` 下唯一 | +| **folder 内** | 一个事件可有 N 个 note(`progress.md` / `decision.md` / `references.md` 等),由消费层 schema 决定;最少含一个 summary note,与 folder 同名 | +| **主索引** | `daily/.md`:当天事件列表(机械写入,wikilink 指向各 event folder)| +| **跨日索引** | 不强制;dream 消费时按 `` 范围拉取即可 | + +**为什么不是单文件 event**(report §5.1 一种简化方向): +- 单文件 event = `daily//.md` 比 folder 模型简单,但失去"一个事件可包含多个视角 note"的灵活度 +- 现行 `structure.md` 已定 folder 单位模型;auto-memory 沿用,不破坏既有 I-2 / I-3 +- 若后续 dogfooding 验证单事件普遍只有一份 note,可演进为 folder 内只放一份 summary,机械上等价于单文件方案 —— 演进路径平滑,不需要现在选 + +### 1.2 事件边界:语义意图切换驱动 + +事件边界由 LLM 在 inline 写入时判:**当前回合的意图是否仍属上一个 event**。 + +| 维度 | 决策 | +|---|---| +| **决策时机** | 每个 agent 回合写入前 inline 判 | +| **决策依据** | 上一个 active event 的 summary + 当前回合内容;LLM 输出 `{continue: bool, new_event_slug?: str, summary_patch?: str}` | +| **continue=true** | append 当前回合到 active event(append-only 或 LLM 重写 summary,详 §1.3) | +| **continue=false** | 关闭 active event(写最终 summary)+ 开新 event folder(slug 由 LLM 给)| +| **同时 active 多事件** | 不允许(I-2 单作者)—— 一时刻只一个 active event;真要并行任务,agent 自己 sync 切换 | + +**已排除**: +- 时间窗口切分(N 分钟无活动则切)—— 对话节奏因任务而异,时间窗口噪声大 +- 关键词切分(出现"切换 / 现在做 X"等触发词)—— 假阳性高,且不所有切换都明显说出 +- 后置 batch 切分 —— inline 写入要求 event 必须当下可决定归属,不能等 + +### 1.3 事件内写入模型 + +active event 内,每个回合的内容写到 event folder 下,有两种模式可选(消费层 schema 决定): + +| 模式 | 形态 | 适用 | +|---|---|---| +| **append-only** | 一份 `.md`,新回合 append 到末尾(章节 / 时间戳 / 等)| 实现最简;事件短(< 几十回合)时可读性 OK | +| **多 note 重写** | summary note(folder 同名)+ 各视角 note(`progress.md` / `decision.md`);LLM 把新内容融到对应 note,summary note 重写为当下概览 | 事件长 / 多视角时可读性高;LLM 成本高 | + +**默认 opinionated default**:append-only(最简启动)。消费层可改 prompt + schema 走多 note。 + +**与 E-1 守恒的关系**:daily 不强制 E-1 守恒(它是工作记录,允许 LLM 删旧加新);只在 multi-note 重写模式下,可选启用类似守恒(保留所有 wikilink),具体由消费层决定。 + +### 1.4 主索引 `daily/.md` + +当天事件 list 视图,机械维护(无需 LLM): + +| 触发 | 操作 | +|---|---| +| 新建 event folder | 主索引 append 一行 `[[daily///.md|]]` | +| 事件关闭(被切下一个 event) | 主索引该行 append 最终 summary 摘要(可选,LLM 写最终 summary 时附带写入) | +| 索引文件不存在 | 写入第一个 event 时创建 | + +主索引**仅承担当天浏览锚点**:文件系统 `ls daily//` 也能看见,但有主索引人/agent 可直接 `read daily/2026/05/28.md` 拿到 list 视图 + summary 一览。 + +不维护跨日索引(`daily/2026/05.md` 或 `daily.md`):dream 消费时按时间范围拉取即可;`list daily//` 已经覆盖浏览需求。 + +### 1.5 与 notify 的协作 + +`notify` 是 reme → agent 的虚边推送(`structure.md` §3.3),把"有新 resource 值得看"传递给 agent。auto-memory 在以下两点与 notify 协作: + +| 维度 | 协作方式 | +|---|---| +| **新事件 cue** | agent 收到 notify 后,如果决定响应(开始处理这个候选),通常会触发**新 event** —— auto-memory 把 notify payload 作为 hint(候选 resource 路径)写入新 event 的 summary,顺手用 wikilink 引上 | +| **acknowledge 派生** | event note 里出现指向 `[[resource/...]]` 的 wikilink → L1 watcher 将该 resource 推送状态置 `acknowledged`(`structure.md` §3.3 / §6.2);auto-memory 自身不调任何 ack API | + +**关键约束**:auto-memory **不强制** agent 用 wikilink 引 notify 候选 —— agent 可能略过、也可能不通过 wikilink 而是直接读 resource。ack 是 daily → resource wikilink 的副产品,不是 auto-memory 显式负责的事。 + +--- + +## 2. 待对齐边界点 + +### 2.1 LLM 决策频率与成本 + +inline 边界检测的最朴素形态是每回合调一次 LLM。在长对话 + 高频回合下成本可观。可选优化: +- **continue 假设默认**:大多数回合是 continue(同一意图内),LLM 可能只在"看似切换"启发(token 跨度大 / 工具种类突变 / 用户显式说"接下来")时跑;否则默认 continue 不调 LLM +- **批回合**:每 N 回合批一次,延迟切分(代价:active event 边界滞后,首版可接受) + +首版默认每回合调一次(最简,正确率高),M1+ 视成本优化。 + +### 2.2 中断恢复 / 跨进程 active event + +agent 进程重启 / Service 重启后,如何识别"还有 active event"? + +候选方案: +- **L2 自治状态**:L1 watcher 派生 `daily///` 中最新 mtime 的 event 为 active(默认 N 分钟内有写入) +- **状态文件**:`.daily-active` 维护 active event slug,Service 启动时读 +- **每次重建**:agent 进程重启视为新 event,旧的关闭(切到 §1.2 continue=false 路径)—— 最简但会增加事件数 + +倾向 §1.2 自然路径(进程重启 = LLM 下次判 continue=false 概率高)+ 不维护状态文件,详细 worker recovery 留给 Service 实现。 + +### 2.3 多 agent 同 vault 的 active event 隔离 + +I-2 daily 单作者契约在多 agent 场景下需细化。候选: +- per-agent date subfolder:`daily////` +- 单 agent 模式 + agent ID 进 event-slug:`/_/` + +第二种破坏 slug 短名习惯;第一种引入额外层级。倾向后者作为消费层契约,reme 核心不固化。 + +### 2.4 事件粒度的 prompt 引导 + +边界检测的 prompt 决定切分粒度。粗 = event 大 / dream 看每个 event 时容易 overflow;细 = event 数爆炸 / 主索引拥挤。 + +**opinionated default prompt 倾向**: +- 一个意图 = 一个事件(用户提了 X 问题 / agent 开了 Y 任务 → 直到这个意图收尾) +- 跨意图的"附带工作"(查资料 / 算个数)归入当前意图,不开新 event +- 真新意图("好,现在我们做下一件事")才切 + +详细 prompt 落 `reme/steps/jobs/protocol.md` 或 synchronizer 的 prompt 模板。 + +### 2.5 与 resource ingest 的时序 + +如果 ingest 与 auto-memory 同时活跃(External push 推 resource 进来 + agent 在 sync),且 agent 想响应这个新 resource: +- ingest 写完 resource → L1 watcher 派生 L2 → notifier 决策推送(`structure.md` §5.3)→ Service MCP 推给 agent +- agent 在当前回合或下一回合响应 → auto-memory 判 continue=false 开新 event,wikilink 引上 resource + +整条链 sub-second 到 seconds(notify 节奏);auto-memory 不直接知道 ingest,只在 agent 决定响应时被动接收 notify payload。 + +### 2.6 跨日任务延续 + +event 物理路径含日期(`daily///`),同一意图跨日的任务无法用同一 event folder 承载。候选模型: + +| 模式 | 形态 | 适用 | +|---|---|---| +| **每日新 event,wikilink 反指前日** | new day 起新 folder;summary note frontmatter 加 `inherits: [[daily///.md]]`;新 event body 不复制旧内容,仅引用 | event-slug 短,日切口干净;查 backlinks 拼出整条任务链 | +| **同 event 重复写不同日** | 不允许(I-2 single author + event folder date 在路径上,跨日写违反路径不可变) | × | +| **任务 ID 跨 daily 抽象** | 引入 `task-id` 维度,daily event 只是某 task 的某一日切片;额外维护 task index | 复杂度高,M0 不引入 | + +**倾向**:第一种(`inherits` frontmatter wikilink)—— 与 §1.4 主索引一致(机械维护),实现侧 LLM 在 §1.2 boundary 判定时若发现意图与最近 N 天某个 active 任务一致,直接写入 inherits 即可。详细 boundary prompt 落 §2.4。 + +INHERIT 行为细节(扫描窗口、predecessor 是否关闭、Plan/Objective 是否拷贝)归消费层 schema 决定;reme 核心只承认 `inherits:` frontmatter wikilink 作为跨日链路载体。 + +--- + +## 3. 与其它层的协作 + +| 上下游 | 关系 | +|---|---| +| ← **notify** | 接收 notify payload 作为新 event cue;不强制响应,不强制 wikilink 引 | +| ← **resource** | 只读(通过 wikilink 引);不写 | +| → **daily** | **唯一写者**(I-2);写 event folder + 主索引 | +| → **auto-dream** | dream 读 daily 作为入流(`auto_dream_design.md` §4.2 dream scope);auto-memory 写完即对 dream 可见(走 L2 索引,有 eventual 窗口) | +| → **auto-cognition (三阶段)** | daily 节点是 cognition 图视图的一部分;dream(Stage 1)读 daily 作为入流;consolidate(Stage 2)只对 digest 节点跑 dups / community / decay,**不改 daily**;recall(Stage 3)三层并行召回时 daily 也参与命中 | + +**关键边界**:auto-memory 是 daily 写入端的**唯一**入口;cognition 三阶段没有任何子阶段会**事后改写 daily**(无写回路径)。daily 一旦由 auto-memory 写完,就只被读不被改(I-2 / I-3 仍守);后续 dream / consolidate / recall 都是只读消费。 + +--- + +## 4. 下一步 + +1. **synchronizer step 实现**:event 边界检测 prompt + active event 状态管理 + inline 写入(append-only 默认) +2. **主索引维护**:`daily/.md` 机械维护(新 event 时 append、关闭时附 summary)—— 走 crud/daily 基础工具 +3. **notify ack 派生验证**:L1 watcher 派生 acknowledged 状态(`structure.md` §6.2),与 auto-memory 的 wikilink 写入端到端跑通 +4. **多 agent 隔离 schema**(M1+):若实际有并发 agent,确定 daily 子目录 / slug 命名约定 +5. **粗 / 细粒度 prompt 调参**:dogfooding 后看实际 event 数 / dream 消化效率,调 boundary prompt + +实现进入 `reme/steps/jobs/` 与 `reme/file_graph/` 时,本文档与 `auto_dream_design.md` / `auto_cognition_design.md` 共同作为契约依据。 diff --git a/docs/old/auto_recall_design.md b/docs/old/auto_recall_design.md new file mode 100644 index 00000000..faf666a0 --- /dev/null +++ b/docs/old/auto_recall_design.md @@ -0,0 +1,323 @@ +# auto-recall 设计(Stage 3 检索:信号融合 + 召回增强) + +> 本文档:reme 中 **auto-cognition 三阶段** 的 **Stage 3 — 检索阶段** 实现。覆盖 query 到来时如何把 vault 一等公民信号(wikilink 图 / frontmatter)与维护阶段产出信号(centrality / community / recency / archived)融合,生成最终召回。 +> +> 配套阅读: +> - `auto_cognition_design.md`:三阶段顶层思想(本文档是 Stage 3) +> - `auto_dream_design.md`:Stage 1 写入 / 节点 + 边模型 +> - `auto_consolidate_design.md`:Stage 2 维护 —— **本文档消费它产出的所有 `meta/*.json`** +> - `structure.md` §4(retrieve 三种问法)/ §7.4(为什么没有 retriever 模块) +> - `reme/steps/index/search.py` / `traverse.py`:现有原子实现 +> +> **核心立场**: +> - retrieve **不引入新 L4 模块**(`structure.md` ✗-15)—— 三种问法各自由 L3 原子工具(`list_step` / `search_step` / `traverse_step`)直接覆盖 +> - 本文档增强**集中在 `search_step` 内部**:把维护信号融入打分 / 排序 / 过滤;`traverse_step` 仅做小幅参数扩展 +> - retrieve **只读 vault,不写 body / 不写 frontmatter**;唯一写入是 `meta/access_log.json`(命中计数,供下次 recency 计算) + +--- + +## 0. 问题陈述 + +`structure.md` §4 已规定 retrieve 三种问法(state / semantic / topological)正交分立(R-1)。本文档**只增强 semantic 问法**;state 问法已被 `list_step` 覆盖,topological 问法已被 `traverse_step` 覆盖。 + +semantic 问法当前在 `reme/steps/index/search.py` 实现: + +| 已就绪 | 缺口 | +|---|---| +| ✅ vector + keyword 并行召回 | ❌ 节点中心性加权(高权威节点不被 boost) | +| ✅ RRF fusion(vector_weight=0.7) | ❌ 同社区 boost(`meta/communities.json` 未消费) | +| ✅ 一跳 expand_links(向前向后,max=10) | ❌ 时效衰减 / 冷藏过滤(`meta/access_log.json`、`meta/archived.json` 未消费) | +| ✅ min_score 过滤 + limit 截断 | ❌ 同 file 多 chunk 冗余(top-K 可全来自同节点) | +| ✅ chunk-level 命中(start_line / end_line) | ❌ 节点级 surface(frontmatter `name + description` 未与 chunk 命中合并展示) | +| ✅ 二跳 traverse 作为独立工具 | ❌ search 内 multi-hop expand(只一跳,跨术语关系到不了) | +| | ❌ query rewrite / multi-query(单一表达式漏召) | + +**本文档的工作 = 设计这些缺口怎么填**,在 `search_step` / `traverse_step` 现有形态上增量。 + +--- + +## 1. 三种问法分立(继承 R-1) + +``` +┌─────────────┐ state 问 ──────► list_step + frontmatter filter +│ agent │ semantic 问 ──► search_step (本文档主要增强) +└─────────────┘ topological 问 ► traverse_step (小幅参数扩展) +``` + +| 问法 | 原子工具 | 本文档涉及 | 备注 | +|---|---|---|---| +| **state** | `list_step` / `daily_list_step` / `frontmatter_read_step` | 不涉及 | frontmatter 过滤无需维护信号 | +| **semantic** | `search_step` | **主战场**(§3-§7) | RRF fusion + 信号加权 + multi-hop + query rewrite | +| **topological** | `traverse_step` | 小幅(§8) | 起点选择可借助维护信号 | + +**关键约束**(继承 `structure.md` ✗-8):**绝不合并三种问法成单一 read verb**。本文档增强 search_step,但不把 list / traverse 揉进 search;agent 按需各自调用。 + +--- + +## 2. 维护信号契约消费总览 + +`auto_consolidate_design.md` §11 列出维护产出。retrieve 端按以下方式读: + +| 信号 | 来源 | 加载时机 | 缺失行为(降级) | +|---|---|---|---| +| **centrality** | `file_graph` 反向索引(实时) | search_step init 时引用 file_store | 总在线(file_graph 是核心组件) | +| **community** | `meta/communities.json` | search_step 启动 lazy load(LRU 缓存,文件 mtime 失效) | 缺失 → 不做同社区 boost | +| **recency** | `meta/access_log.json` | 同上 | 缺失 → recency_factor = 1.0 | +| **archived** | `meta/archived.json` | 同上 | 缺失 → 不过滤,所有节点参与 | +| **wikilink 图** | vault 自身(file_graph) | 实时 | 总在线 | +| **frontmatter** | vault 自身(`name` / `description`) | chunk 已带 metadata | 总在线 | + +**version 校验**:`meta/*.json` 加载时检查 `version` 字段,与本文档约定的 schema 版本不匹配 → 走"该信号缺失"降级,日志告警(不崩)。 + +**新鲜度**:每个信号文件的 `computed_at` 暴露给调用者(metadata 中带 `signals_freshness`),调用方知道当前权重基于多久前的快照。超过阈值(默认 14 days)→ logger.warning + 仍使用(避免维护偶尔失效就拒绝服务)。 + +--- + +## 3. semantic 问法增强:打分公式 + +**目标**:把维护信号融入 fused chunk 的最终 score,让排序兼顾"文本相关 + 节点权威 + 同社区 + 时效"。 + +### 3.1 当前打分(基线) + +``` +score = RRF_fused(vector_rank, keyword_rank, vector_weight=0.7) +``` + +仅文本相似度。 + +### 3.2 新打分公式 + +``` +final_score = base_score + × centrality_factor(path) + × community_factor(path, query_seed_paths) + × recency_factor(path) +``` + +| 因子 | 公式 | 默认参数 | 来源 | +|---|---|---|---| +| **base_score** | RRF 融合分(现状) | vector_weight=0.7 | search.py | +| **centrality_factor** | `1 + α · log(1 + inbound_count)` | α = 0.15 | file_graph 实时 | +| **community_factor** | 同 community 命中节点 → ×β,否则 1.0 | β = 1.20 | `meta/communities.json` | +| **recency_factor** | `exp(-Δt / τ)`,Δt = 距 last_hit_or_update | τ = 60 days | `meta/access_log.json` | + +**为什么乘法而非加法**: +- 各因子量级不同(base_score ≤ 0.02,centrality 与 query 无关),加法需大量 normalization;乘法天然处理量级差 +- 任一因子接近 0(极冷藏 / 极孤立)→ 整体压低,符合"弱信号一票否决"直觉 +- 默认 α/β/τ 让 factor 落在 [0.5, 2.0] 区间,不会让 base_score 完全失声 + +**已排除**:LLM rerank。它是 query-time 多调一次 LLM,成本高,M0 不引入;留 M1+ 视 dogfooding 决定。 + +### 3.3 query_seed_paths 的角色 + +community_factor 需要"query 主关注的节点是哪些"才能判断同/异社区。做法: +1. RRF 融合后取 top-N(N=3)的 fused chunk 的 path 作 seed +2. 后续每个候选 chunk 的 path → 查它和任一 seed 是否同社区 → boost +3. 不需要 query 自身被映射到 community(query 是字符串,不在图里) + +**边界**:N=3 是经验起点;N 太大会让"同社区"几乎等于"全召回"失去区分度。dogfooding 后调。 + +--- + +## 4. semantic 增强:节点级合并(unique_paths) + +**问题(gap 5)**:fused 列表里 top-5 可能是同 file 的 5 个 chunk,信噪比退化。 + +**当前**:`expand_links` 已用 `unique_paths = list(dict.fromkeys(c.path for c in fused))`,但 fused 本身没去重,limit=5 仍可全是同节点。 + +**新方案**(节点级 dedupe + 节点级 surface): + +``` +fused (chunk-level) → group by path → 每组保留 top_chunks_per_path 个 + → 每组追加节点 frontmatter (name + description) 作"节点级 surface" + → 再按节点 best_score 排序 → limit +``` + +| 参数 | 默认 | 含义 | +|---|---|---| +| `top_chunks_per_path` | 2 | 同节点最多保留多少 chunk | +| `surface_node` | true | 是否在每组前追加 frontmatter `name + description` | + +**为什么**: +- 节点是 retrieve 的语义单位(`auto_dream_design.md` §2 路径即 ID),chunk 只是"展示窗口" +- frontmatter 是节点级摘要(name + description)—— 已是 dream 写入时认证过的信号,不召它浪费 +- 同节点多 chunk 时,frontmatter + top-2 chunk 比 5 个 chunk 信息密度高 + +### 4.1 答案展示形态 + +``` +========== digest/auth/jwt-rotation.md ========== +[node] JWT Key Rotation + Process for rotating JWT signing keys without downtime. +[score=0.0241 centrality=2.1 community=1.2 recency=0.91] + +---------- chunk @5-23 ---------- + + +---------- chunk @45-60 ---------- + + +[expansion] 1 inbound, 2 outbound (...) +``` + +**对照旧形态**:每个 chunk 独立成块,无节点级 surface,scores 散在 chunk 头。新形态以**节点为视觉单位**,人 / agent 看到的第一眼是"哪个节点中了",而非"哪段文字中了"。 + +--- + +## 5. semantic 增强:multi-hop expand + +**问题(gap 4)**:当前 expand_links 只展一跳,跨术语关系("分布式锁" → 一跳到"租约机制",再一跳才到"心跳协议")到不了。 + +**新方案**:expand_links 支持 `depth` 参数;默认仍 1(保守),agent / 配置可调到 2。 + +| 参数 | 默认 | 限制 | +|---|---|---| +| `expand_depth` | 1 | 最大 3(避免组合爆炸) | +| `max_links_per_direction` | 10(现状)| 每跳每方向上限,深度不展开时限到当跳总数 | +| `expand_path_budget` | 30 | 总扩展节点数硬上限,优先深度优先(深度浅但条数少) | + +**为什么默认仍 1**: +- 二跳延迟不可忽略(N × 10 × 10 = 100 候选 IO) +- agent 需要"再深一层"时显式调 `traverse_step(depth=2)` —— 三种问法分立(R-1) +- 默认深拉会让"语义召回"变成"图召回",违背 R-1 + +**何时调 2**:dogfooding 发现 vault 节点平均出度低 / 跨术语关系频繁 → 调到 2(改 search_step 配置,不改协议)。 + +--- + +## 6. semantic 增强:query rewrite / multi-query + +**问题(gap 6)**:用户 query "JWT 怎么轮换" 可能错过 body 写"密钥定期更换"的节点(术语不同)。 + +**方案矩阵**: + +| 方案 | 成本 | 效果 | +|---|---|---| +| **(a) 不做** | 0 | 漏召部分跨术语 | +| **(b) embedding 多 query**(用同 LLM 生成 N 个表述) | LLM 调用 1 次(query → N 表述)+ N 次 vector_search | 中等 | +| **(c) BM25 同义词扩展**(用静态词表 / 嵌入式词表) | 0(若有词表) | 弱(中文场景词表缺) | +| **(d) HyDE**(LLM 生成假设答案 → 嵌入这个答案而非 query) | LLM 1 次 | 高,文献证实 | + +**首版决策**:**(a) 不做**。理由: +- vault 本身规模 M0 不大,推断增加召回但增 LLM cost 不划算 +- 维护阶段的 community 聚类已部分弥补"跨术语关系"(同社区 boost) +- 真要做,优先 (d) HyDE,延 M1+ 再启,实施只需加一层 query 预处理 + +**契约预留**:search_step kwargs 加 `query_rewrite: str | None`(默认 None;非 None 则用此重写代替原 query 做 vector_search,keyword_search 仍用原 query)。SDK 层可调用 LLM 生成重写后传入,reme 核心不强加 LLM 依赖。 + +--- + +## 7. semantic 增强:archived 过滤 + +**问题**:长期未访问的旧节点应该默认排除。 + +**方案**:search_step kwargs 加 `include_archived: bool`,默认 false。 + +``` +fused → drop where path in archived_set → 后续打分 / unique_paths +``` + +**何时绕过**: +- agent 显式 `include_archived=true`(找历史 / debug) +- query 命中节点本身在 archived → boost 推回(冷节点突然被命中,说明不是真冷) + - **首版不做**,过滤即过滤;如有需要,M1+ 加"intent override"机制 + +**冷启动**(`meta/archived.json` 缺失)→ 不过滤,等同 `include_archived=true`。 + +--- + +## 8. topological 问法的小增强 + +`traverse_step` 当前完整:BFS / 多 seed / direction / depth / per-edge 输出。本文档不重构,仅: + +### 8.1 起点选择借助维护信号(可选 hint) + +agent 调用 traverse 时往往不知道"哪个节点是该主题的中心";维护阶段产出的 centrality 可作 hint: + +| 用例 | 做法 | +|---|---| +| traverse 给定 seed | 不变,直接 BFS | +| traverse 给定主题字符串(SDK 上层语法糖) | 先 search_step 找 top-1 → 用其作 seed → traverse depth=2 | + +**位置**:这个组合在 SDK 上层做,不进 traverse_step;reme 核心保留 traverse 原子形态。 + +### 8.2 traverse 输出消费 archived + +traverse_step 当前不知道 archived 信号。改造:加 `exclude_archived: bool` kwarg 默认 false(traverse 默认不过滤,因为它是图问法,过滤会破坏图视角)。SDK / agent 可显式开启。 + +--- + +## 9. retrieve 写访问日志(唯一对外写入) + +**问题**:`meta/access_log.json` 的 `last_read` / `last_hit_count_30d` 谁写? + +**约定**:retrieve 命中节点 → 异步 append 到访问日志缓冲区;由 maintain daily batch 聚合写入 `meta/access_log.json`。 + +| 路径 | 实现 | +|---|---| +| **同步写**(每 query) | retrieve 把命中 path 写入内存 ring buffer(进程级)| +| **异步落盘** | 进程退出 / 维护 daily batch / 周期 flush(默认 10 min)| +| **聚合** | maintain 在 daily access_log 重算时:读 ring buffer + 上一份 access_log → 合并写新版 | + +**幂等**:同 query 多次重读同节点不应放大 last_hit_count;ring buffer 按 (path, day) 去重,每天每节点最多记一次"被读"。 + +**降级**:ring buffer 写失败 / flush 失败 → 不影响 retrieve 返回,只是日志少一条;recency 信号略迟。 + +--- + +## 10. 不变量 / 边界 + +| # | 约束 | 含义 | +|---|---|---| +| **R-1**(继承)| 三种问法分立 | 不合并 list / search / traverse 成单一 verb | +| **R-2**(继承)| 默认 `digest > daily > resource`,可覆盖 | search_step 通过 `search_filter` 支持限层 | +| **R-3**(继承)| 拓扑问与层无关 | traverse 跨三层(I-4) | +| **R-4**(继承)| Provenance 默认 lazy | retrieve 不自动 traverse(R-4);expand_links 是性能优化非语义展开 | +| **Re-1**(本文档)| retrieve 不引入 L4 模块 | 增强限定在原子 step 内部 | +| **Re-2**(本文档)| retrieve 只读 vault | 不改 body / frontmatter / 文件位置 | +| **Re-3**(本文档)| retrieve 唯一对外写入是 `meta/access_log.json` | 通过 ring buffer + maintain 聚合,不直接写 | +| **Re-4**(本文档)| 任一维护信号缺失 → 降级不崩 | `meta/*.json` 缺 → 跳过对应因子,系统始终可用 | +| **Re-5**(本文档)| version 不兼容 → 降级 + warning | 不阻断 retrieve | + +--- + +## 11. 与其它文档的引用关系 + +| 引用 | 来源 | +|---|---| +| 三种问法 / R-1..R-5 | `structure.md` §4 | +| 没有 retriever 模块 | `structure.md` §7.4 | +| 节点 / 边 / wikilink 模型 | `auto_dream_design.md` §2 / §3 | +| 维护信号契约 | `auto_consolidate_design.md` §11 | +| centrality / community / recency / archived 输出 | `auto_consolidate_design.md` §3-§5 | +| 路径即 ID | `auto_dream_design.md` §2 | + +--- + +## 12. 下一步 + +实现进入 `reme/steps/index/` 时,本文档与 `auto_cognition_design.md`(顶层)/ `auto_dream_design.md` / `auto_consolidate_design.md` 共同作为契约依据。 + +**search_step 增强(§3-§7)**: +- ⏳ **打分公式**:加 centrality_factor / community_factor / recency_factor;config 化 α / β / τ(§3) +- ⏳ **节点级合并 + surface**:group-by-path + frontmatter surface + top_chunks_per_path(§4) +- ⏳ **multi-hop expand**:`expand_links` 支持 depth 参数,加 `expand_path_budget` 硬上限(§5) +- ⏳ **query_rewrite kwarg**:契约预留,reme 核心不强加 LLM(§6) +- ⏳ **archived 过滤**:`include_archived` kwarg,默认 false(§7) + +**traverse_step 增强(§8)**: +- ⏳ **`exclude_archived` kwarg**(默认 false) + +**信号加载基础设施(§2)**: +- ⏳ **`meta/*.json` lazy loader + LRU 缓存 + mtime 失效** +- ⏳ **version 校验 + 降级路径 + warning logger** +- ⏳ **signals_freshness metadata 暴露** + +**access log 写入路径(§9)**: +- ⏳ **进程级 ring buffer**(命中 path 异步 append) +- ⏳ **周期 flush + (path, day) 幂等** +- ⏳ **maintain daily 聚合接口**(读 ring → 合并旧 access_log → 写新版) + +**性能与回归**: +- ⏳ **基准测试**:打分公式启用前后的 召回 P@5 / MRR(用合成 vault + ground-truth query) +- ⏳ **延迟监控**:维护信号读取 + multi-hop expand 的 p50 / p95 diff --git a/docs/old/background_backup.md b/docs/old/background_backup.md new file mode 100644 index 00000000..7ca5fa5b --- /dev/null +++ b/docs/old/background_backup.md @@ -0,0 +1,166 @@ +ReMe新版本V4 + +@jinli +新版reme是一个自管理的个人知识库。 +- **记忆分层：** → 记忆按"原始 → 加工"两层组织：`resource/`（原始素材）、`daily/`（日记事件）是只增不删的流水帐；`digest/` 是加工层，下分 `personal/`（个性化）、`knowledge/`（主题知识）、`procedural/`（Agent 任务经验）、`proactive/`（主动洞察）四个固定子目录，写入策略和检索权重各有差异。 +- **记忆的载体还是 Markdown：** → 所有记忆都是 Obsidian 兼容的 .md 文件——YAML front matter、四种 wikilink（`[[X]]` / `[[X#anchor]]` / `[[X|alias]]` / `![[X]]`）、Dataview 风格 `predicate:: [[X]]` 语义关系全部沿用社区约定。用户可读、可备份、可迁移，对抗黑盒。 +- **自我管理进化** → 不需要用户手工整理，Agent 在后台自动对于原始素材进行整理和融合，按照记忆的类型（个性化、程序化、知识类）进行分类整理并更新现有逻辑，同时自动Build link让笔记自己长出结构。这一点把 ReMe 同时与"手动建图的 Obsidian"和"扁平存储的Mem0"拉开。 +- **渐进式检索** → 自我管理进化的产出物不是一堆扁平笔记，而是一张可被**渐进式检索**消费的图：向量 + 关键词 + 图谱三路 RRF 融合，返回时通过 1-hop 邻居 meta 让 Agent"先看目录、再决定要不要展开正文"，不像传统 RAG 那样一次性把 top-K 切片塞进上下文。 +- **被集成而非内置（分发形态）** → ReMe 不做独立 Agent 产品，而是作为**能力**被任意 Harness 调用：SDK 深度集成（qwenpaw / AgentScope）、MCP Tool + skill.md、CLI + skill.md 三条路径并行，记忆跟着用户走，不绑定任何上层框架。 + +1. 目标： 构建个人知识库，集成qwenpaw等harness框架中，实现知识/记忆的自进化和自管理，结合graph高效搜索。 +2. 新的特性： + - 支持多种记忆类型，包括个性化记忆、程序化记忆、知识类记忆 + - [❌ 待补充] 当前 reme 中只有统一的 `FileNode/FileChunk` 抽象（`reme/schema/file_node.py`、`reme/schema/file_chunk.py`），尚未在代码层区分"个性化/程序化/知识类"三类记忆，需要在 schema 与 store 中扩展类型字段或子类。 + - 支持memory-self-evolving + - [❌ 待补充] 没有发现自进化相关的 step/job 实现，目前只有基础的 search/reindex 等 common steps（`reme/steps/common/`）。需要新增 auto-memory/auto-dream 等 step。 + - 支持markdown之间的链接，构建graph，更好的渐进式展开 + - [✅ 已实现 → `reme/components/file_chunker/markdown_file_chunker.py`（wikilink 解析 + Dataview 谓词）、`reme/components/file_graph/`（local/nx/neo4j 三种 graph 后端）] + - [✅ 已实现 → `reme/steps/common/search.py:109` `_expand_links`、`reme/config/default.yaml:86` `expand_links` 参数（搜索结果可附 outlinks/inlinks 邻居元数据）] +3. 工程实现： + 1. components + - 支持backend切换 + - [✅ 已实现 → `reme/components/component_registry.py`（`R.register(name)` 装饰器 + `R.get(ctype, backend)` 查找）；`reme/application.py:51` 通过 `config.components` 中的 `backend` 字段动态构造] + - 生命周期管理 start/close + - [✅ 已实现 → `reme/components/base_component.py:151` `start()` / `:162` `close()` / `:172` `restart()`，含 `is_started` 幂等保护与 `asyncio.Lock`] + - components之间相互调用，支持前序依赖还是啥 + - [✅ 已实现 → `reme/components/base_component.py:78` `BaseComponent.bind()` 声明依赖（含 `optional`、`default_factory`），`:98` `_resolve_bindings()` 自动注入；`reme/application.py:80` `_topological_order()` Kahn 算法做拓扑排序、检测循环依赖] + 2. job/step，借鉴自github action + - step是最小的执行单元，可以自由使用components，不需要管理生命周期 + - [✅ 已实现 → `reme/steps/base_step.py`、`reme/steps/common/`（demo/health_check/help/reindex/search/version/stream_demo 等内置 step）] + - job是steps的集合，可以自由组合，支持step复用 + - [✅ 已实现 → `reme/components/job/base_job.py`（顺序执行 step）、`reme/components/job/stream_job.py`（流式 job）；`reme/config/default.yaml:5` 通过 yaml 声明 job→steps 组合] + - 对外job可以封装cli命令，mcp_tool，http服务接口等 + - [✅ 已实现（HTTP / MCP / CLI client） → `reme/components/service/http_service.py:35` `_add_job` 把 job 注册成 POST 端点；`reme/components/service/mcp_service.py`；`reme/components/client/http_client.py`、`reme/components/client/mcp_client.py`；`reme/reme.py:27` `main()` 通过 CLI 子命令 `start` / `find_reme` / `` 调用 client] + 3. application： + - components的生命周期管理，通过前序依赖构建拓扑图启动应用 + - [✅ 已实现 → `reme/application.py:115` `_start()` 按拓扑顺序启动所有 component；`:133` `_close()` 反序关闭] + - 集成run_job + - [✅ 已实现 → `reme/application.py:148` `run_job()` / `:154` `run_stream_job()`] + - 集成Service能力对外提供能力 + - [✅ 已实现 → `reme/application.py:170` `run_app()` 调用 `service.run_app(app=self)`；`reme/components/service/base_service.py`] + 4. 对外接口： + - skill.md + cli方案，通用方案，支持集成到各种harness框架中 + - [⚠️ 部分实现] CLI 调用通道已具备（`reme/reme.py:17` `call_server()` 通过 `http_client` / `mcp_client` 调任意已注册 job），但 [❌ 待补充] 仓库内未发现 `skill.md` 文件，需要为 Claude Code / 其它 harness 编写 skill 描述文件。 + - 可以选择agent来启动reme服务（后台） + - [❌ 待补充] 未见"由 agent 自动拉起后台 reme 服务"的脚本/约定，需要补充进程托管或 launchctl/systemd 集成方案。 + - skill.md + mcp-tool方案，通用方案 + - [⚠️ 部分实现] MCP 服务通道存在（`reme/components/service/mcp_service.py`、`reme/components/client/mcp_client.py`），但 [❌ 待补充] 同样缺 `skill.md` 模板。 + - 需要手动启动mcp服务 + - [✅ 已实现 → `reme service` 模式可通过 `reme/config/default.yaml:1` `service.backend: mcp` 切换，`reme/reme.py` `start` 子命令拉起] + - sdk集成（qwenpaw集成） + - [❌ 待补充] reme 内未见 qwenpaw / agentscope 相关适配代码（仅 `reme/`、`reme_ai/` 旧版有部分逻辑，但已废弃，按记忆 [[feedback_deprecated_directories]] 不应改动）。需要新建 `reme/integrations/qwenpaw/` 之类的模块。 + - str + 封装AgentscopeTools + - [❌ 待补充] 没有 `AgentscopeTools` 包装层。 + - 集成auto-memory、auto-dream、auto-memory-search的能力 + - [❌ 待补充] 三个能力均未实现。 +4. 记忆存储方案： + - resource：原始对话日志，上传的文件，原始的html文件等 + - [❌ 待补充] `reme/application.py:20` 仅创建 `metadata_dir` / `daily_dir` / `knowledge_dir`，未见 `resource_dir` 概念；需要在 `ApplicationConfig` 中加入并落地相应目录与抓取/上传逻辑。 + - daily： + - daily/YYYYMMDD.md：主Agent调用write/edit工具修改，兼容上一版，同时承担了当天其他md的索引 + - [⚠️ 部分实现] `reme/application.py:23` 已建 `daily_dir`，但目录内 markdown 的"主索引"约定与 write/edit 兼容协议无显式实现，主要靠主 agent 自身行为。需要文档化 + 校验。 + - daily/YYYYMMDD/{event}.md auto-memory 针对上下文对话，拆分成不同的事件存储，同时在YYYYMMDD.md构建好索引可以链接过来 + - [❌ 待补充] auto-memory 拆事件的 step / job 不存在。 + - knowledge: + - knowledge/{topic:-personal/agent/financial/work...}/{xxx}.md 在空闲时间整理记忆，按照主题和事件进行分类存储 + - [⚠️ 部分实现] `knowledge_dir` 已建（`reme/application.py:24`），但"按主题/事件整理"的后台任务、topic 枚举均缺失。 + - proactive: + - proactive/YYYYMMDD.md 待定。如果存在给用户主动推送的能力，这里可以记录每一天agent给用户推荐的分析和心路历程。 + - [❌ 待补充] 主动推送/proactive 目录与逻辑均未实现。 +5. Markdown 格式 & Build Graph + 1. obsidian格式的Markdown文件格式 + - front matter格式 + - [✅ 已实现 → `reme/components/file_chunker/markdown_file_chunker.py:313` `frontmatter.loads(...)`；`reme/schema/file_front_matter.py`] + - file link格式 4种格式 + - [⚠️ 部分实现] `markdown_file_chunker.py:88` `_WIKILINK_RE` 已支持 `[[target]]` / `[[target#anchor]]` / `[[target|alias]]` / `![[target]]`（嵌入），并支持 Dataview `predicate:: [[X]]` 与 inline `[predicate:: [[X]]]`。但 [❌ 待补充] 标准 Markdown `[text](url.md)` 链接尚未被解析为 graph 边。 + 2. 更好的文件chunking机制 + - 旧版 类似rag 带overlap的chunking机制 + - [📌 历史] V3 旧逻辑，对照说明用，无需在 reme 中实现。 + - 解析 Markdown Ast + - [✅ 已实现 → `markdown_file_chunker.py:308` 使用 `mistletoe` 的 `Document`/`MarkdownRenderer`；`:335` `_build_tree` 把扁平 children 折叠成 section 嵌套树（`MdNode`）] + - 每一个chunk都带全部标题 + - [✅ 已实现 → `markdown_file_chunker.py:381` `_chunk_node`（`before` 累积已经过的标题、`after` 拼剩余 desc_toc）；`:712` `_make_chunk` 用 `_toc_join(before, content, after)` 把全文目录骨架前后包裹] + 3. 通过link构建graph索引，同时构建反向link索引 + - [✅ 已实现 → `reme/components/file_graph/base_file_graph.py`、`reme/components/file_graph/local_file_graph.py`（含 `get_outlinks`、`get_inlinks` 双向索引）；nx/neo4j 后端同 API；`reme/steps/common/search.py:114-129` 使用双向 link] + 4. link的生成有两种，一种是主agent在生成link；另一种是通过后台任务，自动构建文档之间的link + - 介绍如何auto-link + - [⚠️ 部分实现] 主 agent 显式写 `[[link]]` 已经会被 parser 抓为边（`markdown_file_chunker.py:152` `_extract_links`）。但 [❌ 待补充] "后台任务自动补 link" 的实现（实体抽取 / 候选文档相似度匹配 / link 写回 markdown）尚不存在，需要单独的 step/job。 +6. 如何做memory自进化 +Auto-memory +auto-dream + - [❌ 待补充] reme 没有 auto-memory / auto-dream 任何代码。需要： + - 新增 step（如 `reme/steps/auto_memory.py`、`reme/steps/auto_dream.py`），基于现有 `BaseStep` + LLM component； + - 设计触发机制（job 调度、空闲检测）； + - 与上面的 daily/knowledge 目录约定打通。 +7. 更好的检索： + - 渐进式展开的检索 + - [⚠️ 部分实现] `reme/steps/common/search.py:14` `SearchStep` 已做 vector + keyword 的 RRF 融合，并支持 `expand_links` 一跳展开（outlinks/inlinks + 邻居 meta）。但 [❌ 待补充] "多跳渐进展开"、"按需要由 agent 主动展开下一层"的交互式 API 尚未实现。 +8. 结合外部的Agent工具： +ReMe更加专注于知识加工，而不是知识获取 +- 结合qwenpaw + - sdk集成（qwenpaw集成） + - [❌ 待补充] 见 §3.4。 + - str + 封装AgentscopeTools + - [❌ 待补充] 同上。 + - 集成auto-memory、auto-dream、auto-memory-search的能力 + - [❌ 待补充] 同上。 +- 结合其他的Agent框架 + - skill.md + cli方案，通用方案，支持集成到各种harness框架中 + - 可以选择agent来启动reme服务（后台） + - [❌ 待补充] 同 §3.4。 + - skill.md + mcp-tool方案，通用方案 + - 需要手动启动mcp服务 + - [⚠️ 部分实现] MCP 服务可启动，但 skill.md 缺失。 + +## 更好的性能，更稳定和兼容 +V4更加高效的底层记忆索引 +- V3版本基于sqlite/chroma等本地数据库 + - 在qwenpaw等低版本linux & win系统存在兼容性问题，会存在core dump等问题 + - 不支持关键词检索，这里需要Keyword倒排索引，对中文的支持较差 + - [📌 历史] 描述 V3 痛点，不需要代码。 +- V4版本我们重写了file parser，file store，file graph，file watcher，手写了支持增量更新倒排索引 + - file parser → [✅ `reme/components/file_chunker/`（base/default/chunked/linked 四种）] + - file store → [✅ `reme/components/file_store/local_file_store.py`] + - file graph → [✅ `reme/components/file_graph/`（local/nx/neo4j）] + - file watcher → [✅ `reme/components/file_watcher/lite_file_watcher.py` 基于 watchfiles awatch；`base_file_watcher.py` 抽象接口] + - 增量倒排索引 → [✅ `reme/components/keyword_index/bm25_index.py`（增量 BM25）；`reme/components/tokenizer/`（regex / jieba 两种 tokenizer，jieba 含 stopwords 子目录）] +- 未来可以使用rust/c++重写，高性能本地知识引擎 + - [📌 规划] + +## 知识库应用场景（重点） + +### 金融 +产业链 + - [❌ 待补充] 没有领域 schema / 产业链知识图谱样例，需要写 demo 数据集 + topic 配置。 + +### 自己的工作&生活 +xxxx + - [❌ 待补充] 文档本身就是占位，需要补充具体场景描述与对应的 daily/knowledge 目录样例。 + +--- + +## 标注小结 + +### ✅ 已经在 `reme/` 中实现的能力 +1. **组件框架**：backend 注册（`component_registry.py`）、生命周期（`base_component.py`）、依赖声明 + 拓扑启动（`application.py:80`）。 +2. **Job/Step 体系**：`components/job/base_job.py`、`components/job/stream_job.py`、`steps/base_step.py` 与 `steps/common/*`。 +3. **服务/客户端**：HTTP（`service/http_service.py` + `client/http_client.py`）、MCP（`service/mcp_service.py` + `client/mcp_client.py`），CLI 入口 `reme.py:main`。 +4. **Markdown 解析**：`file_chunker/markdown_file_chunker.py`，含 frontmatter、wikilink + Dataview 谓词、AST 树、带全标题骨架的 chunking。 +5. **Graph**：`file_graph/{local,nx,neo4j}_file_graph.py`，双向链接索引。 +6. **存储 / 索引**：`file_store/local_file_store.py` + `keyword_index/bm25_index.py`（增量 BM25）+ `tokenizer/{regex,jieba}_tokenizer.py`。 +7. **文件监听**：`file_watcher/lite_file_watcher.py`（watchfiles 轮询）。 +8. **混合检索 + 一跳展开**：`steps/common/search.py`（vector + keyword RRF 融合，可附 outlinks/inlinks）。 +9. **Embedding / LLM 适配壳**：`components/embedding/openai_embedding_model.py`、`components/as_llm/`、`components/as_llm_formatter/`、`components/as_token_counter/`。 + +### ❌ 需要额外补充的能力 +1. **记忆类型分层**：个性化 / 程序化 / 知识类的 schema 与路由。 +2. **memory-self-evolving**：auto-memory（拆事件→ daily/YYYYMMDD/{event}.md）、auto-dream（空闲整理→ knowledge/{topic}/）、对应触发器与调度。 +3. **存储目录约定**：`resource/`、`proactive/` 目录、daily 主索引协议、knowledge topic 枚举均未落地。 +4. **auto-link 后台任务**：自动从正文挖出实体并写回 wikilink。 +5. **多跳渐进展开检索 API**：当前只能一跳。 +6. **标准 Markdown `[text](url.md)` 链接**：尚未纳入 graph 边解析。 +7. **skill.md 模板**：CLI 与 MCP 两种集成方式都缺 skill 描述文件。 +8. **Agent 拉起后台 reme 服务**：缺脚本/约定。 +9. **qwenpaw / AgentScope SDK 集成**：包括 `AgentscopeTools` 包装层与 auto-memory/dream/search 暴露。 +10. **应用场景样例**：金融产业链、个人工作&生活的 demo 数据 + topic 配置。 diff --git a/docs/old/reme_design.md b/docs/old/reme_design.md new file mode 100644 index 00000000..5886559e --- /dev/null +++ b/docs/old/reme_design.md @@ -0,0 +1,192 @@ +# 快速测试 + +```bash +# 终端 A：启动服务 +reme start + +# 终端 B：调用 version 验证服务可用 +reme version +# 预期输出：✅ ReMe v{__version__} +``` + +# 基础Job + +@jinli + +入口：`reme/reme.py::main()` → `parse_args(*sys.argv[1:])` 解析首个位置参数为 `action`，后续 `key=value` 解析为 kwargs（支持 +`service.port=8080` 的 dot notation；自动剥离 `--` / `-` 前缀；值会做 bool / int / float / JSON 转换）。 + +调用模式： + +- `start`：本地启动 `ReMe(Application)` 服务（不经过 client） +- `find_reme`：本地探测正在运行的 reme，不调用服务 +- `list`：在 client 端拦截，不转发到服务端，直接返回 action 目录 +- 其他 action：通过 `call_server(action, **kwargs)` → `R.get(ComponentEnum.CLIENT, backend)` 实例化客户端并流式打印（任意未列出的 + step register name 都按本规则透传） + +通用可选参数 `backend:str=http`（取值 `http` / `mcp`，对应 `reme/components/client/{http_client,mcp_client}.py` 中 +`@R.register` 注册名）；服务端默认 host/port 见 `reme/constants.py`，可由 `start` 端通过 `service.host=` / `service.port=` +覆盖。 + +说明：📥 输入参数 ｜ 📤 输出 ｜ ⭐ 必填 ｜ 🎚️ 默认值 ｜ 🛠️ 内部行为 ｜ 📊 metadata + +| 分类 | 指令 (register name) | 入口 | 参数 & 行为 | +|------------|--------------------------------------------------|-------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| +| 🚀 本地 | 🟢 `start` | `reme.py:30` → `ReMe(**kwargs).run_app()` | 📥 可选 `config=`（默认加载 `reme/config/default.yaml`，`.yaml/.yml/.json` 都支持，含 `${ENV:-default}` 占位符）｜ 可选 `service.host=` / `service.port=` 等任意 dot-notation 覆盖 ｜ 🛠️ 流程：`load_env()` → `resolve_app_config(**kwargs)` deep merge → `precheck_start(svc)`（`utils/service_utils.py:72`：目标 host:port 已有 reme → 打印 `reme already running ...` 直接返回；端口被其他进程占用 → stderr 提示 `port {port} occupied. Start on another port: reme start service.port=` 并 `sys.exit(1)`）→ 启动服务 | +| 🚀 本地 | 🧭 `find_reme` | `reme.py:36` → `utils/service_utils.py:89` | 📥 无 ｜ 📤 发现服务则 stdout 打印 `HOST={host} PORT={port} PID={pid or 'unknown'}`；未发现则 stderr 提示 `reme not started. Try: reme start` 并 `sys.exit(1)` ｜ 🛠️ 流程：先探 `REME_DEFAULT_HOST:REME_DEFAULT_PORT`（`health_check` 命中算 `reme`），再 `pgrep -af "reme.* start"` 扫描其他端口 | +| 🛰️ 客户端 | 📜 `list` | `components/client/base_client.py:36` | 📥 无 ｜ 📤 服务端可用 action 目录（JSON，`indent=2 ensure_ascii=False`）｜ 🛠️ 在 `BaseClient.__call__` 中拦截，不进入 `_execute`，直接调用 `list_actions()`（HTTP/MCP backend 各自实现） | +| 🌐 通用 step | 🆘 `help` (`help_step`) | `call_server("help")` | 📥 无 ｜ 📤 `answer` 一行一个 job：`🛠️ \`{name}\` — {description} 📥 {params}`，参数渲染为 `name:type*`(必填) / `name:type={default}` / `name:type` ｜ 📊 `metadata.job_count` ｜ 🛠️ 自动跳过名为 `help` 的 job | +| 🌐 通用 step | 🩺 `health_check` (`health_check_step`) | `call_server("health_check")` | 📥 无 ｜ 📤 `answer = "✅/❌ ReMe v{version} - healthy/unhealthy"` ｜ 📊 `metadata.health = {version, healthy, components}` ｜ 🧩 覆盖组件：`embedding_model`(🟢 is_started/is_healthy/model_name/dimensions/cache_size/memory) · `file_graph`(🕸️ n_nodes/n_edges/n_virtual\|n_pending/memory) · `file_store`(📦 n_chunks/n_chunks_with_embedding/memory) · `file_watcher`(👀 background_running/watch_paths) · `keyword_index`(🔤 n_docs/vocab_size/memory) ｜ 🛠️ deep sizeof（含 numpy.nbytes），未启动 / 后台未跑 / embedding 不健康 → ❌ | +| 🌐 通用 step | 🏷️ `version` (`version_step`) | `call_server("version")` | 📥 无 ｜ 📤 `answer = reme.__version__` ｜ 📊 `metadata.version` | +| 🌐 通用 step | 🔄 `reindex` (`reindex_step`) | `call_server("reindex")` | 📥 无 ｜ 📤 `answer = "🔄 Reindexed {added} file(s)"` ｜ 📊 `metadata.counts = {added, ...}` ｜ 🛠️ 流程：`file_watcher.close()` → `file_store.clear()` → `file_watcher.update_store()` → `file_watcher.start()`（finally 保证重启） | +| 🔎 search | 🔍 `search` (`search_step`) | `call_server("search", query=…, …)` | 📥 `query:str` ⭐ ｜ 🎚️ `limit:int=5`(>0) ｜ 🎚️ `min_score:float=0.0` ｜ ⚖️ `vector_weight:float=0.7` ∈[0,1]（keyword 权 = 1-vw）｜ 🔀 `candidate_multiplier:float=3.0`（candidates = min(200, limit×mult)）｜ 🔗 `expand_links:bool=True` ｜ 🔢 `max_links_per_direction:int=10` ｜ 🎚️ `search_filter:dict={}` ｜ 📤 `answer` 每命中一行 `path:start-end [score=… vector=… keyword=…] text` + 缩进的 `→ outlinks (n)` / `← inlinks (n)` + `via predicate=… anchor=#…` ｜ 📊 `metadata.results` / `metadata.link_expansion` / `metadata.counts={vector,keyword,returned,hybrid}` ｜ 🛠️ 并行 `vector_search` + `keyword_search` → RRF 融合（K=60，按 chunk.id 合并）→ `min_score` 过滤 → `limit` 截断 → 邻居 meta 注入 | +| 🧪 demo | 🪄 `demo_echo` (`demo_echo_step1` + `step2`) | `call_server("demo_echo", query=…, min_score=…)` | 📥 `query:str=""` ｜ 🎚️ `min_score:float=0.5` ｜ 🛠️ step1：`processed_query = query.strip().lower()`，`adjusted_min_score = min_score * 0.9`，写回 context ｜ 📤 step2：`answer = "echo: {processed_query} (min_score={adjusted_min_score})"` ｜ 📊 `metadata = {step, query, min_score, processed_query, adjusted_min_score}` | +| 🌊 demo | 🌊 `stream_demo` (`stream_demo_step1` + `step2`) | `call_server("stream_demo", query=…, repeat=…, interval=…)` | 📥 `query:str=""` ｜ 🎚️ `repeat:int=10` ｜ 🎚️ `interval:float=0.1`（秒/字符）｜ 🛠️ step1：`stream_text = query * repeat` 写回 context ｜ 📤 step2：按字符 `add_stream_string(ch, ChunkEnum.CONTENT)` 流式输出，`asyncio.sleep(interval)` 节流 | +| 📂 crud | 📖 `read` (`read_step`) | `call_server("read", path=…, …)` | 📥 `path:str` ⭐（**完整相对路径**，相对于 vault；绝对路径会被拒绝；非 `.md` 后缀拒绝）｜ 🎚️ `start_line:int=null`（1-based, 含端点）｜ 🎚️ `end_line:int=null`（1-based, 含端点）｜ 🎚️ `max_bytes:int=51200`（截断阈值）｜ 📤 `answer = 选中的行内容`，超过 `max_bytes` 时附加 `--- TRUNCATED ---` 续读指引（`start_line=…`）｜ 📊 `metadata.path` / `metadata.total_lines`（出错路径才会附带）｜ 🛠️ 流程：`BaseStep.resolve_path(raw, require_md=True)` → `aiofiles.os.stat` → `read_file_safe`（utf-8-sig BOM 容忍、UnicodeDecodeError fallback `errors=ignore`）→ `split("\n")` 切片 `[s-1:e]` → `truncate_text_output` 按字节截断保行 | + +使用示例： + +```bash +# 启动（默认 default.yaml） +reme start + +# 指定 config 与服务端口 +reme start config=paw.yaml service.port=8181 + +# 查找在跑的 reme +reme find_reme +# HOST=127.0.0.1 PORT=8000 PID=12345 + +# 列出所有可用 action（client 端处理，不转服务端） +reme list + +# 转发到服务端的 step：所有 key=value 透传为 step kwargs +reme help +reme health_check +reme version +reme reindex +reme search query="latency 问题" limit=10 min_score=0.2 vector_weight=0.6 + +# 读取 vault 下的 markdown（完整相对路径；无后缀自动补 .md；可按行切片或限制字节） +reme read path=Templates/Recipe.md +reme read path=Notes start_line=1 end_line=20 +reme read path=Big.md max_bytes=4096 + +# 通过 MCP backend 调用 +reme search query="..." backend=mcp +``` + +@sen +| file | upload/download/move/delete/stat/list | 文件操作CRUD | +| property | read/update/delete | frontmatter CRUD | | +| graph | traverse/retarget | path="My Note" directtion=forward/backward depth=1 predicat=xxx | + +@wangce +| crud | write | path="New Note" name="xxx" description="xxx" metadata={}, content="# Hello" (4 字段都必填，frontmatter 只写 name/description) | +| crud | read | path="Templates/Recipe.md" | +| crud | edit | path="Templates/Recipe.md" old="xxx" new="xxx" | +| crud | append | path="My Note" content="New line" | + +| crud | delete | path="My Note +| daily_crud | daily_xxx | 与 crud 参数保持一致 | + +- daily_resolve name=xxxx (符合一定规范 win下要求) +- daily_list date=xxxx 返回path +- daily_index + +frontmatter read path +frontmatter update path metadata={} +frontmatter delete path keys=[] + +delete path +download path=xxx（内部相对路径）download_path=(外部绝对路径，可选) +upload path=xxx（外部绝对路径）description="xxx" metadata=xxx 返回内部相对路径 加metadata +stat path +list path +mv path=xxx new_path=xxx + +traverse path=xxx direction=xxx depth=xxx + +# 日记类型 + +| 类型 | 路径 | 说明 | +|-----------|-----------------------------------------------|-----------------------------| +| daily | {daily}/xxxx-mm-dd.md + xxxx-mm-dd/{event}.md | 按日期归档的原始信息记录 | +| topic | topic/{topic:-personal(agent)}/{xxxx}.md | 按主题聚类的二次加工内容 | +| proactive | todo | 基于 daily / topic 思考后主动推送的消息 | + +# 生成Job + +| 任务 | 输入 | 输出 | 触发时机 | 说明 | +|-------------------------|---------------|-----------------------------------------------|-----------------------------|------------------------------------------------------| +| 日记summary @sen @wangce | msg | {daily}/xxxx-mm-dd.md + xxxx-mm-dd/{event}.md | freq (every_n_turn、compact) | 把 msg 的信息写入 daily 目录 | +| 主题dream + 生成链接 @sen | daily/xxx | knowledge/xxx | /dream | 把 daily 目录的内容按主题聚类合并到 topic 目录, 主动在文档中建立 [[link]] 关联 | +| 主动proactive @wangce | daily / topic | proactive_query | pre_query | 思考 daily / topic 信息，主动决定推送给用户的消息 | + +2. file_chunker + a. 抽象基类 parse: @jinli + ⅰ. 输入是path：相对路径 + ⅱ. 输出是FileMetadata & list[FileChunks] & list[FileEdge] + b. default parser 兼容老方案 @jinli + ⅰ. 带overlap的chunking策略 ，不输出FileEdge + c. markdown parser @sen + ⅰ. 根据markdown ast做chunk，不需要overlap + ⅱ. 增加一个索引的chunk chunk_type @锦鲤 file_chunk_type content/index + ⅲ. 增加link的正则解析：predicate:: [[path#anchor]] +3. file_store @sen + a. 抽象存储： + ⅰ. filenode = file + path + st_mtime + metadata + list[FileEdge] + ⅱ. graph=dict[str, filenode] 内存+json + ⅲ. list[FileChunk] 存db + b. 抽象基类 + ⅰ. graph：fellow dict的操作 update/get/set + ⅱ. chunks dict[str, list[chunk]] + 1. delete_chunks_by_path + 2. update_chunks_by_path + 3. list_chunks_by_path + 4. vector_search/keyword_search + ⅲ. 手写一个bm25检索 + ⅳ. 【核心】检索机制 vector bm25 graph 如何进行融合 +4. file_watcher @jinli + a. 抽象基类 + ⅰ. on_start: + 1. file_store 的start 在前，加载graph，file_watcher在后，递归扫描目录 + a. 通过ms_time对比graph，on_change 进行改动 + ⅱ. on_change: + 1. 更新/增加: + a. delete_chunks_by_path 更新数据库 + b. upate_chunks_by_path 更新数据库 + c. 更新graph + 2. 删除 + a. delete_chunks_by_path 更新数据库 + +MemorySchema + +1. markdown文件结构 @sen + a. formatter： + ⅰ. name + ⅱ. desc +2. memory文件结构目录 + a. MEMORY.md + b. msg/files -> daily/YYYYMMDD/YYYYMMDD.md + xxxx.md + ⅰ. YYYYMMDD.md + 1. xxx -> xxxx.md + 2. xxx -> xxxd.md + ⅱ. + c. daily -> topic/topic_l1/topic_l1.md + xxx.md + topic_l2 + d. proactive + +steps: + +1. 治理（算法+LLM）： + a. 节点关联P0：现有的链接做补充，挖掘新的LLM的link + ⅰ. /Users/yuli/workspace/ReMe/reme2/component/edge_extractor/llm_edge_extractor.py + ⅱ. 移动到steps + b. 节点整合/节点拆分/节点归档 + c. 健康度检查 +2. retrieve 调用store的检索 +3. 原子steps：reme edit +4. 组合steps：总结： + a. - freq (every_n_turn、compact) -> daily_summarizer + b. topic (/dream ) -> topic_summarizer(daily_xx -> topic_xx) + c. proactive -> proactive_summarizer(personal_xxx -> proactive_query - pre_query diff --git a/docs/old/reme_index.md b/docs/old/reme_index.md new file mode 100644 index 00000000..6724f95f --- /dev/null +++ b/docs/old/reme_index.md @@ -0,0 +1,211 @@ +# reme 代码模块索引 + +> 本文档梳理 `reme/` 下各能力模块、核心类和代码路径，便于快速定位与扩展。 +> 所有路径相对仓库根目录 `/Users/yuli/workspace/ReMe/`。 + +## 1. 顶层入口与运行流程 + +| 文件 | 作用 | +| --- | --- | +| `reme/reme.py` | CLI 入口（`main()`）：`start` 启动应用；`find_reme` 探活；其他动作转发到 client。 | +| `reme/application.py` | `Application` 基类：解析 config → 注册 service / components / jobs → 拓扑排序启动 → `run_job` / `run_stream_job` / `run_app`。 | +| `reme/constants.py` | 服务发现常量：`REME_SERVICE_INFO`、默认 host/port (`127.0.0.1:2333`)。 | +| `reme/__init__.py` | 包入口。 | + +启动流程：`reme.main()` → `parse_args` → `resolve_app_config` → `precheck_start` → `ReMe(...).run_app()` → `service.run_app(app)` → `app.start()`（按拓扑序启动 components 与 jobs）。 + +## 2. 配置与枚举 + +| 文件 | 作用 | +| --- | --- | +| `reme/config/default.yaml` | 默认配置：service / jobs / components 全套样例。 | +| `reme/config/config_parser.py` | `parse_args`、`resolve_app_config`、env 变量展开、点号配置覆盖、YAML/JSON 加载。 | +| `reme/enumeration/component_enum.py` | `ComponentEnum`：所有组件类型枚举（service/client/job/step/file_*/embedding/keyword_index/tokenizer/as_*）。 | +| `reme/enumeration/chunk_enum.py` | `ChunkEnum`：流式分块类型 (THINK/CONTENT/TOOL_*/USAGE/ERROR/DONE)。 | + +## 3. Schema（Pydantic 数据模型） + +代码：`reme/schema/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `ApplicationConfig` / `ComponentConfig` / `JobConfig` | `application_config.py` | 顶层配置模型；包含 service/jobs/components/vault_dir 等字段。 | +| `EmbNode` | `emb_node.py` | 文本+embedding 节点基类，`np.ndarray` 序列化为列表存储。 | +| `FileChunk` | `file_chunk.py` | 文件切片（继承 `EmbNode`）：`path/start_line/end_line/scores`，含 `set_hash_id()`。 | +| `FileNode` | `file_node.py` | 文件级图节点：`path/st_mtime/links/chunk_ids/front_matter`。 | +| `FileLink` | `file_link.py` | 文件间 wikilink 边：`source_path → target_path`，可选 `target_anchor` / `predicate`。 | +| `FileFrontMatter` | `file_front_matter.py` | YAML 头：`name/description`，`extra="allow"` 保留未知键。 | +| `Request` / `Response` | `request.py` / `response.py` | 服务端请求/响应封装。 | +| `StreamChunk` | `stream_chunk.py` | 流式分块：`chunk_type/chunk/done/metadata`。 | + +## 4. Components（核心能力组件） + +> 所有组件继承 `BaseComponent`（`reme/components/base_component.py`），提供： +> - `start/close/restart` 生命周期； +> - `bind(name, base_cls, default_factory, optional)` 声明依赖（启动时通过拓扑排序解析）； +> - `vault_path` / `working_metadata_path` 工作目录； +> - `dump/load` 持久化钩子。 +> +> 组件通过 `ComponentRegistry`（`R`，`reme/components/component_registry.py`）按 `(ComponentEnum, name)` 注册和查找；上下文容器为 `ApplicationContext`（`application_context.py`），运行期上下文为 `RuntimeContext`（`runtime_context.py`）。 + +### 4.1 Tokenizer — `reme/components/tokenizer/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseTokenizer` | `base_tokenizer.py` | 抽象基类，启动时加载 `stopwords` 文件。 | +| `RegexTokenizer` (`@R "regex"`) | `regex_tokenizer.py` | 正则切词；中文按字符切分，非中文按词切分。 | +| `JiebaTokenizer` (`@R "jieba"`) | `jieba_tokenizer.py` | 基于 jieba 的中文分词。 | + +### 4.2 Keyword Index — `reme/components/keyword_index/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseKeywordIndex` | `base_keyword_index.py` | 抽象基类：`add_docs/delete_docs/retrieve/clear/optimize_index`，依赖 tokenizer。 | +| `BM25Index` (`@R "bm25"`) | `bm25_index.py` | 自实现 Okapi BM25 倒排索引：`vocab` / `inverted_index` / `doc_meta`，pickle 持久化，支持增量更新与 `optimize_index` 紧凑化。 | + +### 4.3 Embedding — `reme/components/embedding/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseEmbeddingModel` | `base_embedding_model.py` | LRU 缓存 + npz 磁盘持久化、批量、重试、健康检查（`is_healthy`）；提供 `get_embedding/get_embeddings/get_node_embeddings`。 | +| `OpenAIEmbeddingModel` (`@R "openai"`) | `openai_embedding_model.py` | OpenAI 兼容协议（dashscope/qwen 等），`AsyncOpenAI` 客户端。 | + +### 4.4 File Graph — `reme/components/file_graph/` + +存储 `FileNode` 节点与 `FileLink` 边，支持「虚节点」(被指但尚未导入的目标占位)。 + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseFileGraph` | `base_file_graph.py` | 抽象接口：`upsert_nodes/delete_nodes/get_nodes/rebuild_links/clear/get_outlinks/get_inlinks`。 | +| `LocalFileGraph` (`@R "local"`) | `local_file_graph.py` | 纯 dict 实现 + JSONL 持久化；维护 `_nodes`/`_inverse`/`_pending`。 | +| `NxFileGraph` (`@R "nx"`) | `nx_file_graph.py` | networkx `MultiDiGraph` + pickle 持久化，虚节点用「无 node 属性」标识。 | +| `Neo4jFileGraph` (`@R "neo4j"`) | `neo4j_file_graph.py` | Neo4j 后端（bolt 驱动），`(:File)-[:LINKS]->(:File)`，支持升降级虚节点、`rebuild_links` 修复重建。 | + +### 4.5 File Chunker — `reme/components/file_chunker/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseFileChunker` | `base_file_chunker.py` | 抽象接口：`parse(path) -> (FileNode, list[FileChunk])`，提供 `_get_relative_path`。 | +| `DefaultFileChunker` (`@R "default"`) | `default_file_chunker.py` | 字节级带 overlap 切片 + YAML front matter + wikilink 抽取（含 Dataview `predicate::`）。 | +| `MarkdownFileChunker` (`@R "markdown"`) | `markdown_file_chunker.py` | Markdown 专用：mistletoe AST → MdNode 树 → 章节递归分块；每个 chunk 携带完整 heading skeleton（TOC）；wikilink 解析支持隐式 `.md`、folder-note、短路径歧义扇出，需注入 `file_graph` 解析目标。 | + +### 4.6 File Store — `reme/components/file_store/` + +聚合 `embedding_model` + `keyword_index` + `file_graph`，统一 chunk 写入与混合检索。 + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseFileStore` | `base_file_store.py` | 抽象基类：`upsert_file/delete_by_path/clear/vector_search/keyword_search/rebuild_links/get_nodes/get_outlinks/get_inlinks`；启动时探活 embedding，失败则降级为纯关键字检索。 | +| `LocalFileStore` (`@R "local"`) | `local_file_store.py` | 内存 chunk 字典 + JSONL 持久化；upsert 时复用旧 chunk 的 embedding（按 chunk.id 命中）；`vector_search` 用 `batch_cosine_similarity`，`keyword_search` 委托给 keyword_index。 | + +### 4.7 File Watcher — `reme/components/file_watcher/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseFileWatcher` | `base_file_watcher.py` | 抽象接口：`watch_loop/update_store/on_added/on_modified/on_deleted`；启动后台任务先做一次全量同步再进入监听循环。 | +| `LiteFileWatcher` (`@R "lite"`) | `lite_file_watcher.py` | 基于 `watchfiles.awatch` 的轮询监听；变更分类后调用 file_chunker 解析、写 file_store；`update_store` 通过 mtime 对比做增量。 | + +### 4.8 Job — `reme/components/job/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseJob` (`@R "base"`) | `base_job.py` | 顺序执行 `steps`：每个 step 共享 `RuntimeContext`，最终返回 `Response`；启动时把 step config 实例化为 `BaseStep`。 | +| `StreamJob` (`@R "stream"`) | `stream_job.py` | 流式执行：异常包装为 ERROR chunk，结束时 emit DONE 终止流。 | + +### 4.9 Service — `reme/components/service/` + +把 jobs 暴露给外部协议。 + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseService` | `base_service.py` | 抽象接口：`build_service/add_job/start_service`，`run_app` 串起来。 | +| `HttpService` (`@R "http"`) | `http_service.py` | FastAPI + uvicorn；普通 job → POST JSON 端点，stream job → SSE 流；CORS 全开。 | +| `MCPService` (`@R "mcp"`) | `mcp_service.py` | FastMCP；把 job 注册为 MCP `FunctionTool`（StreamJob 跳过）；transport 支持 sse/stdio/streamable-http。 | + +### 4.10 Client — `reme/components/client/` + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseClient` | `base_client.py` | 抽象接口：`__call__` 分发 `list`/`_execute`，`list_actions` 列出 server 能力。 | +| `HttpClient` (`@R "http"`) | `http_client.py` | httpx 异步流式：根据 `Content-Type` 自适应 JSON/SSE；`/openapi.json` 列出 actions；CLI 友好格式化。 | +| `MCPClient` (`@R "mcp"`) | `mcp_client.py` | fastmcp Client 包装；transport=`sse/stdio/streamable-http`；`list_tools` 列出工具。 | + +### 4.11 AgentScope 适配（as_*） — `reme/components/as_*/` + +把 AgentScope 的 LLM / Formatter / TokenCounter 包成 ReMe 组件，供 step 通过 `step.as_llm` / `step.as_llm_formatter` / `step.as_token_counter` 访问。 + +| 类 | 文件 | 说明 | +| --- | --- | --- | +| `BaseAsLLM` / `OpenAIAsLLM` (`openai`) / `AnthropicAsLLM` (`anthropic`) | `as_llm/__init__.py` | 包装 `agentscope.model.OpenAIChatModel / AnthropicChatModel`，启动时实例化 `self.model`。 | +| `BaseAsLLMFormatter` / `AsOpenAIChatFormatter` (`openai`) / `AsAnthropicChatFormatter` (`anthropic`) | `as_llm_formatter/__init__.py` | 包装 AgentScope formatter；OpenAI 版用 `ReMeOpenAIChatFormatter` 扩展 | +| `ReMeOpenAIChatFormatter` | `as_llm_formatter/reme_openai_chat_formatter.py` | OpenAI formatter 扩展：tool_result 中的 image 提升为 user 消息；thinking 块合并为 `reasoning_content`；新增 video block 支持。 | +| `BaseAsTokenCounter` / `EstimatedAsTokenCounter` (`estimated`) | `as_token_counter/__init__.py` | 字符级估算 token 计数器（`encoded_byte_len / divisor`）。 | +| `EstimatedTokenCounter` | `as_token_counter/estimate_token_counter.py` | 实现类。 | + +### 4.12 Prompt Handler — `reme/components/prompt_handler.py` + +`PromptHandler`：YAML/JSON 加载或类同名文件加载；多语言后缀（`key_zh/key_en`）；`prompt_format` 支持 `[flag]` 行级条件、`{var}` 参数校验。 + +## 5. Steps（最小执行单元） + +代码：`reme/steps/` + +| 类 | 注册名 | 文件 | 作用 | +| --- | --- | --- | --- | +| `BaseStep` | — | `base_step.py` | 抽象基类：`execute()` + `RuntimeContext` 注入 + `input/output_mapping` + 通过 `_resolve` 自动取组件（`as_llm/as_llm_formatter/as_token_counter/file_chunker/file_store/embedding/file_watcher`）；`add_as_tool(toolkit, job_name)` 把 job 包成 AgentScope tool。 | +| `DemoEchoStep1/2` | `demo_echo_step1` / `demo_echo_step2` | `common/demo.py` | 烟雾测试：query 处理 + 应答。 | +| `HealthCheckStep` | `health_check_step` | `common/health_check.py` | 各组件健康/规模快照（embedding/file_graph/file_store/file_watcher/keyword_index）+ 内存深度估算。 | +| `HelpStep` | `help_step` | `common/help.py` | 一行式列出全部 job 元信息（含参数 schema）。 | +| `ReindexStep` | `reindex_step` | `common/reindex.py` | 全量重建：停 watcher → clear store → `update_store` → 重启 watcher。 | +| `SearchStep` | `search_step` | `common/search.py` | 混合检索：vector_search + keyword_search 并发 → RRF 融合 → 阈值过滤 → 截断 → 可选 outlinks/inlinks 邻居展开（含元数据）。 | +| `StreamDemoStep1/2` | `stream_demo_step1` / `stream_demo_step2` | `common/stream_demo.py` | 流式烟雾测试：逐字符 emit CONTENT。 | +| `VersionStep` | `version_step` | `common/version.py` | 输出 `reme.__version__`。 | + +## 6. Utils — `reme/utils/` + +| 文件 | 主要导出 | +| --- | --- | +| `common_utils.py` | `hash_text`(SHA-256)、`execute_stream_task`(SSE 流转发)、`mock_reme_server`(子进程启动测试服务器)、`call_action` / `call_and_check`(HTTP 调用与断言)。 | +| `service_utils.py` | `find_reme` / `locate_reme` / `precheck_start` / `cli_find_reme`：服务发现，`lsof` + `pgrep` 扫描运行实例，端口冲突预检。 | +| `env_utils.py` | `load_env`：加载 `.env`。 | +| `logger_utils.py` | `get_logger`：loguru 日志（控制台 + 文件）。 | +| `logo_utils.py` | `print_logo`：启动 ASCII logo。 | +| `similarity_utils.py` | `cosine_similarity` / `batch_cosine_similarity`：numpy 向量相似度。 | + +## 7. 内置 Jobs（`reme/config/default.yaml`） + +| Job | Backend | 步骤 | 说明 | +| --- | --- | --- | --- | +| `demo` | `base` | `demo_echo_step1` → `demo_echo_step2` | 端到端 demo。 | +| `version` | `base` | `version_step` | 返回包版本。 | +| `health_check` | `base` | `health_check_step` | 组件健康快照。 | +| `help` | `base` | `help_step` | 列出全部 job。 | +| `reindex` | `base` | `reindex_step` | 全量重建索引。 | +| `search` | `base` | `search_step` | 混合检索（vector+keyword RRF，可展开邻居）。 | +| `stream_demo` | `stream` | `stream_demo_step1` → `stream_demo_step2` | 流式 demo。 | + +## 8. 默认依赖关系（来自 `default.yaml`） + +``` +tokenizer (regex) ──┐ +embedding_model (openai) ──┤── file_store (local) ── file_watcher (lite) +file_graph (local) ──┤ (持有 embedding/keyword_index/file_graph) +file_chunker (default) ──┘ │ +keyword_index (bm25) ── tokenizer ──────────────┘ │ + file_chunker ──┘ +``` + +启动时由 `Application._topological_order()`（Kahn 算法）按依赖拓扑序启动；关闭时反向。 + +## 9. 扩展点速查 + +| 需求 | 入口 | +| --- | --- | +| 新增检索后端 | 实现 `BaseFileStore` 子类，`@R.register("xxx")` | +| 新增图后端 | 实现 `BaseFileGraph` 子类（参考 `Neo4jFileGraph` 处理虚节点） | +| 新增分词器 | 实现 `BaseTokenizer.tokenize` | +| 新增解析器 | 实现 `BaseFileChunker.parse`（返回 `(FileNode, list[FileChunk])`） | +| 新增 Job | 在 `default.yaml`（或自定义 yaml）`jobs:` 段声明 + 写步骤实现 | +| 新增 Step | 继承 `BaseStep`，实现 `execute()` 并 `@R.register("xxx_step")` | +| 暴露新协议 | 实现 `BaseService`（参考 `HttpService` / `MCPService`） | +| 接入新 LLM | 实现 `BaseAsLLM` 子类（`agentscope.model` 适配） | diff --git a/docs/old/reme_report.md b/docs/old/reme_report.md new file mode 100644 index 00000000..f541cca5 --- /dev/null +++ b/docs/old/reme_report.md @@ -0,0 +1,971 @@ +# ReMe：把本地 Markdown 自进化成知识图谱的个人记忆引擎 + +> 面向 Leader / 决策者的能力报告 +> 关键词：个人记忆 · 记忆自进化 · 多模检索 · Agent 接入 · 本地优先 + +--- + +## 一、引言：为什么要做新版本 + +### 1.1 ReMe 的一句话定位 + +> **ReMe 是一个把本地 Markdown 自进化成知识图谱的个人记忆引擎。** + +- **记忆分层（形态的物化）** → 记忆按"原始 → 加工"两层组织：`resource/`（原始素材）、`daily/`（日记事件）是只增不删的流水帐；`digest/` 是加工层，下分 `personal/`（个性化）、`knowledge/`（主题知识）、`procedural/`（Agent 任务经验）、`proactive/`（主动洞察）四个固定子目录，写入策略和检索权重各有差异。 +- **本地 Markdown（载体）** → 所有记忆都是 Obsidian 兼容的 .md 文件——YAML front matter、四种 wikilink（`[[X]]` / `[[X#anchor]]` / `[[X|alias]]` / `![[X]]`）、Dataview 风格 `predicate:: [[X]]` 语义关系全部沿用社区约定。用户可读、可备份、可迁移，对抗黑盒。 +- **自进化（机制）** → 不需要用户手工整理，Agent 在后台让笔记自己长出结构。这一点把 ReMe 同时与"手动建图的 Obsidian"和"扁平存储的 Mem0"拉开。【event/trace】 +- **知识图谱（结果）** → 自进化的产出物不是一堆扁平笔记，而是一张可被**多模 + 渐进式检索**消费的图：向量 + 关键词（中文 BM25）+ 图谱三路 RRF 融合，返回时通过 1-hop 邻居 meta 让 Agent"先看目录、再决定要不要展开正文"，不像传统 RAG 那样一次性把 top-K 切片塞进上下文。 +- **被集成而非内置（分发形态）** → ReMe 不做独立 Agent 产品，而是作为**能力**被任意 Harness 调用：SDK 深度集成（qwenpaw / AgentScope）、MCP Tool（Claude Code / Cursor / Cherry Studio）、CLI + skill.md 三条路径并行，记忆跟着用户走，不绑定任何上层框架。 + +支撑这一切的是**自研轻量索引内核**——纯 Python(后期可以使用rust重写索引内核) + 文件持久化，无 sqlite / chroma +等原生扩展依赖，老旧 Linux/Win 也能稳跑，这是 ReMe 能"被部署到大量异构用户机器"的工程前提。 + +--- + +## 二、产品全景图 + +### 2.1 一张图看 ReMe + +``` +┌─────────────────────────────────────────────────────────┐ +│ 外部 Agent / Harness │ +│ qwenpaw · Claude Code · Cursor · 其它 │ +└──────────┬──────────────┬───────────────┬───────────────┘ + │ SDK │ MCP Tool │ CLI / skill.md +┌──────────▼──────────────▼───────────────▼───────────────┐ +│ ReMe Service Layer │ +│ HTTP / MCP / CLI · 服务发现 · 进程托管 │ +├─────────────────────────────────────────────────────────┤ +│ ReMe Job/Step 编排 │ +│ search · auto_memory · auto_dream · auto_link … │ +├─────────────────────────────────────────────────────────┤ +│ Markdown 知识内核（本地文件即数据库） │ +│ FileChunker · FileStore · FileGraph · FileWatcher │ +│ BM25 倒排 · 向量索引 · Wiki Link 图谱 │ +├─────────────────────────────────────────────────────────┤ +│ 文件目录约定 │ +│ resource/ · daily/ · digest/{personal,knowledge, │ +│ procedural,proactive}/ │ +└─────────────────────────────────────────────────────────┘ +``` + +四层结构从上到下： + +- **接入层**：让任何 Agent 框架都能用。 +- **服务层**：HTTP / MCP / CLI 三种协议同时暴露，按 Harness 需求选用。 +- **编排层**：把能力拆成 Job/Step，可组合、可流式。 +- **内核层**：Markdown 解析、存储、图谱、监听一体化。 +- **目录层**：用户最直观看到的文件夹结构，本身就是 ReMe 的"产品形态"。 + +### 2.2 三个最直观的故事场景 + +**场景一：金融分析师的产业链知识库** +盘后，分析师和 Agent 对话讨论今天看到的几条新能源新闻。第二天打开知识库，发现昨天的对话已经被自动拆分成「钴价波动」「下游电池厂动向」「上游矿企并购」三条事件笔记，分别归档到 +`digest/knowledge/financial/产业链/` 下相应主题；笔记之间通过 `[[钴]]` `[[宁德时代]]` 这样的 wikilink 互相串联。下周再问"钴的下游应用"，ReMe +沿着图谱渐进展开，从一个节点跳到相关的全部上下文。 + +**场景二：个人工作 & 生活第二大脑** +日常对话、会议讨论、学习笔记都被主 Agent 实时写入 daily 笔记。夜晚 Agent 空闲时，ReMe 在后台把零散的 daily 内容按" +客户/项目/学习/生活"主题重新整理到 knowledge 库，并自动补全笔记之间的链接。三个月后，用户拥有一份完全属于自己的、可视化的" +第二大脑"，可以用 Obsidian 直接打开浏览。 + +**场景三：Agent 框架开箱接入** +开发者在 qwenpaw 或 Claude Code 中安装 ReMe，不需要改 Agent 一行代码 —— Agent 立刻拥有"长期记忆 + 个人知识检索 + +自动整理"三项能力。SDK 集成是无感的：每次对话自动落入 daily，每次检索自动走多模融合，每天空闲自动整理归档。 + +--- + +## 三、记忆模型：ReMe 把什么存下来 + +### 3.1 两层记忆结构：原始素材 + 加工记忆 + +ReMe 不把对话一股脑塞进数据库，而是按"原始 → 加工"分两层组织： + +| 层次 | 目录 | 存什么 | 典型场景 | +|----------|-------------|----------------------------------|-------------------------------| +| **原始素材** | `resource/` | 上传文件、抓取网页、PDF 研报、邮件附件 | 溯源 / 审计 / 二次加工 | +| **日记流水** | `daily/` | 每天的事件性记忆，主 Agent 实时写入 | "我今天和谁聊了什么"、"今天工作内容" | +| **加工记忆** | `digest/` | 经 Auto-Dream 整理后的长期记忆，下分四类（见 3.2） | "光伏产业链"、"webpack 排查路径"、"早间洞察" | + +`resource/` 和 `daily/` 是只增不删的"流水帐"——前者保留原始事实、后者保留事件级现场；`digest/` 才是被反复消费的精华层，也是 Auto-Dream / Auto-Link 持续打磨的主要产物。 + +### 3.2 digest 下的四种记忆 + +`digest/` 固定划分四个子目录，正交覆盖"用户 / 知识 / Agent / 主动"四个维度： + +| 子目录 | 内容性质 | 写入触发 | 检索权重 | 典型例子 | +|------------------------|---------------------|----------------------|-------------|---------------------------------------| +| **digest/personal/** | 个性化（用户偏好、习惯、人物档案） | 用户纠正 / 偏好表达 | 全场景常驻 | "用户不爱写注释"、"用户喜欢 pnpm" | +| **digest/knowledge/** | 知识类（客观知识、领域参考） | 主题对话 / Auto-Dream 归档 | 主题相关性匹配 | "光伏产业链"、"React Server Components" | +| **digest/procedural/** | 程序化（Agent 任务经验） | 任务完成后归纳 | 任务相似度高时唤起 | "webpack 卡死的排查路径" | +| **digest/proactive/** | 主动推送（Agent 输出的分析） | 定时 / 触发式生成 | 时效衰减 | 早间洞察、周复盘、热点跟踪 | + +四类的"形状"刻意不同： + +- `digest/knowledge/` 由用户自定义二级分类（如 `work/`、`financial/`、`life/`），下面层级随意展开。 +- `digest/personal/`、`digest/proactive/` 保持扁平，便于全量加载或时序浏览。 +- `digest/procedural/` 软链到 Harness Agent 的 skill 目录（P0），让 Agent 沉淀的"经验"直接成为可复用的 skill。 + +### 3.3 目录约定（用户可读、可备份、可迁移） + +skills 建议使用index 看 whole picture~ + +``` +~/reme_workspace/ +├── resource/ # 原始素材（按日期归档） +│ └── 20260518/ +│ ├── 1430_xueqiu_comment.html # 雪球评论抓取 +│ └── 1620_research_report.pdf # 研报原件 +├── daily/ +│ ├── 20260518.md # 当天主索引（兼容 write/edit） +│ └── 20260518/ +│ ├── meeting-with-alice.md +│ ├── debug-login.md +│ └── reading-paper.md +└── digest/ # 固定四个子目录：personal / knowledge / procedural / proactive + ├── personal/ # 个性化记忆：偏好、习惯、个人事件 + .change_log.md difference + _moc.md + │ └── 用户偏好.md + ├── knowledge/ # 知识类记忆：用户自定义二级目录（work / financial / ...） + │ ├── work/ + │ ├── financial/ + │ │ ├── 光伏产业链.md + │ │ └── 钴.md + │ └── ... + ├── procedural/ # 程序化记忆：软链到 harness agent 的 skill 目录（P0） + │ └── xxxx.md # Agent 完成任务沉淀的经验 + └── proactive/ # 主动推送：各家协议不同 + └── 20260518.md # Agent 主动产出的建议 +``` + +> `digest/` 下固定为 **personal / knowledge / procedural / proactive** 四个子目录；其中 `knowledge/` 内部由用户自行扩展二级分类（如 `work/`、`financial/`），其余三类保持扁平结构。 + +**所有记忆都是普通 Markdown 文件**，用户随时可以： + +- 用 Obsidian / Typora / VSCode 打开浏览编辑 +- 用 Git / iCloud / 网盘做版本控制和跨设备同步 +- 迁移到任何机器，复制目录即可 +- **没有黑盒数据库，没有产品锁定** + +这一点对 Leader 视角尤其重要：用户对自己数据的掌控感，是所有"个人记忆"产品的信任基础。 + +## 四、Markdown 内核：把文件当数据库 + +### 4.1 Obsidian 兼容的 Markdown 格式 + +ReMe 没有发明新格式，而是完全复用 Obsidian 生态的约定： + +- **YAML front matter**：标题、标签、描述、自定义字段。 + +```markdown +--- +title: 光伏产业链研究 +description: 从硅料到组件的全链条梳理 +tags: [新能源, 光伏, 产业链] +parent: 新能源 +author: 张三 +updated。: 2026-05-19 +--- + +# 正文从这里开始 + +`title` / `description` / `tags` 是约定字段（参见 `reme/schema/file_front_matter.py`），其余键值对作为 extras +全部保留，可被检索和图索引消费。 +``` + +- **4 种 wikilink 写法**： + - `[[X]]`：标准链接 + - `[[X#anchor]]`：链接到文件中的章节 + - `[[X|alias]]`：自定义显示文本 + - `![[X]]`：嵌入引用 +- **Dataview 风格语义关系**：`predicate:: [[X]]`，例如 `parent:: [[新能源]]`、`founder:: [[张三]]`，把 link 升级为带类型的" + 边"。 +- 标准 `[text](xxx.md)` 链接也会被识别为图边。 + +**意义**：用户的知识库可以直接用 Obsidian 打开做可视化浏览，可以用 Obsidian 插件做扩展。ReMe 不是替代 Obsidian，而是**给 +Obsidian 加上一个会自己写笔记的 Agent** + +### 4.2 比 RAG 更聪明的切片 + +传统 RAG 用固定 token 长度 + overlap 切片，经常切坏文档结构。ReMe 用 Markdown AST 切片： + +- 解析为章节嵌套树（按 H1/H2/H3 分层）。 +- 按章节边界递归切分，保留语义完整性。 +- **每个 chunk 自带完整的标题骨架（TOC）**：检索回来的片段一眼就能看出"这段在哪个章节、什么主题下"。 + +``` +某 chunk 实际内容长这样： +───────────────────── +# 光伏产业链 +## 上游：硅料 +### 多晶硅工艺 +[chunk 正文] +## 中游：硅片 +## 下游：组件 +───────────────────── +``````` + +Agent 拿到这个 chunk，立刻知道层级位置，不会断章取义。 + +### 4.3 Graph 索引：双向链接 + +定位句里"自进化成**知识图谱**"的物理形态，就落在这一节——每个文件参与两套索引： + +- **正向（outlinks）**：A → B（A 引用了 B） +- **反向（inlinks）**：B ← {A, C, D}（谁引用了 B） + +**反向链接**是知识库可用性的关键 —— 让你站在任意一个概念上，看到"还有哪些地方提到过我"。 + +ReMe 提供三种 graph backend，按规模和需求切换： + +- **本地 dict + JSONL**：轻量、零依赖、适合个人规模。 +- **NetworkX + pickle**：方便做图算法分析。 +- **Neo4j**：企业规模、Cypher 查询、可视化丰富。 + +切换只需配置一行。 + + +## 五、记忆的自进化（核心差异化） + +> 这是 ReMe 最重要的能力，也是和市面所有「记忆即数据库」产品的根本分野。 +> +> **ReMe 的记忆不是被动存的，是主动长成知识图谱的。** + +定位句中"自进化成知识图谱"的具体路径，由下面三件套共同承担：**auto-memory** 在前线把对话拆成事件，**auto-dream** +在空闲时把事件归档成主题，**auto-link** 把这一切用 wikilink 串成图。三者协作，daily 流水最终被织成一张越用越密的个人知识图谱。 + +### 5.1 Auto-Memory：实时拆事件 + +主对话进行时，ReMe 在后台把上下文按"事件"自动拆分： + +- 用户和 Agent 的连续对话，被识别为若干个独立事件（一次会议、一次 debug、一次学习）。 +- 每个事件成为一个独立的 `daily/YYYYMMDD/{event}.md` 笔记。 +- 同时在 `daily/YYYYMMDD.md` 维护主索引，所有事件可被反向追溯。 + +**用户体验** +：不需要手动整理。打开当天主索引，事件已经分章节列好，每条都能跳转到独立笔记。这就像有一个秘书在你说话的同时帮你做" +会议纪要的分章节"。 + +### 5.2 Auto-Dream：空闲整理 + +借鉴人在睡眠中"记忆巩固"的机制： + +- Agent 检测到空闲（夜晚、用户离开、长时间无交互）时触发。 +- 把若干天的 daily 笔记按主题、实体重新组织到 `digest/knowledge/{domain}/` 下；同时把对话里反复出现的偏好沉淀到 `digest/personal/`，把 Agent 完成任务的经验固化到 `digest/procedural/`。 +- 抽取共性、合并重复、生成总结。 + +**用户体验**：第二天打开 `digest/`，会发现昨天散落在不同对话里的内容已经按"客户/项目/学习"自动归档到 `digest/knowledge/`，关键概念被抽成独立的主题笔记。 + +这是 ReMe 区别于"对话历史搜索"的关键 —— **它会自己整理**。 + +### 5.3 Auto-Link：自动建图 + +后台任务自动从正文里识别实体、候选链接，把隐式关系写回 wikilink： + +- 在「光伏产业链」笔记里提到「隆基」，ReMe 自动补 `[[隆基]]` 链接到对应主题笔记。 +- 在 daily 事件里提到「Alice」，自动链到 `[[Alice]]` 个人档案。 +- 生成的 link 是可见的、可编辑的（写在 Markdown 文件里），用户随时可以修正。 + +**用户体验**：知识库随时间自然"越长越密"。浏览时可以从任意一处跳转到相关全部上下文，类似于在自己的脑子里"联想"。 + +### 5.4 三者协同：从对话到知识图谱的自然演化 + +``` +[实时] [离线] [持续] +原始对话 ─Auto-Memory─► daily 事件 ─Auto-Dream─► digest/{personal,knowledge,procedural} + │ + Auto-Link + │ + ▼ + 知识图谱 +``` + +整个过程**不需要用户操心**。用户只需要正常和 Agent +对话，三个月后回头看，就有了一张按主题组织、互相关联、可视化浏览的个人知识图谱——这就是一句话定位里"自进化成知识图谱"的物理产物。 + + +## 六、检索体验：多模检索 + 渐进式展开 + +### 6.1 三路融合的混合检索 + +ReMe 同时跑三种检索通路，结果通过 RRF（Reciprocal Rank Fusion）排序融合： + +- **向量检索** —— 捕捉语义相似度（"钴" ≈ "锂电正极原料"） +- **关键词检索（BM25）** —— 精确匹配，对中文友好（"宁德时代" 一定要命中） +- **图谱检索** —— 通过 wikilink 邻居展开（找到"钴" → 自动带上"刚果(金)"、"嘉能可"） + +单一通路都有盲区： + +- 纯向量 → 名词术语容易错配。 +- 纯关键词 → 同义改写抓不到。 +- 纯图谱 → 起点选错就全盘错。 + +三路融合让检索像"三个人各自查一遍再开会确认"，结果鲁棒得多。 + +### 6.2 渐进式展开 + +传统 RAG 是一次性把 top-K 切片塞进上下文，token 利用率低，而且经常带进不相关的噪音。ReMe 的检索（ +`reme/steps/common/search.py`）是**分跳**的，且每一跳的"信息密度"刻意不同： + +- **第一跳：直接命中的切片**——返回 chunk 全文 + 章节骨架。 +- **第二跳：1-hop 邻居**——只返回邻居的 path + meta（name/description）+ 边的语义（predicate/anchor），**不展开正文**。 +- **第 N 跳：Agent 主动追问**——基于二跳的"目录"，挑出真正相关的邻居，再发起新一次 search 拿正文。 + +**一个具体例子：分析师查询"钴的下游应用"** + +第一跳直接命中 `digest/knowledge/financial/产业链/钴.md` 的某一段切片，answer 里这一段长这样： + +``` +========== digest/knowledge/financial/产业链/钴.md:42-78 [score=0.0234 vector=0.0123 keyword=0.0111] ========== +# 钴 +## 应用 +钴是锂电正极材料的关键原料，主要用于动力电池、消费电子和储能…… + + → outlinks (3): + → digest/knowledge/financial/矿产/刚果(金).md name="刚果(金) - 钴矿主产区" + via predicate=producer, anchor=#钴矿带 + → digest/knowledge/financial/公司/嘉能可.md name="嘉能可 Glencore" + via plain + → digest/knowledge/financial/产品/三元正极.md name="三元正极材料" + via predicate=downstream + ← inlinks (2): + ← digest/knowledge/financial/产业链/锂电产业链.md name="锂电产业链总览" + via predicate=upstream + ← daily/20260318/宁德调研纪要.md name="宁德时代调研纪要" + via plain +``` + +注意第二跳的信息只有"路径 + 名称 + 边的 predicate/anchor"，**没有邻居正文**。这是关键设计： + +- 一次检索就让 Agent 看到"这个主题周围长什么样"——上游是刚果(金)、嘉能可，下游是三元正极，被锂电产业链当作 upstream 引用，最近还在 + 3 月 18 日的宁德调研里被提到。 +- Agent 可以基于这份"目录"判断哪个邻居才是用户真正想要的，再调一次 search 拉对应文件的正文（比如挑 `三元正极.md` 的细节）。 + +**为什么不一次把邻居正文也带回来** + +如果第二跳直接返回正文，三跳网络很容易把上下文撑爆。当前实现里 `max_links_per_direction` 默认 10，单跳最多吐出 10 个 +outlink + 10 个 inlink 的 meta，每条只占一行，**整张二跳目录的成本不到一个 chunk 的 token**。 + +**工程层面的关键参数** + +- `candidate_multiplier=3.0`：候选池预拉 `limit*3` 条（最多 200），给 RRF 融合留余量。 +- `min_score`：过低分切片直接丢弃，避免噪音。 +- `expand_links=True`：开关二跳展开；关闭则退化为传统 RAG。 +- `max_links_per_direction=10`：单方向（出/入）最多展示几个邻居，防爆。 + +**用户体验**：检索像"翻知识网络"——先看一眼周边目录，再决定要不要深入某一条线，而不是"拉一坨切片塞进上下文"。 +**工程价值**：上下文窗口永远只装最相关的部分，token 成本可控；Agent 也能更精确地解释"我为什么知道这个"——因为它能引用 +predicate=upstream、anchor=#应用 这种带语义的边。 + +### 6.3 关键词索引的工程价值 + +很多人忽视：**做中文知识库，关键词检索比向量更重要**。 + +ReMe 自研增量 BM25 倒排索引，配合 jieba 中文分词： + +- 增量更新：新增/删除文件无需重建全索引。 +- 跨平台：纯 Python + 文件落盘，没有 sqlite/chroma 这类原生扩展。 +- 这一点直接解决了老版本在 qwenpaw 等老旧 Linux/Win 系统上的 core dump 兼容问题。 + +--- + +## 七、工程架构：可扩展、可替换、可演进 + +### 7.1 Component 框架 + +ReMe 把所有能力封装为 Component： + +``` +embedding · file_store · file_graph · file_chunker · file_watcher +tokenizer · keyword_index · LLM 适配 · service · client +``` + +每个 Component 都可以： + +- **Backend 热切换**：`local` ↔ `nx` ↔ `neo4j` 一行配置改完。 +- **生命周期托管**：start / close / restart 全自动，幂等保护。 +- **依赖声明**：组件间相互调用，按依赖图拓扑排序自动启动。 +- **持久化钩子**：dump/load 标准接口。 + +这意味着 ReMe 有非常强的**可演进性** —— 当某个 backend 不够用了（比如个人 Neo4j 改用云上 Neo4j），换的成本极低。 + +### 7.2 Job / Step 编排（借鉴 GitHub Actions） + +- **Step**：最小执行单元，做一件具体的事（如检索、解析、调 LLM）。 +- **Job**：steps 的有序组合，可复用、可流式。 +- **对外**：每个 Job 同时暴露为 HTTP API / MCP Tool / CLI 命令，无需重复开发。 + +新增一个能力的标准动作是： + +1. 写一个 Step（继承 BaseStep，实现 execute）。 +2. 在配置里把它组合进 Job。 +3. 自动获得 HTTP / MCP / CLI 三种调用方式。 + +### 7.3 配置即应用 + +一份 `default.yaml` 描述完整应用：service / components / jobs。 + +```yaml +service: + backend: http +components: + file_store: + backend: local + file_graph: + backend: local +jobs: + search: + steps: + - search_step +``` + +替换 backend、增删 Job、调整依赖，全部通过配置完成，部署上线无需改代码。 + +--- + +## 八、生态接入：ReMe 如何被使用 + +### 8.1 三种集成路径 + +| 路径 | 适用对象 | 体验 | +|-------------------------|-----------------------------------------------------|--------------------------------------------------------------------| +| **SDK 集成** | qwenpaw / AgentScope 等深度合作框架 | 直接调用 `AgentscopeTools`，无感拥有 auto-memory / auto-dream / auto-search | +| **MCP Tool + skill.md** | 任何支持 MCP 的客户端（Claude Code / Cursor / Cherry Studio） | 配 skill.md，开箱即用 | +| **CLI + skill.md** | 通用方案，兜底所有 Harness | 一条命令调用，shell 友好 | + +三条路径的设计哲学是：**不强迫任何 Agent 框架做 ReMe-specific 的改造**。 + +- 对深度合作方，给最丝滑的 SDK。 +- 对支持 MCP 的产品，靠 MCP 标准协议。 +- 对什么都不支持的环境，CLI + skill.md 兜底。 + +### 8.2 服务托管 + +- **按需拉起**：Agent 检测到 ReMe 服务未运行时，可以自动后台拉起，用户无感知。 +- **服务发现**：`find_reme` 一键探活，避免端口冲突；多个 ReMe 实例共存时也能精准定位。 + +### 8.3 ReMe 的边界 + +> **ReMe 专注于知识加工，不做知识获取。** + +- **数据采集** —— 网页抓取、邮件接入、Slack 同步、文件上传 —— 由上游 Agent 完成。 +- **ReMe 负责** —— 把这些资料消化、整理、链接、检索、自进化。 + +这个边界划得清楚的好处： + +- ReMe 不和上游的数据接入工具竞争。 +- ReMe 不需要为每种数据源写适配，专注做记忆引擎本职。 +- 让 ReMe 在"被集成"路线上更纯粹、更通用。 + +--- + +## 九、应用场景 + +### 9.1 金融场景：产业链知识库 + +**主角**：王分析师，新能源行业研究员，每天要处理 10+ 篇研报、数十条产业新闻、若干场公司调研。 +**痛点**：信息散落在飞书文档、PDF 研报、微信群消息、调研纪要里，"上次调研宁德时代时聊到的钴价话题"再也找不回来。 + +#### 一周内 ReMe 自动织出的产业链图谱 + +> **关键边界**：Auto-Dream 只对**已存在的 daily 事实**做聚合，不会凭空梦出"产业链总览"这种结构性概念。总览级笔记的诞生依赖**用户主动 query**，下面会分两个阶段展示。 + +##### 阶段一：Auto-Memory + Auto-Dream（事实层聚合） + +**Day 1（周一）盘后**：王分析师把今天看到的 3 篇研报扔给 Agent，又口述了对刚果(金)矿权变更的看法。 + +``` +对话原文(片段)： +> 今天嘉能可发了三季报，钴产量同比下滑 18%…… +> 刚果(金)那边的政策变化，对洛阳钼业 KFM 矿的影响要重点跟…… +> 下游三元正极厂商已经开始转向高镍低钴方案…… +``` + +ReMe 当晚 Auto-Memory 拆事件： + +``` +daily/20260518/ +├── 嘉能可三季报点评.md ← Auto-Memory 拆出的事件 1 +├── 刚果金矿权政策跟踪.md ← 事件 2 +└── 三元正极高镍化趋势.md ← 事件 3 +``` + +**Day 2-3**：王分析师又陆续聊了宁德调研、亿纬电话会、嘉能可后续公告，daily 里「钴」「嘉能可」「三元正极」「宁德时代」反复出现。 + +**Day 3（周三）夜间 Auto-Dream**：把多天 daily 里**反复出现的实体**聚合成实体笔记——只做归并，不做总览。 + +``` +digest/knowledge/financial/公司/ +├── 嘉能可.md ← 新建：聚合 day1/day2 提到嘉能可的 4 个事件 +├── 洛阳钼业.md ← 新建 +└── 宁德时代.md ← 已有，本次新增「高镍化决策」一节 +digest/knowledge/financial/原料/ +└── 钴.md ← 新建：聚合 3 天里所有提到「钴」的内容 +digest/knowledge/financial/产品/ +└── 三元正极.md ← 新建：技术路线变化 +``` + +注意：**Auto-Dream 没有生成「锂电产业链.md」**——产业链是结构性概括，不在 daily 事实里，凭空生成就是幻觉。 + +##### 阶段二：用户 query 触发检索 + 合成（结构层） + +**Day 5（周五）**：王分析师准备组会要讲新能源板块，主动问 Agent： + +> **"分析锂电相关上下游"** + +这一句 query 触发了**检索 → 合成 → 落盘**的完整闭环： + +###### Step 1：渐进式检索返回多节点 + 关系骨架 + +ReMe 走多模融合（向量 + BM25 + 图谱），命中 3 天来 Auto-Dream 已经聚合好的实体节点，并展开 1-hop 邻居 meta： + +``` +========== 第一跳：直接命中（5 个节点）========== + +digest/knowledge/financial/原料/钴.md:42-78 [score=0.0234] +# 钴 / ## 应用 +钴是锂电正极材料的关键原料，主要用于动力电池…… + → outlinks (4): + → digest/knowledge/financial/产品/三元正极.md via predicate=downstream + → digest/knowledge/financial/公司/嘉能可.md via predicate=producer + → digest/knowledge/financial/公司/洛阳钼业.md via predicate=producer + → daily/20260518/三元正极高镍化趋势.md via plain + ← inlinks (2): + ← daily/20260318/宁德调研纪要.md via plain + ← daily/20260512/亿纬电话会.md via plain + +digest/knowledge/financial/产品/三元正极.md:15-44 [score=0.0211] +# 三元正极 / ## 高镍低钴路线 +2025 年起主流厂商加速 8 系/9 系产品…… + → outlinks (2): + → digest/knowledge/financial/公司/宁德时代.md via predicate=used_by + → digest/knowledge/financial/原料/钴.md via predicate=upstream + +digest/knowledge/financial/公司/宁德时代.md:88-120 [score=0.0193] +# 宁德时代 / ## 高镍化决策 +本季度切换到 9 系三元为主…… + +digest/knowledge/financial/公司/嘉能可.md:5-30 [score=0.0167] +digest/knowledge/financial/公司/洛阳钼业.md:1-22 [score=0.0152] + +========== 第二跳：Agent 主动展开邻居 meta（不取正文）========== +共 9 个邻居节点，按预测相关度排序： + - digest/knowledge/financial/公司/亿纬锂能.md ← 三元正极 used_by 反链 + - daily/20260512/亿纬电话会.md ← 宁德时代 inlinks + - daily/20260318/宁德调研纪要.md ← 钴 inlinks + ... +``` + +Agent 不需要把这些邻居正文都拉回来——光看"路径 + name + predicate"就足够拼出上下游骨架。 + +###### Step 2：Agent 基于检索结果合成总览，写回知识库 + +``` +digest/knowledge/financial/产业链/ +└── 锂电产业链.md ← 由 Day 5 query 触发合成 + 内容来源：上一步检索命中的 5 个节点 + 关系 + 不引入任何 daily 之外的"想象" +``` + +`锂电产业链.md` 正文： + +```markdown +--- +name: 锂电产业链总览 +source: query-synthesized ← 标记来源是 query 合成 +trigger_query: "分析锂电相关上下游" +generated_at: 2026-05-22 +generated_from: + - [[钴]] + - [[嘉能可]] + - [[洛阳钼业]] + - [[三元正极]] + - [[宁德时代]] +--- + +## 上游 · 资源 +- 钴矿：[[嘉能可]] / [[洛阳钼业]]（刚果金为主产区，详见 [[钴]]） + +## 中游 · 材料 +- 正极：[[三元正极]]（高镍化趋势，详见同名笔记） + +## 下游 · 电池厂 +- [[宁德时代]]（[[daily/20260318/宁德调研纪要]] 中已确认 9 系切换） +- [[亿纬锂能]]（[[daily/20260512/亿纬电话会]] 中提到产能规划） + +> 本笔记由 query 触发合成；下次再问"锂电上下游"会直接命中此文件， +> 后续 Auto-Link 会在新 daily 事件出现相关实体时增量补连接。 +``` + +###### Step 3：Agent 同步给出组会答复 + +Agent 拿这份合成结果，给王分析师的回复直接带**上下游骨架 + 公司归属 + 历史调研引用**： + +> "锂电产业链分三段：上游钴矿（嘉能可、洛阳钼业，刚果金集中）、中游三元正极（高镍化加速）、下游电池厂（宁德/亿纬）。这周您提到的事件分别落在：嘉能可三季报 → 上游产能；高镍化趋势 → 中游路线切换；宁德 9 系切换 → 下游产品验证。详细引用见 [[digest/knowledge/financial/产业链/锂电产业链]]。" + +**关键差异**：传统 RAG 会一股脑塞 5 个文件正文进上下文；ReMe 是"先看 5 个节点的目录骨架 → 拼出总览 → 落盘成可被反复消费的笔记"。下次再问"锂电下游有谁"，直接命中这份总览，不用再走一遍合成。 + +##### Day 7：图谱已经长出层次 + +``` + ┌─────────────┐ + ┌────────►│ 锂电产业链 │◄────────┐ + │ └──────┬──────┘ ← Day 5 query 合成 + │ upstream │ │ upstream + │ │ contains │ + ┌───────┴──────┐ ▼ ┌──────┴──────┐ + │ 钴 │ ┌─────────┐ │ 锂 │ + │ (刚果金产区) │◄──┤ 原料 ├────►│ (盐湖产区) │ + └───────┬──────┘ └────┬────┘ └─────────────┘ + │ producer │ downstream + ▼ ▼ + ┌──────────────┐ ┌──────────────┐ + │ 嘉能可 │ │ 三元正极 │◄── 高镍化趋势 + │ 洛阳钼业 │ └──────┬───────┘ + └──────────────┘ │ used_by + ▼ + ┌──────────────┐ + │ 宁德时代 │ ← daily/0318 调研纪要 + │ 亿纬锂能 │ ← daily/0512 电话会 + └──────────────┘ + 【实体层 · Auto-Dream 聚合产生】 │ + │ + 【结构层 · query 合成产生】 +``` + +每条边都对应文件里的一句 `predicate:: [[X]]`，每个节点点开就是 Markdown 笔记，每段笔记都能反向追溯到原始 daily 事件——**没有任何节点是凭空"梦"出来的**。 + +#### proactive：主动洞察推送 + +每天早上 9:00，ReMe 在 `digest/proactive/20260519.md` 里写： + +```markdown +--- +name: 早间洞察 · 2026-05-19 +--- + +## 与您近期关注主题相关的事件 + +- **嘉能可宣布刚果(金) Mutanda 矿复产** ← 关联 [[钴]] / [[嘉能可]] + 上周您在 [[daily/20260518/嘉能可三季报点评]] 中标注「关注复产节奏」。 + → 复产对钴价的边际影响估计 -5% 到 -8%，可能影响 [[三元正极]] 成本。 + +- **宁德时代发布麒麟电池新版本** ← 关联 [[宁德时代]] / [[三元正极]] + 上次调研（[[daily/20260318/宁德调研纪要]]）中提到的高镍方案已落地。 +``` + +**这就是金融场景下 ReMe 的核心价值**：分析师只负责"看 + 说"，知识图谱自己长出来；当行业事件发生时，ReMe 主动把"新事件 ↔ 旧上下文"的连线送到分析师面前。 + +--- + +### 9.2 个人工作 & 生活第二大脑 + +**主角**：李工，前端工程师 + 业余跑者 + 有娃奶爸。每天和 Agent 聊工作 bug、读论文、讨论小孩教育、规划周末徒步路线。 +**目标**：让所有这些零散的对话沉淀成一份"自己的"知识库，三个月后能用 Obsidian 直接打开浏览。 + +#### 时间线：从空目录到第二大脑 + +``` +Day 1 Day 7 Day 30 Day 90 + │ │ │ │ + ▼ ▼ ▼ ▼ +[空目录] [daily 流水开始堆积] [knowledge 主题浮现] [图谱密集成网] + │ + ──────────────────────── Auto-Memory ─────────────────────────────► │ + ──────────── Auto-Dream（每晚） ──────────────────► │ + ────── Auto-Link（持续） ─────────────► │ + ▼ + Obsidian Graph + 打开是密集网状 +``` + +#### Day 7：daily 流水 + +``` +daily/ +├── 20260513.md +├── 20260513/ +│ ├── 调试登录页面 CSS 问题.md ← 工作 +│ ├── 读《深度工作》第三章.md ← 学习 +│ └── 周末徒步路线讨论.md ← 生活 +├── 20260514.md +├── 20260514/ +│ ├── 团队周会决定切换到 pnpm.md ← 工作 +│ ├── 给宝宝挑选英语启蒙绘本.md ← 育儿 +│ └── 5km 配速训练记录.md ← 跑步 +└── …… +``` + +打开 `daily/20260513.md`（主索引）： + +```markdown +--- +name: 2026-05-13 +--- + +## 今日事件 + +- 09:30 [[daily/20260513/调试登录页面 CSS 问题]] · #工作 #前端 +- 14:20 [[daily/20260513/读《深度工作》第三章]] · #阅读 +- 21:10 [[daily/20260513/周末徒步路线讨论]] · #生活 #徒步 +``` + +#### Day 30：Auto-Dream 已经把主题归档好了 + +``` +digest/knowledge/ +├── life/ ← 用户自定义二级分类：生活 +│ ├── 跑步训练日志.md ← 把 1 个月的「配速训练」事件聚合 +│ ├── 阅读笔记/ +│ │ ├── 深度工作.md ← 全书要点（从多次 daily 阅读片段汇总） +│ │ └── 给孩子的诗.md +│ └── 徒步路线/ +│ ├── 莫干山线.md +│ └── 千岛湖环湖线.md +├── work/ ← 用户自定义二级分类：工作 +│ ├── 前端调试技巧.md ← 「调试登录页面 CSS」「修复 z-index」等事件聚合 +│ ├── 包管理工具切换决策.md ← 「pnpm vs npm」讨论沉淀 +│ └── 团队会议纪要/ +└── parenting/ ← 用户自定义二级分类：育儿 + ├── 英语启蒙书单.md + └── 与孩子沟通技巧.md +``` + +李工没有手动建过任何一个 `digest/knowledge/` 下的文件——它们都是 Agent 在他睡觉时从 daily 里"梦出来"的。同时 Agent 在 `digest/personal/` 沉淀着对李工的画像（"偏前端"、"早睡"、"周末徒步"），但这一层用户不会主动浏览。 + +#### Day 90：Obsidian Graph View 打开是这样 + +``` + [深度工作] + ▲ + 引用 │ 应用到 + │ + [跑步训练日志] ◄── 借鉴方法 ── [前端调试技巧] ──► [包管理工具切换决策] + │ ▲ ▲ + │ 关联 │ │ 提到 + ▼ │ │ + [徒步路线] [周会纪要] [团队成员] + │ │ + │ │ mentions + ▼ ▼ + [莫干山线] ───── 同行 ────► [Alice] ◄── 育儿讨论 ── [给孩子的诗] + │ + ▼ + [英语启蒙书单] +``` + +**这张图是李工的"第二大脑"**——工作、跑步、阅读、育儿、社交关系全部交织在一起，能从「Alice」一路联想到「莫干山徒步」，再跳到「孩子的英语书单」，因为某次徒步同行时聊到过这个话题。 + +#### 一次具体的"联想式回忆" + +某天李工问："**上次和 Alice 一起聊过的那本书叫什么？**" + +``` +========== 第一跳：daily 命中 ========== +daily/20260420/与 Alice 周末聚餐.md +> ……Alice 推荐了一本讲注意力的书，标题里有「深度」两个字…… + + ← inlinks: + ← digest/knowledge/life/阅读笔记/深度工作.md via plain + → outlinks: + → digest/personal/Alice.md via mention + +========== 第二跳：Agent 顺藤摸瓜 ========== +digest/knowledge/life/阅读笔记/深度工作.md +> 卡尔·纽波特，2016 年出版…… +``` + +Agent 回："**《深度工作》，卡尔·纽波特著。** 您在 4/20 周末聚餐时 Alice 推荐的，您后来在 5/13 读了第三章并做了笔记。" + +模糊回忆 → 精确召回 → 上下文重建——这是普通"对话历史搜索"做不到的，因为它只会按时间顺序往回翻，而 ReMe 沿着图谱"联想"。 + +--- + +### 9.3 Agent 长期陪伴：跨会话的程序化记忆 + +**主角**：张研发，长期使用 Claude Code 做日常开发。希望 Agent "越用越懂我"——记得我的代码风格偏好，记得过去踩过的坑，记得未完成的任务。 + +#### 跨会话的记忆生命周期 + +``` +[第 1 次会话] [第 N 次会话，N 周后] + │ │ + │ 用户在编辑器报错 │ 用户遇到类似报错 + ▼ ▼ +┌─────────────┐ ┌─────────────┐ +│ Agent 排查 │ │ Agent 检索 │ +│ 试 A 方案 ❌│ ── ReMe ──► │ ReMe 召回 │ +│ 试 B 方案 ✅│ │ 上次的 B 方案│ +└──────┬──────┘ └──────┬──────┘ + │ 写入 │ 直接套用 + ▼ ▼ +digest/ 跳过踩坑，1 步解决 +├── procedural/ +│ └── webpack 编译卡死.md ← Agent 任务经验 +└── personal/ + └── 代码风格.md ← 用户偏好画像 +``` + +#### 程序化记忆的真实例子 + +**第 1 次会话（2026-03-10）**：webpack 编译突然卡死。 + +``` +对话过程(摘要)： +- 用户："npm run build 卡在 92% 不动了" +- Agent 试方案 A：清缓存 → 没用 ❌ +- Agent 试方案 B：升级 terser-webpack-plugin → 没用 ❌ +- Agent 试方案 C：发现是 fork-ts-checker 的 OOM，加 --max-old-space-size=8192 → ✅ 成功 +``` + +ReMe 的 Auto-Dream 当晚把这次会话沉淀到： + +```markdown +# digest/procedural/webpack 编译卡死.md +--- +name: webpack 编译卡死的排查路径 +type: programmatic +--- + +## 症状 +build 卡在 92%（chunk asset optimization 阶段）。 + +## 排查顺序（按命中率） +1. ✅ **检查 Node 内存**：`NODE_OPTIONS=--max-old-space-size=8192` + → fork-ts-checker 在大型 TS 项目里很容易 OOM +2. ❌ 清 .cache 缓存（多数情况下无效） +3. ❌ 升级 terser-webpack-plugin（仅特定版本相关） + +## 关联 +- 用户偏好：[[digest/personal/代码风格#TypeScript]] 启用了 strict 模式， + 类型检查负担大，更易触发 OOM +- 历史事件：[[daily/20260310/webpack 卡死排查]] +``` + +**第 2 次会话（2026-04-22，6 周后）**：用户在另一个项目又遇到类似问题。 + +``` +用户："vite build 也卡在打包阶段，是同一类问题吗？" + +Agent 内部检索 ReMe： +========== 命中：digest/procedural/webpack 编译卡死.md ========== +关键词匹配：编译卡死、build 阶段 +向量相似：vite build ≈ webpack build + +Agent 回复： +"根据您 3/10 在另一个项目遇到的同类问题，建议优先检查 Node 内存。 +vite 的 esbuild 阶段也吃内存，先试 NODE_OPTIONS=--max-old-space-size=8192。 +（上次清缓存和升级 plugin 都没用，可以跳过）" +``` + +**节省的不是时间，是踩坑路径**——这就是程序化记忆的价值。 + +#### 用户偏好的"自我画像" + +`digest/personal/` 下随时间长出的画像： + +```markdown +# digest/personal/代码风格.md +--- +type: personalization +--- + +## 命名 +- 倾向：函数 camelCase、类型 PascalCase、常量 SCREAMING_SNAKE +- 来源：[[daily/20260215]] 多次纠正 Agent 的命名建议 + +## 注释 +- 倾向：**不写无意义注释**，只在 WHY 不显然时写 +- 来源：[[daily/20260301]] 用户原话："don't comment what the code already says" + +## 错误处理 +- 倾向：边界处校验、内部代码相信调用方 +- 来源：[[daily/20260408]] 用户拒绝在内部函数加 try/catch 时的解释 + +## 测试组织 +- 倾向：tests4/unittest 按基类组织（来自项目 CLAUDE.md） +``` + +**意义**：这不是 Agent 在 system prompt 里写死的"用户喜欢简洁"，而是**从用户实际行为里被动观察到的、可追溯到具体对话的偏好画像**。每条偏好都有 `[[daily/...]]` 反向链接，用户可以审视、可以修正。 + +#### 三类记忆在 Agent 陪伴里的分工 + +回到 [3.2](#32-digest-下的四种记忆) 中 `digest/` 的四个子目录，本场景主要由其中三类共同支撑（proactive 已在 9.1 主动推送场景演示）： + +| digest 子目录 | 写入触发 | 检索权重 | 实际表现 | +|----------------------------|----------------|----------|---------------------------------------| +| **digest/personal/** | 用户纠正 / 偏好表达 | 全场景常驻 | "我懂你不爱写注释" | +| **digest/procedural/** | 任务完成后归纳成功/失败路径 | 任务相似度高时高 | "上次这类 bug 你这样解决过" | +| **digest/knowledge/** | 学习对话、文档阅读 | 主题相关时高 | "你之前学过的 React Server Components" | + +三类共同织成一个"懂用户 + 会做事 + 有知识"的长期陪伴 Agent——**差异化体验来自 ReMe 维护的个人记忆，而不是模型本身**。换言之，同一个 Claude / Qwen 模型，套上不同用户的 ReMe，会变成完全不同的 Agent。 + +--- + +## 十、性能与稳定性 + +### 10.1 自研轻量内核 + +新版本重写了记忆引擎的核心模块： + +- **file chunker** —— Markdown AST + 章节切片 + wikilink 抽取 +- **file store** —— 内存 chunk 字典 + JSONL 持久化 +- **file graph** —— 双向链接索引，多 backend +- **file watcher** —— 基于 watchfiles 的轻量监听 +- **keyword index** —— 自研增量 BM25 倒排，原生支持中文 + +整体**纯 Python + 文件持久化**，无 sqlite/chroma 等三方原生依赖。 + +### 10.2 跨平台稳定性 + +老版本在 qwenpaw 等低版本 Linux/Win 环境会出现 sqlite 段错误、chroma core dump，这些问题在新版本完全规避： + +- 没有 native 扩展依赖。 +- 老旧 glibc / 老旧 Python 版本也能跑。 +- 安装简单，不需要 cmake、build-essential。 + +这对一个**要被部署到大量异构用户机器**的产品至关重要。 + +### 10.3 未来：Rust / C++ 高性能内核 + +- 当前 Python 版本已能覆盖个人规模知识库（万级文件）。 +- 规划用 Rust / C++ 重写关键路径（BM25 索引、文件解析、向量计算），支撑： + - 更大规模（十万级文件） + - 更低延迟（亚秒级冷启动） + - 更小内存 +- 上层 API 不变，对用户和 Agent 接入方完全透明。 + +--- + +## 十一、Roadmap + +| 阶段 | 关键里程碑 | +|-----------|--------------------------------------------------------------------------------------------------------| +| **Now** | 组件框架、Job/Step、Markdown 内核、混合检索（向量+BM25+图谱）、HTTP / MCP / CLI 三协议服务 | +| **Next** | auto-memory / auto-dream / auto-link 全套自进化能力；记忆类型分层；resource / proactive 目录；skill.md 模板；qwenpaw SDK 集成 | +| **Later** | 多跳渐进检索 API、领域 demo（金融产业链）、个人场景模板包、Rust 高性能内核、可视化管理面板 | + +每个阶段都有清晰的对外可演示成果： + +- Now → 可以现场演示 ReMe 检索 + Agent 集成。 +- Next → 可以演示"今天聊的内容明天自动整理好"。 +- Later → 可以演示十万级知识库下的亚秒检索 + 主动推送闭环。 + +--- + +## 十二、结语：ReMe 想成为什么 + +> ReMe 不止是「记忆库」。 +> +> 它的目标是：**让每个用户拥有一张由本地 Markdown 自进化而成、可携带、可被任意 Agent 调用的个人知识图谱。** +> +> 当 Agent 时代真正到来时，差异化的不是模型，而是「这个 Agent 是不是了解我」。 +> +> ReMe 想做的，就是这份「了解」的载体——一张属于用户自己、Agent 可读可写、会自己生长的图谱。 + +**三个判断**： + +1. 个人记忆是 Agent 时代必然出现的基础设施 —— 不是 ReMe 不做就没人做，而是早做的人有先发优势。 +2. **本地 Markdown + 自进化 + 知识图谱**（叠加被集成路线）—— 这套组合在当下市场是空缺的。 +3. ReMe 的工程内核已经就位，剩下是**自进化能力 + 生态集成 + 场景模板**的三件套加固，路径明确。 diff --git a/docs/old/structure.md b/docs/old/structure.md new file mode 100644 index 00000000..fb814af3 --- /dev/null +++ b/docs/old/structure.md @@ -0,0 +1,782 @@ +# reme 系统架构 — 设计文档 + +## 文档定位 + +本文档定义 reme 的**架构设计**:概念边界、数据流契约、职责划分。 + +- 不涉及代码路径 / 实现进度 / API 具体形态 +- **执行栈与架构角色**(分层、模块切分、职责划分)在第 6-7 节;源码映射与落地状态见 `docs4/reme_report.md` 与源码 +- 不规定怎么做,只规定**是什么、谁负责、输入输出** + +> 阅读顺序:**第 1 节**给出完整的架构总览(数据视角 + 运行时视角 + 核心机制 + 不变量 + 导航);**第 2-5 节**逐层展开三层存储 / 6 类 L4 动作语义 / 反向回流 / 触发节奏;**第 6 节**描述底层执行栈(L0→L5);**第 7 节**把 6 类 Action 落到 L4 实现模块;**第 8 节**讲跨切面 schema 契约;**第 9 节**列出明确不属于本架构的反例。 + +--- + +## 1. 架构总览 + +本章给出 reme 完整的设计骨架,后续 §2-§9 逐项展开细节。 + +### 1.1 解决什么问题 + +reme 是 agent 的**长期记忆系统**。它把 agent 的工作过程沉淀为可检索、可演化的知识结构。 + +设计要解耦两件事: + +| 关注点 | 由谁负责 | +|---|---| +| **agent 写什么 / 读什么** | agent 的工作流自决 | +| **vault 自身如何健康演化** | reme 自治,agent 不感知 | + +实现方式:三层存储拓扑为"两路并行写入(原始资料 / 任务过程) → 双源合流到沉淀知识层",reme 提供这三层的容器、动作语义、反向检索与自治维护。 + +### 1.2 数据视角:并行起点 + 双源合流 + 反向回流 + +数据有**两个并行起点** —— **External source**(webhook/upload/pull)与 **Agent**(外部主体,自身任务驱动)。两条独立通道各自落地到**并行的材料层**:External 经 `ingest` 沉到 `resource/`,Agent 经 `sync` 写到 `daily/`。两层材料**合流**到 `digest/`,由 reme 通过 `digest` 动作完成"消化"。`digest/` 自身由 `maintain` 做 in-place 重组。Agent 通过 `retrieve` 从 resource + daily + digest **三层并行**回流。`notify` 是 reme 跨过 vault 直接提醒 Agent 的**虚边**(控制信号,不写任何文件)。每段路径都对应一个 L4 动作语义(完整动作详见 §5.2 / §7): + +| 路径 | L4 动作 | 说明 | +|---|---|---| +| External source → resource | **ingest** | 外部信源落到 vault | +| External source ╌╌► Agent | **notify** | reme 推送通知(虚边,只走 L2 推送队列,不写文件) | +| Agent → daily | **sync** | Agent 写 daily(响应 notify 或自身任务驱动) | +| resource + daily → digest | **digest** | reme 内部 LLM 抽取沉淀(双源合流) | +| digest → digest | **maintain** | reme 内部 LLM 折叠重组(in-place, fold-only) | +| resource + daily + digest → Agent | **retrieve** | 三层并行回流(state / semantic / topological 三种正交问法) | + +``` + notify(虚边,控制信号) +External source ╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌► AGENT +(webhook/upload/pull) (外部主体/自身任务) + │ │ ▲ + │ ingest │ │ retrieve + │ ┌────── sync ────────────────────-┘ │ (state / + ▼ ▼ │ semantic / + ┌──────────┐ ┌──────────┐ │ topological) + │resource/ │ │ daily/ │ │ + │ 原始资料 │ │任务工作区 │───────── retrieve ─────────────┤ + │ 不可变 │ │ 半可变 │ │ + └───┬──┬───┘ └────┬─────┘ │ + │ │ │ │ + │ │ digest digest │ │ + │ └────────┐ ┌────┘ │ + │ ▼ ▼ │ + │ ┌────────────────────┐ │ + │ │ digest/ │ ◄──╮ │ + │ │ 沉淀知识 │ │ maintain │ + │ │ 可重组(语义索引) │ ───╯ (in-place, fold-only) │ + │ └──────────┬─────────┘ │ + │ │ retrieve │ + │ └─────────────────────────────────────-─┤ + │ │ + │ retrieve │ + └──────────────────────────────────────────────────────────┘ +``` + +**模型要点**: + +- **两个起点平行,不存在主从** —— External 与 Agent 各自独立驱动;Agent 既可响应 `notify` 也可由自身任务直接 `sync`。 +- **两层材料平行,不存在传递** —— resource 与 daily 是**两条独立的写入通道**,不互相穿越:Agent 不写 resource,ingester 不写 daily。 +- **digest 是双源合流的产物** —— `digest` 动作的输入是 resource + daily 的组合(不是仅 daily);相应地,digest 节点的 provenance 可同时指向 resource 与 daily。 +- **digest 自循环** —— `maintain` 在 digest 内部做密度折叠,不与上游材料层交互。 +- **notify 是虚边** —— reme 用它提醒 Agent "有新 resource 值得看",但不落任何文件;Agent 的响应通过 `sync` 落 daily(并可选地用 wikilink 引 resource)。 + +retrieve 三种问法正交: + +| 问法 | 工具 | 主要看哪层 | +|---|---|---| +| **state**(谁在 / 是什么状态) | `list` / `frontmatter` | 各层平等 | +| **semantic**(我想到一个意思) | `search` | digest > daily > resource(默认权重) | +| **topological**(从一个点向外摸) | `traverse` | 沿 wikilink 跨层平等 | + +### 1.3 运行时视角:六层执行栈 + 双进程 + +reme 的功能不是堆在一层,而是从文件系统底层往上栈式堆叠。顶层 Service 与 Runtime 是同一套 vault 上的两个进程角色,共享 L0-L4 全栈(详见 §5.3 / §6)。 + +``` + ┌─────────────────────┐ ┌─────────────────────┐ + │ L5 Service │ │ L5 Runtime │ + │ (HTTP / MCP) │ │ (scheduler 自治) │ + └──────────┬───────────┘ └──────────┬──────────┘ + │ │ + └─────────────┬────────────────┘ + ▼ + ┌──────────────────────────────────────────────────┐ + │ L4 6 类 Action(动作语义) │ + │ ingest notify sync retrieve digest maintain│ + └──────────────────────┬───────────────────────────┘ + ▼ + ┌──────────────────────────────────────────────────┐ + │ L3 原子工具 │ + │ ┌─────────────────────┐ ┌──────────────────┐ │ + │ │ 基础工具 │ │ 高级工具 │ │ + │ │ create/append/edit/ │ │ search │ │ + │ │ read/write/move/ │ │ traverse │ │ + │ │ delete/list/stat │ │ frontmatter │ │ + │ └──────────┬──────────┘ └────────┬─────────┘ │ + └─────────────│──────────────────────│─────────────┘ + │ 直读 / 直写 │ 走索引读 + │ (eventual,有滞后) │ + │ ▼ + │ ┌────────────────────────────┐ + │ │ L2 文件状态 │ + │ │ · file_store(chunk+vec) │ + │ │ · file_graph(node+link) │ + │ │ · 自治状态(scheduler 用): │ + │ │ - resource: 入流批次/ │ + │ │ 未消化(orphan) │ + │ │ - daily: 任务索引 │ + │ │ (进行中/stale/完成) │ + │ │ - digest: 密度水位/ │ + │ │ 断链(broken wikilink) │ + │ │ · 推送队列(notify): │ + │ │ pending/notified/ │ + │ │ acknowledged │ + │ └─────────────▲──────────────┘ + │ │ 派生 / 更新 + │ ┌─────────────┴──────────────┐ + │ │ L1 file_watcher │ + │ │ fs event → state delta │ + │ │ (唯一 fs→state 桥) │ + │ └─────────────▲──────────────┘ + │ │ 监听 + ▼ │ + ┌──────────────────────────────────────────────────┐ + │ L0 vault 文件系统 │ + │ resource/ daily/ digest/ │ + └──────────────────────────────────────────────────┘ +``` + +Service 与 Runtime 是同一份 vault 上的两个进程角色: + +| 进程 | 触发源 | 时延敏感 | 典型动作 | +|---|---|---|---| +| **Service** | 外部 push / 外部 pull / agent 同步请求 / **MCP 推送通道** | 是 | ingest / sync / retrieve / **notify-out(MCP)** | +| **Runtime** | scheduler 周期 + L2 自治状态阈值 | 否(eventual) | **notify 决策** / digest / maintain | + +### 1.4 核心机制总览 + +| 机制 | 一句话 | 详见 | +|---|---|---| +| 三层存储 | resource(冷) / daily(温) / digest(冷,组织化) | §2 | +| 6 类 L4 动作 | ingest / notify / sync / retrieve / digest / maintain | §1.2 / §3 | +| notify+sync 链 | reme 主动从 L2 资源自治状态选候选,经 MCP 推给 agent;agent sync 落 daily | §3.3-3.4 / §7.1 | +| 反向 retrieval | state / semantic / topological 三种正交问法 | §4 | +| 触发四源 | 外部 push / 外部 pull / agent on-demand / reme 后台 | §5.1-§5.2 | +| Service + Runtime | 双进程角色,共享 L0-L4,职责按时延分 | §5.3 | +| 执行栈(L0-L5) | filesystem → file_watcher → 文件状态 → 原子工具 → Action → Service/Runtime | §6 | +| 原子工具:基础 vs 高级 | 基础直 fs;高级走 L2 索引(eventual) | §6.4 / §5.5 | +| Action 模块映射 | 6 类 Action 由 5 个模块实现(retrieve 直走原子工具) | §7 | +| Schema 跨切面 | name+description 是核心强约束,其余 opinionated default 可重载 | §8 | + +### 1.5 核心不变量速览 + +写入拓扑(架构脊梁,来自 §2.3):两路并行写入(External→resource、Agent→daily)→ 双源合流到 digest;resource 与 daily 之间互不写入;任何一层都不能反向改写它的上游。 + +| 不变量 | 内容 | 来源 | +|---|---|---| +| **I-1** | agent 不直接写 digest(digest 写权只属 dreamer / maintainer) | §2.4 | +| **I-2** | daily folder 单作者(同 folder 不并发改) | §2.4 | +| **I-3** | resource 内容不可变,只允许 metadata appendable | §2.4 | +| **I-4** | 三层共用同一套 wikilink 索引,跨层引用全靠 wikilink | §2.4 | +| **R-1** | retrieve 三种问法分立,不合并为单一 read verb | §4.3 | +| **M-1** | Maintainer 只做一件事:密度折叠(把碎片叶子折叠到新的中间节点下) | §7.3 | +| **F-1** | L1 `file_watcher` 是 L0→L2 的唯一派生桥 | §6.5 | +| **F-2** | L3 基础工具直接读写 L0;高级工具只走 L2 | §6.5 | +| **F-5** | L5 Service / Runtime 共享 L0-L4,不直接通信 | §6.5 | +| **F-6** | L0↔L2 存在 eventual 窗口,agent 上下文承担近期信息 | §5.5 / §6.5 | + +### 1.6 文档导航 + +| 想了解… | 看 | +|---|---| +| 三层各自的定位、不变量 | §2 | +| 6 类 L4 动作语义(notify / sync / digest / maintain 的输入产出不变量) | §3 | +| Retrieval 的三种问法与跨层语义 | §4 | +| 谁来触发、什么节奏、为什么分两个进程 | §5 | +| 系统从文件系统到 Service 的分层(底层基础) | §6 | +| L4 五个模块的对称结构与 Maintainer 折叠设计 | §7 | +| Schema 协议与重载机制 | §8 | +| 哪些设计不属于本架构(反例与边界) | §9 | +| 术语回查 | 附录 | + +--- + +## 2. 三层存储 + +### 2.1 一句话定位 + +| 层 | 一句话 | +|---|---| +| **resource/** | 外部原始资料的**不可变快照**。reme 是容器,不是作者。 | +| **daily/** | agent 的**任务工作区**。folder 是单位,以"日 + 任务"为索引。 | +| **digest/** | 跨任务沉淀的**有组织知识**。以语义(概念/实体/方法)为索引,与时间无关。 | + +### 2.2 五维度对照 + +| 维度 | resource/ | daily/ | digest/ | +|---|---|---|---| +| **组织主轴** | 时间(`/`) | 时间 + 任务(`//`) | 语义(`//...`,任意嵌套) | +| **写权归属** | 入流通道唯一(webhook / upload / pull) | agent(写入任务过程) | dreamer / maintainer(无 agent 直写) | +| **可变性** | 不可变,只追加新文件 | folder 内可反复更新 | 单节点可演化,可被合并/拆分/移动 | +| **不变量** | 写入即冻结,原文永不变 | folder 名 = summary note 名(可移动单元);同 slug 同日只一份 | slug 全局唯一;每 folder 有 canonical entry;wikilink 全路径 | +| **谁在用** | agent(查原文)、dreamer(双源输入之一) | agent(自己的工作记录)、dreamer(双源输入之一) | agent(召回主目标)、maintainer(自维护对象) | + +### 2.3 写入纪律:并行写入 + 双源合流 + +``` + External source Agent + │ │ + │ ingest │ sync + ▼ ▼ + ┌──────────┐ ┌──────────┐ + │resource/ │ │ daily/ │ + │ 不可变 │ │ 半可变 │ + │(ingester)│ │ (agent) │ + └─────┬────┘ └─────┬────┘ + │ │ + │ digest digest │ + └──────────────┐ ┌─────────────┘ + ▼ ▼ + ┌──────────────┐ ◄──╮ + │ digest/ │ │ maintain + │ 可重组 │ ────╯ (in-place, + │ (dreamer + │ fold-only) + │ maintainer) │ + └──────────────┘ +``` + +写权按这个**两层并行 → 单层合流**的拓扑分配:resource 写权专属 ingester(外部入流通道),daily 写权专属 agent(sync 落入,可响应 notify 或自身任务驱动),digest 写权专属 dreamer + maintainer。**resource 与 daily 之间互不写入**(agent 不动 resource,ingester 不动 daily);任何一层都不能反向改写它的上游。这是整个架构的脊梁。 + +### 2.4 不变量(永远成立) + +| # | 不变量 | 否则后果 | +|---|---|---| +| **I-1** | agent 不直接写 digest | digest 的"有组织"性失守,沉淀质量退化 | +| **I-2** | daily folder 单作者(同 folder 不并发改) | 任务边界模糊,sync/digest 竞态 | +| **I-3** | resource content immutable,只允许 metadata appendable | 原文可能消失/被覆写,citation 不可信 | +| **I-4** | 三层共用同一套 wikilink 索引,跨层引用全靠 wikilink | 引入第二套引用机制 → 索引重建复杂 / 跨层关系不可达 | + +--- + +## 3. L4 动作语义详解 + +§1.2 给出了 6 个 L4 动作在数据视角下的整体形态。本节按动作逐个展开输入 / 产出 / 不变量 / 反例。`ingest`(外部→resource,机械)和 `retrieve`(三层并行回流,只读)分别在 §5/§7.4 与 §4 详述,本节聚焦四个**写动作**:`notify` / `sync` / `digest` / `maintain`。 + +### 3.1 统一原则 + +四个写动作都遵守: + +| 原则 | 内容 | +|---|---| +| **Monotonic content** | 上游内容不可变,下游只能新建节点或加链接,不能改写上游 | +| **Provenance 必须可达** | 任何下游节点必须能通过 wikilink 反查到上游来源 | +| **Wikilink 是新结构的唯一载体** | 跨层关系靠 wikilink,不靠内容拷贝 | + +它们都不是"数据搬家",而是"在下游新生成有引用关系的节点"。 + +### 3.2 四个写动作的本质对照 + +| 动作 | 上游 → 下游 | 性质 | 上游变化 | 下游变化 | +|---|---|---|---|---| +| **notify** | resource → Agent | **Attention**(推送注意力) | 不变 | 不写 vault;仅入 L2 推送队列 | +| **sync** | Agent → daily | **Reference**(引用落地) | 不变 | daily 中新增工作记录 + 对 resource 的 wikilink | +| **digest** | resource + daily → digest | **Crystallize**(双源合流结晶) | 不变 | digest 新增节点,wikilink 反指上游来源(daily 与/或 resource) | +| **maintain** | digest → digest | **Reorganize**(重组) | 结构变,内容守恒 | fold-only:引入子中间节点搬叶子,改变拓扑 | + +> `notify` 与 `sync` 共同实现"resource 中的候选被 Agent 看见并织入 daily"这条**Reference 链**;它们是两个独立的 L4 动作,主体不同(notify 由 Reme 自治触发,sync 由 Agent 触发)。 + +### 3.3 notify:reme → Agent 推送候选 + +| 维度 | 内容 | +|---|---| +| 主体 | Reme Runtime(`notifier` 模块) | +| 输入 | L2 资源自治状态:orphan(无 inbound wikilink)/ 入流批次 / 未消化老于 N | +| 产出 | L2 推送队列条目;通过 Service MCP **server-initiated notification** 推到 Agent;**不写任何 vault 文件** | +| 不变量 | resource 原文 0 修改;**完全单向**,不维护任何反向元数据;`notify` 决策在 Runtime,Service 只作 MCP transport | +| Acknowledge 机制 | L1 watcher 检测到 daily→resource 新 wikilink → L2 推送状态 `notified` → `acknowledged`,避免重复推送 | +| 反例 | (a) Service 自决推什么 notify(✗-17);(b) notify 写入 vault(✗-16);(c) Agent 主动调 notify(✗-18) | + +### 3.4 sync:Agent → daily 落地 + +| 维度 | 内容 | +|---|---| +| 主体 | Agent(`synchronizer` 模块在 Service 内编排) | +| 输入 | Agent 当前事件流(响应 `notify` 的候选,**或**自身任务直接驱动) | +| 产出 | daily folder 内的工作叙事;可选地用全路径 wikilink 引 resource(agent 自决,reme 不强制) | +| 不变量 | resource 原文 0 修改;daily 单作者(I-2);folder 名 = summary note 名(可移动单元) | +| Provenance | daily → resource 可达(通过 daily body 中的 wikilink) | +| 反例 | "agent 把 resource 内容拷进 daily" —— 不允许,daily 只持有引用 + 自己的工作记录 | + +### 3.5 digest:resource + daily → digest 双源合流结晶 + +| 维度 | 内容 | +|---|---| +| 主体 | Reme Runtime(`dreamer` 模块,LLM-driven) | +| 输入 | 一组待蒸馏的 daily folder + 相关 resource(双源合流;通常以 daily 任务为线索,顺着 wikilink / 同主题搜索拉入相关 resource 原文) | +| 产出 | digest 中 0~N 个新节点 或 已有节点的更新;新节点必须用 wikilink 反指至少一个上游来源 | +| 不变量 | resource / daily 正文 0 修改;digest 新节点必须 wikilink 反指上游(provenance);digest 节点遵守第 2.4 节列的不变量 | +| Provenance | digest → daily / resource 双源链条可达(资料源是 resource 时直接反指,任务过程是 daily 时反指 daily 进而可达 resource) | +| 反例 | dreamer 改写 resource;dreamer 改写 daily 正文 | + +### 3.6 maintain:digest → digest 折叠 + +| 维度 | 内容 | +|---|---| +| 主体 | Reme Runtime(`maintainer` 模块,LLM-driven,**fold-only**) | +| 输入 | digest/ 当前整体状态 | +| 产出 | 同一 digest/ 树的**密度折叠**(fold):某中间节点下叶子过多时,引入子中间节点把相关叶子归簇 + 写"高密度摘要" | +| 不变量 | 树**只向下生长**(从不反向);叶子内容 0 修改,只被搬位置;新中间节点 = 一个高密度摘要文件;任何节点移动**原子重写所有入边**(retarget);slug 全局唯一在折叠后仍成立 | +| Provenance | digest → daily 的反指链接在折叠后仍有效(retarget 保证) | +| 反例 | merge / move / promote / demote 等改写既有拓扑的操作;改写既有叶子内容 | + +> 折叠操作的承诺与决策点见 §7.3。 + +### 3.7 链接重定向例外 + +`maintain` 的 retarget 会改写其它节点中指向被移动节点的 wikilink。从字面看,这违反了"上游内容不可变"。 + +实际上这是 wikilink 系统的**机械性副作用**,不算下游写上游: + +| 字面 | 实质 | +|---|---| +| daily 里的 `[[digest/old.md]]` 被改成 `[[digest/new.md]]` | 作者意图("我引用了 X 这个 digest 节点")没变,只是 X 的物理位置变了 | + +只要 retarget 保持 wikilink 的**目标语义不变**,就允许它作为机械维护副作用穿越层界。这是这条规则的唯一例外。 + +--- + +## 4. Retrieval 反向回流 + +Retrieval 是把 §3 几条正向写动作反着读:agent 站在结果端,沿 wikilink 反查源头。 + +### 4.1 三种问法 + +按 agent 意图分,有三类完全不同的读需求,**正交**,各自独立: + +| 问法 | 例子 | 本质 | +|---|---|---| +| **状态问** (State) | "我有哪些 in-progress 的任务?""哪些 resource 还没被引用?" | 在某层做 list + frontmatter 过滤 | +| **语义问** (Semantic) | "关于 auth 重构我知道什么?" | 跨层全文/向量检索 | +| **拓扑问** (Topological) | "auth 概念周围都连了什么?" | 从某节点沿 wikilink 走 | + +### 4.2 三层 × 三问法 矩阵 + +| 问法 | resource/ | daily/ | digest/ | +|---|---|---|---| +| **状态问** | "未处理 resource 清单" | "active / pending-digest 清单" | "孤儿节点 / canonical 缺失 清单"(给 maintain 用) | +| **语义问** | 兜底(原文,信噪比低) | 次优(最新,但未沉淀) | **首选**(沉淀过,信噪比高) | +| **拓扑问** | 通常是叶子(被指向) | daily → resource / digest | digest 内部连接最密 | + +### 4.3 设计原则 + +| # | 原则 | 含义 | +|---|---|---| +| **R-1** | 三种问法分立,不合并为单一 "read" verb | 不同问法的索引、过滤、排序逻辑完全不同 | +| **R-2** | 语义问的默认权重 `digest > daily > resource`,**可被显式覆盖** | 默认体现"沉淀质量",但 agent 可指定单层或调权 | +| **R-3** | 拓扑问与层无关 | traverse 沿 wikilink 走,天然跨三层(I-4) | +| **R-4** | Provenance expansion 默认 lazy,eager 是上层便利封装 | 原子 retrieval 不自动展开;agent 需要时再 traverse | +| **R-5** | Cold start 不是新的 retrieval mode | 只是状态问 + 语义问的组合,reme 不为它单设 verb | + +### 4.4 在主干图里的位置 + +Retrieval 不引入新存储,不引入新层。它是 **agent 与三层存储之间的读视图**,通过三种正交问法暴露,共享同一套 wikilink 索引(I-4)。 + +--- + +## 5. 节奏与触发 + +锁定"谁推动每个动作发生"。这一步定 reme 是纯被动 service 还是带后台 runtime。 + +### 5.1 触发源四分类 + +| 触发源 | 性质 | 例子 | +|---|---|---| +| **External push** | 外部事件主动推 | webhook / 用户 upload | +| **External pull** | reme 主动去外部拉 | scheduled fetcher(RSS / 邮件 / API 轮询) | +| **Agent on-demand** | agent 在请求里显式调用 | "sync 我的对话" / "搜 X" | +| **Reme background** | reme 自己的 watcher / scheduler | file_watcher / cron-like | + +### 5.2 六个动作的触发归属 + +| 动作 | 主触发 | 备用触发 | 备注 | +|---|---|---|---| +| **ingest** | External push / pull | — | 外部→resource,机械 | +| **notify** | **Reme background**(cron + L2 资源自治状态阈值) | — | Runtime 决策,Service MCP 推送 | +| **sync** | Agent on-demand | — | agent→daily;notify 的响应也走这里 | +| **digest** | **Reme background** | Agent 显式(后门) | resource + daily 双源合流到 digest | +| **maintain** | **Reme background**(cron + threshold) | Agent / 人工 显式(后门) | digest 内部折叠 | +| **retrieve** | Agent on-demand | — | 三层只读 | + +**关键定性**:`notify` / `digest` / `maintain` 三个 reme 自治动作的主控制权**在 reme,不在 agent**。Agent 只负责"响应 notify + 写 daily(响应或自身任务驱动)+ 主动读";不需要记得"该看哪些 resource""该蒸了""该整理了"。 + +### 5.3 Service + Runtime 双进程结构 + +把 5.2 的归属直接推出 reme 的基本架构。两进程共享 L0-L4 全栈,只在 L5(进程入口)分叉: + +``` +┌──────────────────────────────────────────────────────────┐ +│ Reme System │ +│ │ +│ ┌────────────────────┐ ┌────────────────────────┐ │ +│ │ L5 Service │ │ L5 Runtime │ │ +│ │ (HTTP / MCP) │ │ (scheduler 自治) │ │ +│ │ 服务 agent 请求: │ │ 服务 vault 健康: │ │ +│ │ · ingest │ │ · notify(决策) │ │ +│ │ · sync │ │ · digest │ │ +│ │ · retrieve │ │ · maintain │ │ +│ │ · notify(MCP 推送)│ │ │ │ +│ └─────────┬──────────┘ └───────────┬────────────┘ │ +│ │ │ │ +│ └──────────────┬───────────────┘ │ +│ ▼ │ +│ ┌──────────────────────────────────────────────────┐ │ +│ │ L4 Action / L3 原子工具 │ │ +│ │ Action 编排 → 基础工具 + 高级工具 │ │ +│ └──────────────────────┬───────────────────────────┘ │ +│ ▼ │ +│ ┌──────────────────────────────────────────────────┐ │ +│ │ L2 文件状态(file_store + file_graph + 自治) │ │ +│ └──────────────────────▲───────────────────────────┘ │ +│ │ 派生 │ +│ ┌──────────────────────┴───────────────────────────┐ │ +│ │ L1 file_watcher(fs → state 的唯一桥) │ │ +│ └──────────────────────▲───────────────────────────┘ │ +│ │ 监听 │ +│ ┌──────────────────────┴───────────────────────────┐ │ +│ │ L0 vault filesystem │ │ +│ │ resource/ daily/ digest/ │ │ +│ └──────────────────────────────────────────────────┘ │ +└──────────────────────────────────────────────────────────┘ +``` + +两进程职责正交、共享 L0-L4 基础设施(详见 §6): + +| 维度 | L5 Service | L5 Runtime | +|---|---|---| +| 触发方式 | 请求-响应 + MCP server-initiated 推送 | 周期 + L2 自治状态阈值 | +| 服务对象 | agent | vault 自身 | +| 暴露给 agent | 是 | 否(agent 不感知) | +| 主要动作 | ingest / sync / retrieve / **notify 推送通道**(MCP) | **notify 决策** / digest / maintain | +| 与对端的耦合 | 通过 L2 推送队列读 notifier 产出 | 通过 L2 推送队列写,**不直接调 Service** | + +### 5.4 节奏(latency tolerance) + +| 动作 | 节奏 | latency 容忍 | +|---|---|---| +| retrieve | request-driven | sub-second | +| ingest | event-driven | seconds | +| sync | agent on-demand | seconds | +| **notify** | reactive(L2 资源状态变化后) | seconds ~ minutes | +| digest | reactive(状态变化后) | minutes ~ hours(eventual consistency) | +| maintain | periodic | days(无紧迫) | + +实时性需求差三个数量级。这是 digest / maintain 必须放后台异步的根本原因 —— 不能阻塞 agent 的 retrieve / sync 请求。 + +### 5.5 排序约束与一致性模型 + +部分动作对**不能并发**,background runtime 内部要保证排序: + +| 约束 | 原因 | +|---|---| +| **sync(同一 daily)→ digest(同一 daily)** | digest 不能看到 sync 半成品 | +| **digest(同一 scope)→ maintain(同一 scope)** | maintain 重组的拓扑不应被 digest 中途插入 | + +ingest / retrieve 跟所有动作都可并发(纯入流 + 纯读)。 + +**一致性模型 = Eventual consistency on digest/maintain**。Agent 不能依赖"我刚写完 daily 就能查到对应 digest"。digest / maintain 都是后台异步,有可见的延迟窗口。 + +**watcher 滞后契约(L0 ↔ L2)**:基础工具直接写 L0 文件系统,L2 文件状态由 L1 file_watcher 派生,二者之间存在 eventual 窗口 —— 写完一份 daily 后,search / traverse 这类走 L2 索引的高级工具不一定立刻能看到。这是设计意图,不是 bug:agent 本身有上下文窗口,近期信息靠 agent 自带的对话上下文承接,不依赖 reme 索引立即可见。需要"写后立刻可读"的场景请用基础工具(read 直接读 fs)。 + +--- + +## 6. 执行栈:六层结构 + +L3 原子工具、L4 Action、L5 进程都不直接操作文件系统。它们坐在 L0-L2 的**底层基础**上 —— 这套基础是 reme 的"动力源",决定了为什么上层能解耦成 Service + Runtime 两进程,且两者既正交又共享状态。 + +### 6.1 概念分层(L0 → L5) + +``` +┌──────────────────────────────────────────────────────────┐ +│ L5 Service ‖ Runtime │ +│ 进程入口:Service 服务 agent;Runtime 自治维护 │ +├──────────────────────────────────────────────────────────┤ +│ L4 Action(6 类动作语义) │ +│ ingest / notify / sync / retrieve / digest / maintain │ +├──────────────────────────────────────────────────────────┤ +│ L3 原子工具 │ +│ 基础工具(直接 fs) + 高级工具(走 L2 索引) │ +├──────────────────────────────────────────────────────────┤ +│ L2 文件状态 │ +│ file_store + file_graph + 自治状态(scheduler 用) │ +├──────────────────────────────────────────────────────────┤ +│ L1 file_watcher │ +│ fs event → state delta(唯一 fs→state 桥) │ +├──────────────────────────────────────────────────────────┤ +│ L0 vault filesystem │ +│ resource/ + daily/ + digest/ │ +└──────────────────────────────────────────────────────────┘ + +数据流(主要关系): + · L3 基础工具 ──写──► L0 + · L3 基础工具 ──读──► L0(无需经 L2) + · L0 变化 ──► L1 监听到 ──派生──► L2 state delta + · L3 高级工具 ──读──► L2(走索引) + · L4 Action ──编排──► L3 工具组合 + · L5 进程 ──触发──► L4 Action +``` + +| 层 | 角色 | 关键约束 | +|---|---|---| +| L0 | vault 文件系统 | 唯一真相源;任何 L2 状态都可由 reindex 从 L0 重建 | +| L1 | `file_watcher` | **唯一**与 fs 事件直接耦合的组件;fs→state 的唯一派生桥 | +| L2 | 文件状态(`file_store` + `file_graph` + 自治状态) | 高级工具的读视图;由 L1 单向更新,L3+ 只读不写 | +| L3 | 原子工具(基础 / 高级) | 基础直读写 L0;高级只走 L2 | +| L4 | Action(6 类语义动作) | N:M 编排 L3 工具;不直接碰 L0 / L2 | +| L5 | Service / Runtime 进程 | 共享 L0-L4 全栈,**不直接通信**,只通过 L0 / L2 状态间接耦合 | + +### 6.2 L1 file_watcher:fs → state 的唯一桥 + +`file_watcher` 是 reme 唯一与 OS filesystem 事件直接耦合的组件。它把 fs 变化翻译为 L2 文件状态的 delta,承担**双重职责**: + +``` +filesystem events (create / modify / move / delete) + │ + ▼ + file_watcher ─┬─► 索引同步:写完文件,L2 file_store/file_graph 自动更新 + │ (L3 基础工具不需要显式调用"入索引") + │ + └─► 自治状态派生:维护 scheduler 用的可推导状态 + · resource: 入流批次 / 未消化(orphan) / + 推送状态(pending/notified/acknowledged) + · daily: 任务索引(进行中 / stale / 完成) + · digest: 密度水位 / 断链(broken wikilink) +``` + +**关键设计**:可派生的状态由 watcher 在外部索引中维护,**不写回 frontmatter**。L3 工具只管写内容文件,状态由 watcher 独立派生。这是 ✗-14 反例(L3 写 `status` 字段)成立的基础。 + +**Acknowledge 派生例**:`notify` 的"推送状态"由 watcher 维护 —— 当 watcher 检测到一条新 wikilink 从 daily 指向某 resource,即把该 resource 的推送状态从 `notified` 改为 `acknowledged`。notifier / Service 都不需要显式 ack。 + +### 6.3 L2 文件状态 + +| 组件 | 职责 | 由谁更新 | +|---|---|---| +| `file_store` | chunk 分块 + 向量持久化,提供 search / read API | L1 watcher 派生 | +| `file_graph` | wikilink 有向图,提供 upsert / traverse(双向)API | L1 watcher 派生 | +| **自治状态** | scheduler 自治决策的输入(入流批次 / 任务索引 / 密度水位 / 断链) | L1 watcher 派生 | +| **推送队列** | `notify` 的待推送 / 已推送 / 已确认条目 | notifier 写 pending;Service 推送后置 notified;L1 watcher 检测到 ack 后置 acknowledged | + +L2 只关心"vault 当前是什么样",**无业务语义** —— 不知道 daily / digest / 动作语义的存在。L3+ 只读 L2,不写(**例外**:notifier 写推送队列,这是 Runtime 与 Service 之间唯一的间接耦合通道,见 F-5)。 + +> **现状提示**:当前实现中 file_store / file_graph 之外的"自治状态"和"推送队列"尚不完整,这是 L1 watcher 与 notifier 待补齐的能力。完整化后 scheduler 才能从"周期扫描"切换为"事件驱动",`notify` 才能从隐式变为显式。 + +### 6.4 L3 原子工具:基础 vs 高级 + +两组工具的切分依据只有一条:**是否必须经过 L2 索引**。 + +| 组别 | 工具 | 数据通路 | 一致性 | +|---|---|---|---| +| **基础工具** | create / append / edit / read / write / move / delete / list / stat | 直接对接 L0 | 写后立即可读(同一工具) | +| **高级工具** | search / traverse / frontmatter | 必须走 L2 索引 | 受 watcher 滞后影响(eventual) | + +**写路径全部走基础工具**(L4 Action 编排基础工具完成写入)。高级工具是**只读**的索引查询入口。 + +**eventual 窗口**:基础工具写 L0 后,L2 索引由 L1 watcher 异步追平。在窗口内,高级工具看到的是滞后的视图。详见 §5.5"watcher 滞后契约"。 + +### 6.5 设计含义 + +| # | 不变量 | 推论 | +|---|---|---| +| **F-1** | L1 `file_watcher` 是 L0 → L2 的**唯一**派生桥 | 状态一致性是 L1 的事;L3 工具不要"自己更新索引" | +| **F-2** | L3 基础工具直接读写 L0;L3 高级工具只走 L2 | 写路径无需"先 reindex";读路径接受 eventual | +| **F-3** | L0 是唯一真相源 | 任何 L2 状态都可由 reindex 从 L0 重建,L2 是缓存而非数据库 | +| **F-4** | L4 Action 与 L3 工具是 N:M 编排关系 | Action 不直接碰 L0 / L2 | +| **F-5** | L5 Service 与 Runtime 共享 L0-L4 全栈,**不直接通信** | 只通过 L0 / L2 状态间接耦合;一边崩了不影响另一边的读 | +| **F-6** | L0 与 L2 之间存在 eventual 窗口 | agent 上下文承担近期信息,不依赖 L2 立即可见(详见 §5.5) | + +--- + +## 7. L4 Action 模块映射 + +第 5 节列了 6 类 Action 及其触发源,本节把这些 Action 落到 **L4 实现模块**(架构角色,不指代源码路径);触发机制(on-demand 路径与 background 路径)见 §5.3。 + +### 7.1 五个 L4 模块 + +| 模块 | 实现动作 | 触发 | LLM-driven | 单一职责 | +|---|---|---|---|---| +| **ingester** | ingest | External push / pull | × | 原样落 resource + 抽 frontmatter + 入索引 | +| **notifier** | notify | Reme background(cron + L2 资源自治状态阈值) | × | 从 L2 资源自治状态选候选 → 写 L2 推送队列;Service MCP 拿走 | +| **synchronizer** | sync | Agent on-demand | ✓ | 把当下事件织入 daily 工作叙事 | +| **dreamer** | digest | Reme background | ✓ | resource + daily 双源合流成 digest 长期条目 | +| **maintainer** | maintain | Reme background | ✓ | digest topic tree 的**密度折叠**(fold-only) | + +`retrieve` 不构成独立 L4 模块,理由见 §7.4。 + +**三个 reme 自治模块**:notifier(机械)、dreamer(LLM)、maintainer(LLM)。三者都由 scheduler 触发,都消费 L2 自治状态,但只有 notifier 是机械的 —— 候选选择不需要 LLM,LLM 决策在 agent 侧的 sync。 + +### 7.2 对称结构 + +``` + 跨表征层翻译 结构性纪律 + (LLM-driven) (机械) + + Inbound: ingester + Attention: notifier + Working: synchronizer + Sink: dreamer + Organization: maintainer (fold-only) +``` + +五类不同方向的"翻译": + +| 模块 | 翻译方向 | +|---|---| +| ingester | 外部异构格式 → vault 统一文件 | +| notifier | L2 资源自治状态 → agent 注意力(`notify` 推送) | +| synchronizer | agent 事件流 → 工作过程叙事(写 hot) | +| dreamer | 工作过程 + 原始资料 → 长期知识(双源合流,写 cold) | +| maintainer | 散乱叶子 → 有层次的 topic tree(组织 cold) | + +ingester 和 notifier 是机械(确定性阈值/流水线);其它三个是 LLM 决策模块,各自跨越一层语义鸿沟。 + +### 7.3 Maintainer:Topic Tree 密度折叠 + +`digest/` 整体视为一颗 **topic tree**:文件夹 = 中间节点,文件 = 叶子。Maintainer 唯一职责:随写入持续,某中间节点下叶子过密时,**折叠**为新的子中间节点 + 高密度摘要。 + +``` +触发前:某中间节点叶子过多 / 太碎 + digest/infra/ + ├── logging.md + ├── tracing.md + ├── metrics.md + ├── alerting.md + ├── dashboards.md + └── slo.md + +折叠后:LLM 判断聚类,引入子中间节点 + 摘要 + digest/infra/ + ├── observability/ ← 新中间节点 + │ ├── _index.md ← 新生成的高密度摘要 + │ ├── logging.md ← 内容不变,只搬位置 + │ ├── tracing.md + │ ├── metrics.md + │ ├── alerting.md + │ ├── dashboards.md + │ └── slo.md + └── ...(未被折叠的叶子原位) +``` + +**设计承诺**(在 `maintain` 通用不变量之上进一步收紧): + +| # | 承诺 | 含义 | +|---|---|---| +| **M-1** | **Fold-only**,无 merge / move / promote / demote / introduce | 树只向下生长,从不反向 | +| **M-2** | 叶子内容 0 修改,只被搬位置 | 与 `maintain` 内容守恒一致 | +| **M-3** | 新中间节点带一个高密度摘要文件,读摘要就能决定要不要深入 | 折叠后可读性不降反升 | +| **M-4** | 每次只处理一个候选节点 | 最小化变更面 | +| **M-5** | 不能聚类时,**不动**(默认保守) | 宁可不折,不要错折 | + +LLM 唯一的决策点: + +1. 这些叶子能不能聚类(if not → 不动) +2. 新中间节点叫什么、摘要怎么写 + +其它都机械:阈值判断(L1 file_watcher 派生 L2 自治状态提供信号)、移动文件(crud)、wikilink 重定向(graph/retarget)。 + +### 7.4 为什么没有 retriever 模块 + +L4 模块的存在条件 = "有跨原子编排 / 需要 LLM 决策"。Retrieve 不满足: + +- 三种问法(state / semantic / topological)各自被 **L3 原子工具**直接覆盖(list+filter / search / traverse) +- 没有跨原子状态、没有 LLM 决策点 +- Agent 直接调用 L3 原子即可 + +--- + +## 8. 跨切面:Schema + +Schema(资料的 frontmatter / wikilink / 章节约定)是横跨三层、各写动作的共同契约。reme 的核心立场: + +| 立场 | 说明 | +|---|---| +| **reme 核心只保留 `name` / `description` 两个字段** | 其它都是 opinionated convention,服务消费层可以替换 | +| **Schema 是"协议"不是"代码"** | 用 markdown 文字描述,LLM agent 自我约束;不内嵌 schema validator | +| **三层共用同一套 wikilink 协议** | 全路径引用,无 short-link / no-ext 解析 | + +### 8.1 协议文档(opinionated default) + +| 内容 | 谁规定 | +|---|---| +| 目录结构(三层 + folder 单位) | 第 2 节本文档 | +| 动作语义契约(notify / sync / digest / maintain 的输入产出不变量) | 第 3 节本文档 | +| Frontmatter 推荐字段(4 轴等) | `reme/steps/jobs/protocol.md` (opinionated) | +| 章节约定(Objective/Plan/Progress/...)| sync / digest 各自的 prompt(opinionated) | + +### 8.2 重载入口 + +服务消费层(plugin / 自定义 caller)无需 fork reme,可通过以下方式替换 schema: + +| 入口 | 适用场景 | +|---|---| +| 替换 protocol 文档 | 改 frontmatter / wikilink / 章节约定 | +| 替换 prompt 模板 | 改 sync / digest 的决策流程 | +| 替换 toolkit | 改 ReAct agent 可见的工具集 | + +--- + +## 9. 反例:不属于本架构的设计 + +明确画出**不允许**的设计,免得后续讨论或扩展时滑回去: + +| # | 反例 | 违反的不变量 | +|---|---|---| +| ✗-1 | Agent 通过任意 verb 直接写 digest | I-1(digest 写权只属 dreamer / maintainer) | +| ✗-2 | 多 agent 并发改同一个 daily folder | I-2(daily 单作者) | +| ✗-3 | 任何动作改写 resource 的原文 | I-3(resource immutable) | +| ✗-4 | 跨层引用引入第二套机制(hash-id / external ref / SQL) | I-4(wikilink 是唯一跨层载体) | +| ✗-5 | dreamer 改写 daily 正文 | `digest` 不变量(§3.5) | +| ✗-6 | maintain 改写 daily / resource 的语义内容 | `maintain` 不变量(§3.6) | +| ✗-7 | `notify` 维护 resource 上的 `referenced_by` 反指 | `notify` 完全单向(§3.3) | +| ✗-8 | 把 state / semantic / topological 合并成单一 read verb | R-1 | +| ✗-9 | Retrieve 自动 eager-expand provenance | R-4 | +| ✗-10 | digest / maintain 同步阻塞 agent 请求 | 5.4 节奏分级 | +| ✗-11 | digest / maintain 强一致(agent 写完 daily 立即可查 digest) | 5.5 eventual consistency | +| ✗-12 | maintainer 做 merge / move / promote / demote 等"通用重组" | M-1(fold-only) | +| ✗-13 | maintainer 改写既有叶子的内容(不只是搬位置) | M-2(叶子内容 0 修改) | +| ✗-14 | L4 模块在 frontmatter 里写 `status` / `pending` 等可派生状态字段 | 状态由 L1 file_watcher 派生到 L2 自治状态,L4 不重复 | +| ✗-15 | 为 retrieve 单设 L4 模块或聚合 verb | §7.4(L3 原子已足够) | +| ✗-16 | notify 写入 vault(在 resource 上加 `notified` frontmatter 或新建 daily 占位) | notify 只写 L2 推送队列,**不落任何文件**;ack 由 L1 watcher 检测 wikilink 派生 | +| ✗-17 | Service 自决推什么 notify 候选 | notify 决策在 Runtime(notifier);Service 只是 MCP transport,从 L2 推送队列读取(F-5) | +| ✗-18 | agent 主动调用 `notify` 想"标记这个 resource 我要看" | notify 是 reme→agent 单向,反向是 agent 用 sync 写 wikilink(自然 ack) | + +--- + +## 附录:术语索引 + +| 术语 | 定义 | +|---|---| +| **resource/** | 不可变原始资料层 | +| **daily/** | agent 任务工作区层 | +| **digest/** | 沉淀知识层 | +| **State 问** | 在某层做 list + 过滤的状态查询 | +| **Semantic 问** | 跨层全文/向量检索 | +| **Topological 问** | 沿 wikilink 走的拓扑查询 | +| **Provenance** | 下游节点反查到上游来源的能力 | +| **Retarget** | 节点移动时对所有入向 wikilink 的原子重写 | +| **L5 Service** | 服务 agent 请求的进程(HTTP / MCP);执行栈最上层;也是 notify 的 MCP transport | +| **L5 Runtime** | 自治维护 vault 的进程;scheduler 在其中按 L2 自治状态阈值触发 background Action | +| **L4 Action** | 6 类动作语义:ingest / notify / sync / retrieve / digest / maintain | +| **L4 模块** | 实现 Action 的架构角色;五个:ingester / notifier / synchronizer / dreamer / maintainer(retrieve 不构成独立模块) | +| **ingester** | L4 模块,机械:外部源原样落 resource + 抽 frontmatter + 入索引 | +| **notifier** | L4 模块,机械:从 L2 资源自治状态选 notify 候选 → 写 L2 推送队列;Service MCP 拿走推给 agent | +| **synchronizer** | L4 模块,LLM-driven:agent 事件织入 daily 工作叙事;响应 notify 的也走这里 | +| **dreamer** | L4 模块,LLM-driven:resource + daily 双源合流为 digest 长期条目 | +| **maintainer** | L4 模块,LLM-driven,**fold-only**:digest topic tree 的密度折叠 | +| **scheduler** | L5 Runtime 内部触发器:按 cron + L2 自治状态阈值拉起 background L4 模块(notifier / dreamer / maintainer) | +| **Topic tree** | digest/ 的心智模型:文件夹 = 中间节点,文件 = 叶子 | +| **Fold(密度折叠)** | maintainer 唯一操作:把过密叶子归簇到新子中间节点 + 写高密度摘要 | +| **L3 原子工具** | 基础(create/append/edit/read/write/move/delete/list/stat,直 fs)+ 高级(search/traverse/frontmatter,走 L2)两组 | +| **L2 文件状态** | `file_store` + `file_graph` + 自治状态(resource 入流批次/orphan、daily 任务索引、digest 密度水位/断链)+ 推送队列;由 L1 派生(推送队列由 notifier 写) | +| **L2 推送队列** | `notify` 的 L2 状态条目;notifier 写 pending,Service MCP 推送后置 notified,L1 watcher 检测到 daily→resource wikilink 后置 acknowledged | +| **L1 file_watcher** | fs event → L2 state delta 的唯一派生桥;承担索引同步 + 自治状态派生 + `notify` ack 派生 | +| **L0 vault filesystem** | 物理目录:resource/ + daily/ + digest/;唯一真相源 | +| **Eventual consistency** | digest / maintain 异步处理,有可见延迟窗口;L0↔L2 之间 watcher 滞后窗口同理 | +| **Opinionated default** | reme 提供的参考实现,服务层可替换 | diff --git a/docs/reme_design.md b/docs/reme_design.md new file mode 100644 index 00000000..1d51d6d2 --- /dev/null +++ b/docs/reme_design.md @@ -0,0 +1,389 @@ +# ReMe 设计文档 + +## 整体定位 + +> 一句话总结：**自进化的个人知识库**——你只管往里扔东西和对话，它自己长成一张知识图谱。 + +## 特性1：记忆分层 + +记忆按"原始 → 浅加工 → 深加工"三层组织： + +### 1.1 目录结构 + +``` +- reme_session/ + - agentscope|claude_code / # 使用内置的agent wrapper，session会保存在这里 + {session_id}.jsonl UUID格式要求 # /Users/yuli/workspace/ReMe/reme/components/agent_wrapper + - dialog/ + {session_id}.jsonl # auto memory保存 可以监控可以被检索【可选】 +- resource/ + - YYYY-MM-DD/ + - {channel}_{xxxx}.html + - {channel}_{xxxx}.md +- daily/【日记，浅加工】 + - YYYY-MM-DD.md + - YYYY-MM-DD/ + - session_{session_id}.md + - {resource_stem}.md +- digest/ + - personal/ + - procedure/ + - wiki/ +``` + +### 1.2 分层详解 + +| 目录 | 存什么 | 谁写入 | 举例 | +|---------------------|----------------|-------------|-----------------------------------| +| `resource/` | 原始文件（研报、网页、邮件） | upload / 手动 | PDF 研报、对话 JSONL | +| `daily/` | 每天的事件记录 | auto-memory | "调试登录 CSS"、"与 Alice 聚餐" | +| `digest/procedure/` | 方法论、步骤 | auto-dream | "webpack 编译卡死排查路径" | +| `digest/personal/` | 用户画像、偏好 | auto-dream | "用户不爱写注释"、"用户喜欢 pnpm" | +| `digest/wiki/` | 通用知识、决策先例 | auto-dream | "光伏产业链"、"React Server Components" | + +`resource/` 和 `daily/` 是只增不删的流水账；`digest/` 下三个桶是反复消费的精华层，各桶有独立的整合 prompt。 + +## 特性2：Obsidian 兼容的 Markdown 格式 + +所有笔记都是标准 Markdown + Obsidian 语法，可以直接用 Obsidian 打开浏览： + +``` +┌─────────────────────────────────────────────────────────────┐ +│ 一个 .md 文件的完整结构 │ +├─────────────────────────────────────────────────────────────┤ +│ --- │ +│ name: 宁德时代 ← YAML front matter │ +│ description: 全球动力电池龙头 │ +│ tags: [新能源, 电池] │ +│ --- │ +├─────────────────────────────────────────────────────────────┤ +│ 所属行业:: [[新能源]] ← 语义化链接（Dataview） │ +│ 竞争对手:: [[比亚迪]] │ +│ │ +│ # 基本面 ← Markdown 正文 │ +│ 全球动力电池出货量第一，核心技术为 │ +│ [[CTP]] 和 [[钠离子电池]]…… ← 标准 wikilink │ +│ │ +│ 参考 ![[2026Q1调研纪要]] ← 嵌入引用 │ +├─────────────────────────────────────────────────────────────┤ +│ ↓ AST 语义分块 ↓ │ +│ chunk 1: [标题骨架] + 正文片段 │ +│ chunk 2: [标题骨架] + 正文片段 │ +└─────────────────────────────────────────────────────────────┘ +``` + +### 2.1 YAML front matter + +每个笔记头部的元数据： + +```markdown +--- +name: 光伏产业链研究 +description: 从硅料到组件的全链条梳理 +tags: [新能源, 光伏, 产业链] +--- +``` + +`name` / `description` 是约定字段，其余键值对全部保留，不会丢弃任何自定义字段。 + +### 2.2 四种 wikilink 写法 + +| 写法 | 示例 | 语义 | +|------|----------------|----------| +| 标准链接 | `[[光伏产业链]]` | 指向目标文件 | +| 锚点链接 | `[[钴#应用]]` | 指向特定章节 | +| 别名链接 | `[[宁德时代\|宁德]]` | 自定义显示文本 | +| 嵌入引用 | `![[钴]]` | 内联嵌入目标内容 | + +### 2.3 语义化链接（Dataview 风格） + +普通 wikilink 只说"A 提到了 B"，语义化链接还能表达"A 和 B 是什么关系"： + +```markdown +所属行业:: [[新能源]] ← 行级属性（独占一行） +总部:: [[宁德]] +[竞争对手:: [[比亚迪]]] ← 内联属性（嵌入正文中） +``` + +`WikilinkHandler` 是全系统唯一的 wikilink 解析入口，确保 parser、graph、search 各层规则一致。 + +### 2.4 AST 感知的语义分块 + +传统 RAG 按固定 token 长度切片，经常切坏文档结构。ReMe 基于 Markdown AST 做语义分块： + +- 按 H1/H2/H3 章节嵌套建树，递归分块 +- **每个 chunk 保留完整标题骨架**——检索到片段后一眼看出它在哪个章节下 +- 表格自动重复表头、代码块保留 fence、列表按项打包 + +``` +示例 chunk： +───────────────────── +# 光伏产业链 +## 上游：硅料 +### 多晶硅工艺 +[chunk 正文] ← 实际内容 +## 中游：硅片 ← 骨架（只有标题） +## 下游：组件 +───────────────────── +``` + +## 特性3：自进化 + +> **ReMe 的记忆不是被动存的，是主动长成知识图谱的。** + +``` +用户对话 / 外部素材 + │ + ├───────────────────────────────────┐ + ▼ ▼ +┌────────────┐ ┌────────────┐ +│ auto-memory│ │auto-resource│ +│ 对话→日记 │ │ 素材→解析 │ +└─────┬──────┘ └──────┬─────┘ + │ │ + ▼ ▼ +┌─────────────────────────────────────────────────┐ +│ daily/ │ +│ (事件日记 + resource 加工笔记) │ +└─────────────────────┬───────────────────────────┘ + │ + ▼ 定时触发 + ┌─────────────┐ + │ auto-dream │ + │ 提炼 + 建图谱 │ + └──────┬──────┘ + │ + ▼ +┌─────────────────────────────────────────────────┐ +│ digest/ │ +│ (知识卡片 + wikilink 互联 = 知识图谱) │ +└─────────────────────────────────────────────────┘ +``` + +用户什么都不用做，Agent 在后台让笔记自己长出结构。 + +### 3.1 auto-resource + +监控 `resource/` 目录，新文件进来后自动解析内容、整理为结构化笔记写入 `daily/` 下。 + +### 3.2 auto-memory + +对话进行时，ReMe 在后台把上下文自动写入当天日记。不是简单的对话摘要——而是一个拥有完整读写能力的 LLM +Agent，自己决定记什么、怎么组织、合并还是新增。 + +### 3.3 auto-dream + auto-link：睡眠式记忆整理 + +借鉴人在睡眠中巩固记忆的机制——把日记和素材提炼成知识卡片，并自动织出图谱关系： + +``` + ┌───────────────────────────┐ + │ daily/2026-05-28/xxx.md │ ← 一篇日记或素材 + └─────────────┬─────────────┘ + │ + ╔═════════════════════════════════════╗ + ║ Phase 1 — Extract（一个 Agent） ║ + ║ "这份材料教了什么道理？" ║ + ║ ║ + ║ 输出 N 个抽象单元，各带 bucket 标签 ║ + ║ (空 → 结束，没东西值得记) ║ + ╚══════════╤══════════╤═══════════════╝ + │ │ + ┌─────────────┘ └──────────────┐ + ▼ ▼ + ╔══════════════════════════════╗ ╔══════════════════════════════╗ + ║ Phase 2 — Integrate ║ ║ Phase 2 — Integrate ║ + ║ (每个 unit 独立一个 Agent) ║ ║ (每个 unit 独立一个 Agent) ║ + ║ ║ ║ ║ + ║ 1. search + traverse 召回 ║ ║ 1. search + traverse 召回 ║ + ║ 2. 决策: CREATE / UPDATE ║ ║ 2. 决策: CREATE / UPDATE ║ + ║ 3. 写入 + 自动织链接 ║ ║ 3. 写入 + 自动织链接 ║ + ╚══════════════╤═══════════════╝ ╚══════════════╤═══════════════╝ + │ │ + ▼ ▼ + ┌──────────────────────────────────────────────────────────────┐ + │ digest/ │ + │ procedure/key-rotation.md ←─ derived_from:: [[daily/..]] │ + │ wiki/credential-compliance.md ─ relates_to:: [[...]] │ + │ personal/user-pr-pref.md │ + └──────────────────────────────────────────────────────────────┘ + 知识图谱自动生长 +``` + +**Phase 1 筛选**——多个事实说明同一个道理就合并为一个 unit，分到三个桶：`procedure`（怎么做）/ `personal`（用户偏好）/ `wiki` +（通用知识）。没东西值得记则流程结束。 + +**Phase 2 先搜后写**——先搜已有 digest，再决策：新建（CREATE）、追加佐证（CORROBORATE）、补充精度（REFINE）、修正矛盾（CORRECT）。 + +**auto-link 是写入的副产品**——写 digest 时自动加 `derived_from:: [[素材]]` 溯源 + `relates_to::` 概念互联，图谱随每次 +dream 自动变密。 + +**CronDreamer 定时批跑**——每天扫描当天所有 daily + resource 文件，逐个执行上述管线。 + +## 特性4：混合索引 + 渐进式展开 + +``` +用户提问: "宁德时代的电池技术？" + │ + ├──────────────────────┬──────────────────────────┐ + ▼ ▼ │ + ┌─────────────────┐ ┌──────────────────┐ │ + │ 全文倒排索引 │ │ 向量索引 │ │ + │ (numpy + jieba) │ │ (faiss) │ │ + │ │ │ │ │ + │ "宁德时代" 精确 │ │ "动力电池龙头" │ │ + │ 命中 │ │ 语义近似命中 │ │ + └────────┬────────┘ └────────┬─────────┘ │ + │ text_weight=0.3 │ vector_weight=0.7 │ + └──────────┬──────────┘ │ + ▼ │ + ┌───────────────┐ │ + │ RRF 融合排序 │ │ + │ score = Σ(w/(k+rank)) │ + └───────┬───────┘ │ + ▼ │ + ┌──────────────────────────────────────┐ │ + │ 第一跳：Top-K chunk 全文 + 评分 │ │ + └───────────────────┬──────────────────┘ │ + ▼ │ + ┌──────────────────────────────────────┐ │ + │ 第二跳：邻居目录（只有标题，不展开正文）│ ← wikilink 图谱 │ + └───────────────────┬──────────────────┘ │ + ▼ │ + ┌──────────────────────────────────────┐ │ + │ 第 N 跳：Agent 按需追问，展开正文 │ │ + └──────────────────────────────────────┘ │ +``` + +### 4.1 混合索引构建 + +两套索引并行维护，各擅其长： + +- **全文倒排索引**（基于numpy）——精确匹配专有名词，搜"宁德时代"必须命中。支持增量更新索引，无原生扩展依赖。 +- **向量索引**（基于faiss）——语义相似度，搜"锂电正极原料"能命中"钴"。 + +### 4.2 基于 RRF 的混合检索 + +两条通路并行跑（`asyncio.gather`），用 RRF（Reciprocal Rank Fusion）融合排序： + +``` +融合分 = Σ( weight_i / (k + rank_i) ) k=60, vector_weight=0.7, text_weight=0.3 +``` + +为什么要两路？纯向量容易错配名词（"苹果公司"≈"水果"），纯关键词抓不到同义改写——融合互补盲区。 + +### 4.3 渐进式链接展开 + +传统 RAG 一次性把 Top-K 全塞进上下文，token 浪费且噪音多。ReMe 分跳展开，按需深入： + +**第一跳** — 返回命中 chunk 全文 + 分数明细 + +**第二跳** — 展开 wikilink 邻居的"目录"（只有标题，不展开正文）： + +``` +========== digest/wiki/宁德时代.md:5-22 [score=0.0247 vector=0.0156 keyword=0.0091] ========== +# 宁德时代 +全球动力电池出货量第一，核心技术为 CTP（Cell to Pack）和钠离子电池…… + + outlinks (2): + → digest/wiki/磷酸铁锂.md name="磷酸铁锂正极路线" description="磷酸铁锂与三元路线对比" via predicate=相关技术 + → digest/wiki/固态电池.md name="固态电池技术路线" description="全固态与半固态进展" via predicate=技术演进 + inlinks (2): + ← daily/2026-03-18/宁德调研.md name="宁德时代调研纪要" description="2026Q1产能与订单跟踪" via plain + ← digest/wiki/新能源产业链.md name="新能源产业链全景" description="从锂矿到整车的全链条" via predicate=下游应用 +``` + +**第 N 跳** — Agent 看过"目录"后，自己决定哪些邻居值得深入，再发起 read 拿正文。 + +二跳目录每条只占一行（最多 10 outlink + 10 inlink），Agent 拥有全局视野却不撑爆上下文。 + +## 特性5：多 Agent 框架集成 + +ReMe 不做独立 Agent 产品，而是作为**能力层**被任意框架调用： + +| 集成路径 | 适用对象 | 方式 | +|---------------------|----------------------|---------------------------------------------| +| SDK 深度集成 | AgentScope / Qwenpaw | middleware 注册 tools + prompt，hook 注册 auto-* | +| MCP Tool + skill.md | Claude Code | MCP 注册 Tool，配 skill.md 开箱即用，hook 注册 auto-* | +| HTTP API + CLI | 通用方案 | skill.md + CLI 调用 | + +--- + +# 二、工程架构 + +``` +┌─────────────────────────────────────────────────────────────────┐ +│ Service 层（HTTP / MCP 双协议） │ +│ FastAPI + FastMCP，同一套 Job 同时暴露为 REST 和 MCP Tool │ +├─────────────────────────────────────────────────────────────────┤ +│ Application 层 │ +│ 配置加载 → 组件初始化 → Job 注册 → start() / close() 生命周期 │ +├─────────────────────────────────────────────────────────────────┤ +│ Job 层（编排） │ +│ 每个 Job = 一组 Step 的有序管线，YAML 声明式配置 │ +├─────────────────────────────────────────────────────────────────┤ +│ Step 层（业务逻辑） │ +│ 原子操作单元，按功能域分组：file_io / index / evolve / common │ +├─────────────────────────────────────────────────────────────────┤ +│ Component 层（可插拔基础设施） │ +│ 统一注册表 R，一行配置切换实现 │ +│ file_store / embedding / keyword_index / llm / file_graph │ +└─────────────────────────────────────────────────────────────────┘ +``` + +## 2.1 服务层 + +每个 Job 同时暴露为两种协议，写一次逻辑、两种方式调用： + +| 协议 | 传输方式 | 适用场景 | +|---------------|-------------------------------|------------------------------| +| HTTP（FastAPI） | JSON POST / SSE | REST 调用、Web 前端 | +| MCP（FastMCP） | stdio / SSE / streamable-http | Claude Code、Cursor 等 MCP 客户端 | + +- **按需拉起**：Agent 检测到服务未运行时自动后台启动，用户无感知 +- **服务发现**：通过 `REME_SERVICE_INFO` 环境变量广播地址，`find_reme` 一键探活 + +## 2.2 组件系统（Component） + +统一注册表 `R`，所有基础设施都是可插拔的——改一行配置就能切换后端： + +| 组件 | 干什么 | 可选后端 | +|-----------------|---------------|-----------------------| +| file_store | 文件存储 + 索引协调 | local | +| file_graph | wikilink 双向图谱 | local / nx / neo4j | +| keyword_index | 全文倒排索引 | bm25（numpy + jieba） | +| embedding_store | 向量存储与检索 | local（faiss） | +| embedding | 文本转向量 | openai 兼容接口 | +| llm | 大模型调用 | anthropic / openai 兼容 | +| tokenizer | 分词 | regex / jieba | + +## 2.3 Job 列表 + +**Job** 是 ReMe 暴露给外部的操作单元——同一个 Job 可以作为 Python 函数直接调用、作为 MCP Tool 被 Agent 使用、也可以作为 CLI +命令执行。 + +| 类别 | Job | 功能 | +|------|---------------------------|----------------------------------| +| 检索 | `search` | 混合检索（向量 + BM25 + RRF）+ 渐进式图展开 | +| 检索 | `traverse` | 从指定路径遍历 wikilink 图谱 | +| 文件读写 | `read` | 读取 markdown 文件内容 | +| 文件读写 | `read_image` | 读取图片文件（base64） | +| 文件读写 | `write` | 新建或覆写 markdown 文件（含 frontmatter） | +| 文件读写 | `edit` | 文件内查找替换 | +| 文件读写 | `delete` | 删除文件，返回残留入边 | +| 文件读写 | `move` | 移动 / 重命名，自动重写 wikilink | +| 文件读写 | `list` | 列出目录下文件 | +| 文件读写 | `stat` | 文件元信息（大小、修改时间） | +| 文件读写 | `frontmatter_read` | 读取 frontmatter | +| 文件读写 | `frontmatter_update` | 合并更新 frontmatter | +| 文件读写 | `frontmatter_delete` | 删除 frontmatter 字段 | +| 日记管理 | `daily_create` | 幂等创建当天日记文件 | +| 日记管理 | `daily_list` | 列出某天的所有日记 | +| 日记管理 | `daily_reindex` | 重建当天索引页 | +| 索引维护 | `reindex` | 清空并全量重建索引 | +| 索引维护 | `update_store_index_loop` | 后台监听文件变更，增量更新 | +| 自进化 | `auto_memory` | 对话记录写入日记（LLM Agent） | +| 自进化 | `dream` | 单文件记忆提炼到 digest（LLM Agent） | +| 自进化 | `auto-dream` | 批量扫描当天文件，逐个 dream | +| 系统 | `health_check` | 组件健康检查 | +| 系统 | `version` | 返回版本号 | +| 系统 | `help` | 列出所有已注册 Job | diff --git a/docs/todo.md b/docs/todo.md new file mode 100644 index 00000000..271097b8 --- /dev/null +++ b/docs/todo.md @@ -0,0 +1,38 @@ +- reme_session/ + - agentscope|claude_code / # 使用内置的agent wrapper，session会保存在这里 + {session_id}.jsonl UUID格式要求 # /Users/yuli/workspace/ReMe/reme/components/agent_wrapper + - dialog/ + {session_id}.jsonl # auto memory保存 可以监控可以被检索【可选】 +- resource/ + - YYYY-MM-DD/ + - {channel}_{xxxx}.html + - {channel}_{xxxx}.md +- daily/【日记，浅加工】 + - YYYY-MM-DD.md + - YYYY-MM-DD/ + - {session_id}.md + - {和resource同名}.md +- digest/ + - personal/ + - procedure/ + - wiki/ + +函数接口： +- auto_memory + - message 应该会 会保存到 reme_session/dialog/{session_id}.jsonl + - 通过 message 更新 daily/YYYY-MM-DD/{session_id}.md +- auto-resource + - 会保存到 daily/YYYY-MM-DD/{resource_stem}.md +- auto-dream + - 读取所有的md + - 会生成link auto-link + - 会生成topic ？ +- proactive + - 会读取topic ？ +- search + + +后台任务： +- index_update_loop 索引监控 +- resource_watch_loop 资源监控 +- digest_watch_loop 应该是闲置？ diff --git a/example.env b/example.env index ba8a027e..4c093ec4 100644 --- a/example.env +++ b/example.env @@ -1,7 +1,4 @@ -# LLM (required for most flows) -LLM_API_KEY=sk-xxxx -LLM_BASE_URL=https://xxxx/v1 -LLM_MODEL_NAME=xxxx -LLM_BACKEND=XXX -#EMBEDDING_API_KEY=sk-xxxx -#EMBEDDING_BASE_URL=https://xxxx/v1 \ No newline at end of file +EMBEDDING_API_KEY=sk-xxx +EMBEDDING_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1 +LLM_API_KEY=sk-xxx +LLM_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1 diff --git a/pyproject.toml b/pyproject.toml index 1543caa4..bd5cbb8f 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,152 +1,88 @@ -[build-system] -requires = ["setuptools", "wheel"] -build-backend = "setuptools.build_meta" - [project] -name = "reme_ai" +name = "reme" dynamic = ["version"] description = "Remember Me, Refine Me." -authors = [ - { name = "jinli.yl", email = "jinli.yl@alibaba-inc.com" }, - { name = "dengjiaji.djj", email = "dengjiaji.djj@alibaba-inc.com" }, - { name = "caozouying.czy", email = "caozouying.czy@alibaba-inc.com" }, - { name = "weikangzhou.zwk", email = "weikangzhou.zwk@alibaba-inc.com" }, -] -license = { file = "LICENSE" } readme = "README.md" -requires-python = ">=3.10" +authors = [ + { name = "EconML team of Alibaba Tongyi Lab", email = "jinli.yl@alibaba-inc.com" }, +] +license = "Apache-2.0" +requires-python = ">=3.11" +keywords = ["llm", "memory", "agent", "agentscope", "ai", "mcp", "reme"] classifiers = [ "Development Status :: 4 - Beta", + "Programming Language :: Python :: 3", + "Programming Language :: Python :: 3.11", + "Operating System :: OS Independent", "Intended Audience :: Developers", "Intended Audience :: Science/Research", - "License :: OSI Approved :: Apache Software License", - "Operating System :: OS Independent", - "Programming Language :: Python :: 3", - "Programming Language :: Python :: 3.10", "Topic :: Scientific/Engineering :: Artificial Intelligence", - "Topic :: Software Development :: Libraries :: Python Modules", - "Topic :: Software Development :: Libraries :: Application Frameworks", - "Typing :: Typed", ] -keywords = ["llm", "memory", "experience", "memoryscope", "ai", "mcp", "http", "reme", "personal"] - dependencies = [ - "sqlite-vec>=0.1.6", - "prompt_toolkit>=3.0.52", - "rich>=14.2.0", - "asyncpg>=0.31.0", - "chromadb>=1.5.7", - "dashscope>=1.25.1", - "elasticsearch>=9.2.0", - "fastapi>=0.121.3", - "fastmcp>=2.14.1", + "aiofiles>=24.1.0", + "croniter>=2.0", + "fastapi>=0.135.1", + "fastmcp>=3.1.0", "httpx>=0.28.1", "loguru>=0.7.3", - "mcp>=1.25.0", + "mistletoe>=1.5.1", "numpy>=2.2.6", - "openai>=2.8.1", - "pandas>=2.3.3", - "pydantic>=2.12.4", - "qdrant-client>=1.16.0", - "tavily-python>=0.7.13", - "tiktoken>=0.12.0", - "tqdm>=4.67.1", - "transformers>=4.57.3", - "uvicorn>=0.40.0", - "watchfiles>=1.1.1", + "openai>=2.26.0", + "pydantic>=2.12.5", + "python-frontmatter>=1.1.0", "pyyaml>=6.0.3", + "rich>=14.3.3", + "uvicorn>=0.41.0", + "watchfiles>=1.1.1", + "zstandard>=0.23.0", ] [project.optional-dependencies] -obvec = [ - "pyobvector>=0.1.20", - "sqlalchemy>=2.0", - # pyobvector imports Expression from sqlglot; removed from sqlglot 30+ top-level API - "sqlglot>=25,<30", +core = [ + "agentscope>=2.0.2", + "faiss-cpu>=1.13.2", + "jieba>=0.42.1", + "rjieba>=0.2.1", + "neo4j>=6.2.0", + "networkx>=3.4.2", ] - -seekdb = [ - # pyseekdb 1.2+ requires Python >=3.11 (no wheels on 3.10) - "pyseekdb>=1.2.0; python_version >= '3.11'", -] - -zvec = [ - "zvec", -] - -ray = [ - "ray", -] - dev = [ - "jupyter-book", - "ghp-import", - "myst-nb", - "sphinxcontrib-bibtex", - "furo", - "sphinxcontrib-mermaid", "pre-commit", "pytest>=8.0", "pytest-asyncio>=0.23", ] - full = [ - "reme_ai[dev,ray,light]", + "reme[core]", + "reme[dev]", ] -litellm = [ - "litellm==1.80.0", -] - -light = [ - "agentscope==1.0.20", - "flowllm[reme]>=0.2.0.10", -] - -core = [ - "agentscope==1.0.20", -] - -[tool.setuptools.packages.find] -where = ["."] -include = ["reme_ai*", "reme*"] -exclude = ["test*", "cookbook*", "doc*", "library*", "dist*"] - -[tool.setuptools.package-data] -reme_ai = [ - "**/*.yaml", - "**/*.py", - "**/*.json", -] - -reme = [ - "**/*.yaml", - "**/*.py", - "**/*.json", -] - -[tool.setuptools.dynamic] -version = { attr = "reme.__version__" } - [project.urls] Homepage = "https://github.com/agentscope-ai/ReMe" Documentation = "https://reme.agentscope.io/" Repository = "https://github.com/agentscope-ai/ReMe" [project.scripts] -reme = "reme_ai.main:main" -reme2 = "reme.reme:main" -remecli = "reme.reme_cli:main" +reme = "reme.reme:main" + +[tool.setuptools] +packages = { find = { where = ["."], include = ["reme*"] } } +include-package-data = true + +[tool.setuptools.package-data] +"*" = ["py.typed", "**/*.yaml", "**/*.json"] +"reme.components.tokenizer" = ["stopwords"] + +[tool.setuptools.dynamic] +version = { attr = "reme.__version__" } + +[build-system] +requires = ["setuptools>=45", "wheel"] +build-backend = "setuptools.build_meta" [tool.pytest.ini_options] asyncio_default_fixture_loop_scope = "function" -# Script-style tests that need to be run with `python test_*.py` testpaths = ["tests"] python_files = ["test_*.py"] python_functions = ["test_*"] -# Exclude script-style tests that require manual execution -addopts = "--ignore=tests/test_embedding.py --ignore=tests/test_embedding_cache.py --ignore=tests/test_embedding_sync.py --ignore=tests/test_file_store.py" - -# python -m build && twine upload dist/*