关于项目可观测方案及效果说明

[happy-v587]

背景

为PC Server 添加可观测，包括控制面和数据量两部分

预期

控制面可观测

从服务层面进行数据分析。通过页面可以查看服务性能、定位异常问题（全系统是否正常 → 哪个模块异常 → 影响哪些操作或任务 → 当时发生了什么 → 哪一步失败）

• 系统状态总览：集中展示服务是否可用、当前告警、依赖状态和数据采集情况。打开监控即可判断系统是否正常，以及哪个模块需要关注。
• 接口与模型调用分析：展示请求次数、成功率、失败率、耗时和状态码，并用曲线呈现变化趋势。支持按服务实例、操作、模型供应商等维度筛选，发现请求失败、响应变慢或模型调用异常。
• 后台任务与业务进展：展示任务执行、排队、重试及规则阻止情况，查看各类处理任务的进展和失败记录。对被阻止的任务提供原因和相关证据，帮助判断任务为什么没有继续执行。
• 日志与调用链关联：从指标或告警进入对应时间、实例和操作的日志，再通过 Trace ID 查看调用链。关联请求、后台任务及父子进程的执行过程，追踪当时发生的事件和失败步骤。
• 异常诊断与排查入口：按异常类型提供诊断入口和处理说明。例如，请求失败先查看操作和状态码分布，后台停滞先查看任务进展与阻止原因，形成“系统异常 → 模块范围 → 受影响操作或任务 → 日志证据 → 失败步骤”的排查路径

数据面可观测

从业务层面进行数据分析

• 过程可见：任意一次处理，1 分钟内能看到「处理中 / 已完成 / 失败」；失败能看到卡在哪一步
• 结果可解释 & 操作可验证：每次处理列出新增/更新清单，与记忆库逐条对得上；每条都有原因，包括"这次没有产生新记忆"
• 价值可评估：单条记忆能看到被用过几次、最近一次什么时候；任意时间段能看到新增/更新/空跑/失败四个数

具体实施步骤

• 第一步：【控制面可观测】给 powercontext cli 添加 powercontext observability up 命令便于快速启动服务（将监控、日志、调用链整合起来，底层依赖docker compose） pr: feat(observability): add managed monitoring stack and diagnostics #2388
• 第二步：【数据面可观测】在现有dashboard添加数据统计页面（数据从pc server 获取）+ 引导用户观测更多数据可使用第一步办法 pr: feat(dashboard): add cloud-native monitoring guide and restructure Dream run detail #2557
• 第三步：【数据面可观测】将第二步改动同步到desktop上

[happy-v587]

第一步：powercontext observability up 效果展示

给 powercontext cli 实现 observability 子命令

注：connect 子命令是为了快速加入已经存在的 prometheus、grafana等服务

启动服务

服务启动

服务状态查看

服务健康性检查

效果预览

trace

注意：需要修改pc代码，目前的trace采集不够完整，具体可以看下图

Phoenix页面

tempo 页面

log

metric

服务总览

业务进展

后台处理

服务与采集

模型调用

[happy-v587]

第二步：在现有dashboard添加数据统计页面

[happy-v587]

首页

1、当系统有异常的时候，可以在首页直接看到对应的报错，跳转详情可以看到具体信息。(如果想要丝滑排查问题，还需要继续优化。这块数据依赖接口返回)

2、添加了一些业务数据，可以清晰的看到保存了多少数据，沉淀出来多少技能、经验、记忆等，上下文召回多少次

[happy-v587]

运行时数据

自动处理

当前服务处理source的流程展示出来。让用户使用起来更透明。

每一个原始数据都会有三个步骤，输入、处理和输出。

Dream处理

流程也做了可视化

[happy-v587]

技能与经验

在页面添加了两个按钮，用来同步生成或者异步生成。否则的话，需要使用命令行或者跟Agent进行对话才能生成，有的时候会忘记。这样的话会有一个显示入口。

[happy-v587]

检索与使用

每一次使用的时候，召回了哪些数据，也做了可视化。

[happy-v587]

观测

运行状态

新增一个运行状态监控页面，这样的话可以看到开启了哪些功能？这些功能是否有异常？配置的调度时间是多少？

云原生监控

为了跟第一步骤做的云原生功能相打通，在这里面加了一个开启引导。