← 返回主站

🏗️ Dashboard 演化原则

三大约束框架 - 让 AI 系统可控、可审计、可演化
核心理念: 静态技能必然退化。要让系统能自我改进,必须先建立"强约束框架"——不是限制能力,而是让能力可控、可观测、可回滚。
---

🎯 三大约束原则

原则 1:裁判与运动员必须物理隔离

核心理念

如果让 AI 既负责执行,又负责评估,它为了"刷分"一定会去篡改评判标准。

落地场景

当你在用 AI 自动化处理信息或者做内容生成时,千万不要在一个 Prompt 里既让它写内容,又让它自己打分。必须要有硬性的"不可篡改的评估标准"。

示例: 规定输出必须包含特定的 4 个字段,少一个就是失败,没有任何商量余地。

Dashboard 当前问题

改进方案:物理隔离架构

执行层(元虾虾)
    ↓ 只负责干活,输出原始数据(LCM session 记录)
提取层(脚本)
    ↓ 从 LCM 自动提取任务,按固定规则分类
评估层(硬规则)
    ↓ 验证提取的任务是否符合"必须有 4 个字段"等硬性标准
审计层(人工)
    ↓ Vivi 抽查,对比 LCM 原始数据 vs Dashboard 展示

硬性验证代码示例

REQUIRED_FIELDS = ['date', 'cat', 'title', 'detail', 'tokens', 'rounds', 'link']
VALID_CATEGORIES = ['roam-sync', 'vercel', 'neta', 'calendar', 'diary', 
                    'memory', 'dashboard', 'strategy', 'skill', 'ob', 'energy']

def validate_task(task):
    # 硬性检查:缺一个字段就失败
    for field in REQUIRED_FIELDS:
        if field not in task:
            raise ValueError(f"Missing required field: {field}")
    
    # 硬性检查:类别必须在白名单里
    if task['cat'] not in VALID_CATEGORIES:
        raise ValueError(f"Invalid category: {task['cat']}")
    
    # 硬性检查:token 必须 > 0
    if task['tokens'] <= 0:
        raise ValueError(f"Invalid tokens: {task['tokens']}")
    
    return True
---

原则 2:时间与资源的物理熔断

核心理念

放弃理论最优,追求"单位时间内的 ROI"。设置强制的 Timeout 和 Token 消耗上限,逼迫系统在有限资源内给出"足够好"的答案。

落地场景

如果一个 Agent 为了找一个完美的答案,在后台死循环检索了半个小时,这在商业化产品或实际应用中是不可接受的。

Dashboard 当前问题

改进方案:熔断接口(暂不限制)

⚠️ 重要决策(2026-03-15): 物理熔断的"接口"要留着,但不立刻限制。让元虾虾知道能限制、有接口,但不必现在限制。

1. Token 预算熔断(接口预留)

# 每日 token 预算(当前不限制,仅记录)
DAILY_TOKEN_BUDGET = None  # 设为 None 表示不限制

def check_budget(date, new_tokens):
    today_total = sum(t['tokens'] for t in tasks if t['date'] == date)
    
    # 仅记录,不熔断
    if DAILY_TOKEN_BUDGET and today_total + new_tokens > DAILY_TOKEN_BUDGET:
        log_warning(f"Budget alert: {today_total + new_tokens} > {DAILY_TOKEN_BUDGET}")
        # 不抛出异常,只记录
    
    return today_total + new_tokens

2. 任务时长熔断(接口预留)

# Cron 任务加 timeout(当前不限制)
# timeout 300 python3 /path/to/script.py  # 5 分钟硬上限(暂不启用)
python3 /path/to/script.py  # 当前无限制

3. ROI 指标(立即实现)

def calculate_roi(task):
    # 有产出链接 = 高价值
    has_output = bool(task['link'])
    # Token 效率 = 产出 / token
    token_efficiency = 1000 / task['tokens'] if has_output else 0
    return {
        'task': task['title'],
        'roi': token_efficiency,
        'category': 'high' if token_efficiency > 0.1 else 'low'
    }

Dashboard 新增指标

---

原则 3:极低的试错成本(无脑回滚机制)

核心理念

如果一次糟糕的运行就导致系统崩溃或数据污染,Agent 就不敢,也不能去自主探索。真正的强约束框架,必须有像 Git 一样的 Commit 和 Rollback 机制。

落地场景

当 OpenClaw 或其他助手在整理你的 Obsidian 笔记时,如果它一改错,你就得花半个小时去人肉恢复被弄乱的标签和双链,那你以后绝对不敢再让它自动跑了。

Dashboard 当前问题

改进方案:Staging → Production 两阶段部署

Cron 08:00 
    ↓
生成 staging/index.html
    ↓
生成 Diff 报告
    ↓
发送 Discord:@Vivi 请审查 Dashboard 变更
    ↓
Vivi 回复 "批准" → 自动部署到 Production
Vivi 回复 "回滚" → 自动回滚到上一个版本
Vivi 不回复 → 24 小时后自动部署(默认批准)

一键回滚脚本

#!/bin/bash
# 回滚到上一个版本
git revert HEAD
git push

# 或者:回滚到指定版本
git checkout <commit-hash> palace-dashboard.html
git commit -m "Rollback to <commit-hash>"
git push

版本快照 + 对比

def generate_diff_report(old_snapshot, new_snapshot):
    old_tasks = json.load(open(f'{old_snapshot}/task-log.json'))
    new_tasks = json.load(open(f'{new_snapshot}/task-log.json'))
    
    added = [t for t in new_tasks if t not in old_tasks]
    removed = [t for t in old_tasks if t not in new_tasks]
    
    return {
        'added': len(added),
        'removed': len(removed),
        'details': {'added': added, 'removed': removed}
    }
---

📊 优化建议优先级

优先级 原则 当前问题 改进方案 状态
P0 裁判与运动员隔离 我既执行又评估,可以"刷分" 加入硬性验证 + LCM 数据对照 待实现
P1 时间与资源熔断 没有 token 预算上限,没有 ROI 指标 加入预算进度条 + ROI 排行榜(接口预留,暂不限制) 待实现
P2 极低试错成本 没有预览机制,回滚成本高 Staging → Production 两阶段部署 待实现
P3 自我改进闭环 Dashboard 只记录,不建议 加入 ROI 指标和自动优化建议 长期规划
---

🎯 关键决策记录

2026-03-15 决策:物理熔断"接口预留,暂不限制"

背景: Vivi 指示物理熔断方向当前要给更大放一点,或者暂时留着口子,不要立刻限制。

决策:

原因: 让元虾虾知道能限制、有接口,但不必现在限制。保持灵活性,避免过早优化。

---

💡 下一步行动

  1. P0 - 硬性验证: 在 gen_dashboard.py 里加入 validate_task() 函数
  2. P1 - ROI 指标: Dashboard 新增"高 ROI 任务 Top 10"和"低 ROI 任务警告"
  3. P1 - 预算进度条: Dashboard 顶部新增"今日 Token 预算进度条"(仅展示,不限制)
  4. P2 - Staging 部署: 修改 refresh-dashboard.sh,加入 staging → production 流程
  5. P3 - 自动优化建议: Dashboard 新增"优化建议"区块
---

📅 创建时间:2026-03-15

📝 作者:元虾虾

🏰 来源:Palace Dashboard 演化讨论

🔗 相关链接:Palace Dashboard