Skip to main content

Controller：人工优先

到目前为止，系统中已经有：

  • AI 生成建议（Generate）
  • 系统或人类进行评估（Review）

此时，一个无法回避的问题出现了：

最终由谁来决定是否执行？

答案不是再引入一个 LLM， 而是 Controller（控制器）。

而这个设计中最关键的一点是：

Controller 必须从“人工优先”开始。

Controller 不是第三个 Agent​

一个常见误解是： 把 Controller 当成“第三个 Agent”。

这是不正确的。

Controller：

  • 不做创造性推理
  • 不理解业务语义
  • 不生成建议

Controller 代表的是：

系统本身的意志与责任

它是：

  • 策略执行点
  • 权力出口
  • 责任归属点

为什么必须人工优先​

许多 AI 系统一开始就追求自动化， 把人工介入当作“兜底方案”。

BookiAI 刻意反过来设计：

默认不自动执行任何 AI 建议。

人工优先意味着：

  • 所有执行都需要明确授权
  • 系统先观察，再学习
  • 自动化不是假设，而是结果

这是一个安全边界， 不是功能缺失。

人工执行是一种治理方式​

在人工优先阶段，Controller 通常会：

  • 展示 AI 的建议（Proposal）
  • 展示审阅报告（Review Report）
  • 明确指出风险与不确定性
  • 请求用户确认是否执行

此时，用户被询问的不是：

“你觉得 AI 对不对？”

而是：

“你是否授权系统执行这一操作？”

这两者的责任含义完全不同。

人工优先阶段的决策结果​

Controller 在这一阶段常见的决策包括：

  • 请求确认
    只有在用户明确同意后才执行

  • 请求补充信息
    当前上下文不足以安全执行

  • 拒绝执行
    明确违反规则或风险不可接受

所有结果都会被记录为 Decision 对象， 形成完整审计链路。

人工优先不是最终形态​

人工优先是一个阶段，而不是终点。

它的价值在于：

  • 收集真实数据
  • 观察失败模式
  • 理解人工干预原因
  • 校准系统信心

如果没有这一阶段， 后续的自动化将是盲目的。

为什么跳过人工优先一定会出问题​

绕过人工优先的系统， 通常会遇到：

  • 错误被悄然执行
  • 用户对系统失去信任
  • 责任被推给“AI”
  • 被迫进行紧急回滚

人工优先通过刻意放慢系统， 避免了这些灾难性后果。

接下来​

当人工执行已经稳定， 系统将自然面对下一个问题：

在什么条件下，Controller 才可以自动执行？

👉 从人工控制到自动化

本文由 ChatGPT 撰写，经 BookiAI 团队审阅。