Skip to main content

从人工控制到自动化

人工优先建立的是安全边界， 但任何系统都不应永久停留在人工阶段。

真正困难的问题不是：

如何自动化

而是：

在什么条件下，自动化才是合理的

在 BookiAI 中， 自动化被视为一种 通过证据逐步获得的权限， 而不是默认能力。

自动化是一种策略决策​

自动化常被误解为技术升级。

实际上，它首先是一种策略决策。

允许 Controller 自动执行意味着：

  • 系统主动承担结果责任
  • 人工授权被绕过
  • 错误后果由系统承担

这要求的标准 远高于“看起来没问题”。

自动化的前置条件​

任何操作要从人工执行 过渡到自动执行， 都必须满足以下条件。

1. 可信性保障结果稳定​

可信性保障流程必须表现出：

  • 长期稳定的通过率
  • 明确且低歧义的结论
  • 可预测的失败原因

如果评估结果波动明显， 就不具备自动化条件。

2. 行为风险可控且范围明确​

自动化应从以下操作开始：

  • 可逆的
  • 影响范围小的
  • 财务与合规风险低的

高风险操作 需要更严格的证据积累。

3. 与人工决策高度一致​

人工优先阶段会产生关键数据：

  • 人工通过率
  • 人工否决原因
  • 人工修改情况

只有当系统决策 与人工决策长期保持一致， 自动化才是合理的。

4. 明确的回滚与恢复机制​

没有回滚能力的自动化 是不负责任的。

在放权之前，系统必须：

  • 支持冲销或撤回
  • 具备完整审计链路
  • 验证过恢复流程

如果无法安全撤销， 就不应自动执行。

分级自动化策略​

BookiAI 不会在 “人工”和“自动”之间跳跃。

Controller 会经历清晰的阶段：

  • 完全人工
    所有执行均需确认

  • 条件自动
    在严格条件下自动执行， 否则回退人工确认

  • 默认自动
    自动执行为主， 但持续监控与可回滚

每个阶段都是显式的、可逆的。

自动化不意味着跳过审阅​

即便进入自动化阶段：

  • Generate 仍然只负责提出建议
  • Review 仍然进行评估
  • 可信性保障仍然存在

变化的只是：

谁来授权执行

而不是决策如何形成。

为什么自动化必须随时可撤回​

系统环境会变化：

  • 模型更新
  • 数据分布漂移
  • 业务规则调整

因此，自动化必须具备：

  • 可观测性
  • 可调节性
  • 可撤回性

一个无法退回人工模式的 Controller， 就已经失去了治理能力。

接下来​

当执行路径已经稳定， 系统还面临最后一个问题：

如何向 AI 提供上下文， 而不失去控制？

👉 行动库（Action Library）与受控上下文

本文由 ChatGPT 撰写，经 BookiAI 团队审阅。