AI 工程的边界——有些事 AI 就是不该做
AI 工程的边界——有些事 AI 就是不该做
适读人群：AI产品工程师、产品经理 | 阅读时长：约12分钟 | 核心价值：工程师视角的AI边界判断，以及具体的产品设计原则
去年我在做一个法律文档分析工具，有个客户找我说能不能加一个功能：用AI直接判断某个合同条款是否有法律风险，给出"有风险/无风险"的结论，而不是分析。
我拒绝了。
客户有点不解，说：你们的AI不是分析得很好吗？直接给个结论不是更方便吗？
我解释了很久。这篇文章想把我当时的解释写清楚——不是道德说教，是工程师视角的真实判断。
先说清楚我不是在讲AI的"伦理限制"
这篇文章不是要讲"AI不应该做高风险决策"这种大道理，这谁都知道。我想讲的是更具体的工程问题：在产品里，哪些场景你放了AI进去，风险大于收益；以及怎么在产品设计层面处理这个问题。
这两件事是不同层次的问题。前者是判断，后者是设计。
哪些场景AI的风险大于收益
第一类：无法验证的高风险结论
AI给出的任何结论，如果：
- 错误的后果很严重（法律责任、财务损失、人身安全）
- 用户没有能力或者没有动力验证这个结论
这两个条件同时满足，你就不应该让AI给出最终结论。
法律风险判断是这样，医疗诊断建议是这样，财务投资建议是这样。
为什么？因为用户会把AI的结论当成事实。这不是用户的问题，这是人的认知机制——一个看起来像专家意见的输出，会被当成专家意见对待，不管它是不是真的有那么可靠。
你在产品里放了一个"合同风险判断"，用户不会去找律师验证，他们会直接相信。然后一个真实的法律风险被AI漏掉了，合同出问题了，谁来负责？
第二类：需要实时信息但知识是静态的
AI的训练数据有截止日期。在某些场景里，这是致命的。
比如：你让AI判断某家公司是否合规，AI基于训练数据说"合规"，但这家公司上个月刚被处罚了。
这不是AI不够好，这是AI的结构性限制——它永远不会知道截止日期之后发生的事情，除非你有完善的RAG系统来补充实时信息，而实时信息的质量和覆盖度又是另一个问题。
第三类：需要持续追踪状态的决策
AI没有记忆（至少Session级别的记忆很有限），它每次都是基于当前的输入给出判断。
如果一个决策需要追踪一段时间的变化——比如病人的病情变化、项目的进展状态、供应链的动态——AI给出的判断每次都是"快照"，没有"录像"。
在这类场景里，把AI的判断作为最终决策依据是危险的。
但这不是说这些场景AI不能用
重要的是：上面说的限制，是关于"AI作为最终决策者"的限制，不是关于"AI在决策过程中的作用"的限制。
这两者差别很大。
AI分析+人类决策，和AI决策，是完全不同的两件事。
我的法律文档工具，最终给客户的是：AI把合同里的每一个条款做了结构化提取，标注了"可能需要关注的条款"，给出了分析说明，但最终的"这是不是风险"由律师判断。
AI做的是信息提取和归纳，人做的是判断。这个分工是合理的。
回到那个客户的需求，他要的是一键出结论。我能做，但我不应该做。因为那个结论的置信度不足以支撑"直接在合同上签字"的决策，而把它包装成结论的形式，会让用户以为它可以支撑。
在产品里设置AI边界的设计原则
这些是我在实际产品中用的设计原则：
原则一：让AI的不确定性可见
AI不应该总是给出一个确定性的答案。对于风险高、信息不足或者超出模型能力范围的情况，产品应该让AI说"我不确定"或者"这个问题超出了我能可靠分析的范围"。
实现方式：在Prompt里明确要求模型对自己的置信度评级，并且在低置信度的时候明确提示用户去找专家验证。
# Prompt片段示例
"""
在回答的结尾，给出你的置信度评级：
- 高置信度：信息充分，结论明确
- 中置信度：信息基本充分，但有一定不确定性，建议人工复核
- 低置信度：信息不足或问题超出我可靠分析的范围，强烈建议咨询专业人士
低置信度的情况，必须明确说明为什么不确定，以及需要什么额外信息才能给出更可靠的分析。
"""原则二：区分"信息"和"决策"
产品的UI层面，要让用户清楚地感知到：AI给你的是信息和分析，不是决策。
具体到设计：避免用"确定"、"安全"、"可以"、"不行"这类结论性语言作为AI的输出格式，改用"发现以下需要关注的点"、"以下方面建议进一步确认"这样的表达。
这不是在绕弯子，是在准确表达AI输出的实际性质。
原则三：高风险操作加人工节点
对于产品里真正高风险的操作，在AI分析之后加一个明确的人工确认节点，而不是让用户直接基于AI的输出行动。
比如：AI分析了合同，给出了分析报告，但"下一步行动"按钮不是"直接签署"，而是"生成分析报告并发送给律师审核"。这个流程设计上就把人工节点嵌进去了。
原则四：给用户逃生出口
任何AI给出的内容，用户都应该能方便地质疑、覆盖或者绕过。
产品里不要有"AI说X所以系统就做X"的强制逻辑，永远给用户一个"我不同意这个AI的判断，我要做别的"的选项。
这既是好的产品设计，也是风险管控。
一个反直觉的点
工程师做AI产品有一个常见的误区：觉得给AI设限制、加免责声明、让AI说"不确定"，会降低产品的竞争力，用户会觉得我们的AI"不够聪明"。
我的观察是相反的。
用户会学会区分"真正帮助我"的AI产品和"听起来很厉害但我不敢用"的AI产品。一个敢承认不确定、知道自己能力边界的AI，往往让用户更愿意信任它处理能力范围内的事情。
一个声称什么都能判断的AI，你第一次被它坑了之后，就再也不信它了。
设计合理的边界，是建立用户长期信任的方式，不是在削弱产品能力。
回到那个客户
最后说说那个法律客户。
我拒绝了他"直接给出有风险/无风险结论"的需求，但我帮他做了另一件事：在产品里加了一个"一键生成律师审核需关注点清单"的功能，输出的是一份格式化的文档，方便律师快速定位需要重点看的条款。
客户的律师说这个功能把他们的合同审核效率提升了70%。
这是AI应该做的事情：帮助专业人士做得更快、覆盖得更全——而不是替代专业人士的判断。
这个边界，值得认真守。