← AI、文创、社企的创兴思考

AI、文创、社企的创兴思考 · AI双创

Agent敢不敢替你签合同

黄家麟 · 麟朗创兴2026.09.07约 6060 字

模型决定 Agent 能做什么,责任制度决定企业敢让它做什么 —— 一场围绕「身份 / 授权 / 行动 / 记录 / 责任 / 保险」的信任链重构。

客户不是怀疑 Agent 不够聪明,而是担心「如果它做错了,找谁」。Agent 真正进入企业核心业务前,要先回答的,是「谁授权 / 谁控制 / 谁获益 / 谁负责」这四个问题。

做 AI Agent 创业的人,很容易陷入一个有点奇怪的困境。

演示的时候,大家都很兴奋。一个 Agent 可以自己查资料、找供应商、整理信息、生成方案、调用工具,甚至完成一串过去需要人来回沟通的工作。客户也会说:「这个东西确实厉害。」

然后到了真正要上线的时候,问题来了:「如果它做错了怎么办?」再问一句:「出了问题,谁负责?」

很多项目就是在这里开始从热闹变得安静。

所以我现在越来越觉得,Agent 真正进入企业业务以后,最大的瓶颈可能并不是模型还不够聪明,而是:客户还不知道,自己究竟敢把多少事情交给它。

PART 02 · THE BOUNDARY

客户要的不是 100 分

而是「出了问题找谁」

假设一个企业让 Agent 自动整理客户资料,错一条,问题可能不大。但如果让它自动采购,情况就不一样了。如果采购错了,损失的是钱。如果让它自动给客户报价,可能影响合同。如果让它自动审核贷款,可能影响金融权益。如果让它自动做医疗建议,风险就更不一样。

所以企业真正担心的,并不是「AI 有没有 100 分」。他们更想知道:

· 错误的边界在哪里?

· 谁能阻止它?

· 谁会发现它出错?

· 出了事故之后,谁负责?

这几个问题没有答案,再聪明的 Agent 也很难进入关键业务。

PART 03 · THE BLACK BOX

越自主,越需要管住

连模型开发者也未必知道它为什么会错

这也是为什么我最近在看一些 AI 创业项目时,会开始觉得一个很反常识的事情:Agent 越能自主行动,企业反而越需要先把它「管住」。

这件事情最麻烦的地方,是连模型开发者自己也未必知道它为什么会错。

传统软件出了问题,工程师通常可以顺着代码往回查。哪一行代码写错了,哪个条件判断出了问题,哪个接口返回了异常,通常可以找到一个相对清楚的路径。大模型不完全是这样。

模型的复杂度非常高。即使模型开发者知道训练数据、架构和训练方法,也很难在现实世界的每一次具体输出上,像调试传统程序一样准确解释:为什么它这一次产生了这个结果,而不是另一个结果?这也是我们通常所说的「黑箱」问题。

于是,一个非常棘手的问题出现了:如果我都不知道它为什么错,我凭什么要求我承担「注意义务」?

PART 04 · SHIFT OF DUTY

从「解释 AI」到「解释你怎么管理 AI」

法律转向:先问你怎么管理它可能犯错

我觉得这个问题不能简单回答成「那就让 AI 承担责任」。因为目前更现实的法律结构并不是这样。

法律未必要求你知道 AI 为什么错,而可能先要求你管理「它可能犯错」。这两件事情其实不一样。

医生未必知道某个病人为什么发生罕见副作用,但不代表医生就不需要遵守合理的诊疗规范。飞机某个系统偶发故障,飞行员和航空公司也未必能立刻知道所有底层原因,但航空安全体系仍然要求风险检查、维护、监控和应急处置。

AI 可能也是类似的。真正值得讨论的,不一定是「你能不能把模型的每一次决策完全解释清楚」,而可能是:既然你知道这个系统存在不确定性,你有没有采取合理的方法管理这种不确定性?

比如,一个 Agent 拥有 100 万元采购权限。那么问题就不应该只是「它为什么买错了」,还应该问:

· 为什么一次可以支付 100 万元?

· 为什么没有金额上限?

· 为什么没有异常交易检测?

· 为什么没有供应商白名单?

· 为什么超过某个额度没有人工确认?

· 为什么没有留下完整操作日志?

· 为什么系统发现异常后没有自动停止?

这些问题,实际上都在问:谁本来就应该防止这件事情发生?

这可能是未来很重要的一条制度思路。不是要求企业做到「我完全理解模型」,而是要求它能够回答:「我知道这个模型在哪些情况下可能不可靠,所以我为这些风险设置了什么边界?」

对于企业来说,这其实并没有那么陌生。银行不会因为风控模型不是 100% 准确,就直接放弃风控。医院不会因为诊断存在不确定性,就取消复核。航空公司不会因为系统复杂,就允许一个零故障承诺代替整个安全体系。企业管理风险,本来就不是建立在「永远不会出错」之上,而是建立在:风险可识别、过程可控制、事故可发现、损失可承担。

PART 05 · SYSTEM DESIGN DUTY

未来的「注意义务」

可能越来越像一种「系统设计义务」

我觉得这个变化对 AI 创业者非常重要。

过去谈注意义务,我们容易想到一个人:这个人有没有尽到合理谨慎?AI 时代,越来越多行为可能变成:人设计系统,系统再去行动。那么责任也可能逐渐追问:

· 你为什么给这个系统这么大的权限?

· 为什么没有设置人工确认?

· 为什么没有风险分级?

· 为什么没有监控?

· 为什么没有记录?

· 为什么没有设置停止条件?

这并不是说开发者必须保证 Agent 永远正确。而是说:你不能明知道系统存在不确定性,却把所有风险都留给用户和最终受害者。

中国现有的生成式人工智能治理其实已经体现出类似方向。《生成式人工智能服务管理暂行办法》要求服务提供者提升服务透明度、生成内容准确性和可靠性,依法承担相应网络信息内容和个人信息保护责任,并要求提供安全、稳定、持续的服务。对于相关监督检查,提供者还应能够说明训练数据、算法机制等情况并提供必要支持。

这距离完整的 Agent 责任制度还有很远,但至少说明一个趋势:法律首先追问的仍然是提供者、使用者和运营者怎么管理 AI,而不是让 AI 自己站到被告席上。

PART 06 · AN OLD LAW

一个很老的法律制度

反而突然有用了:《电子商务法》

中国《电子商务法》早在 2018 年就规定:电子商务当事人使用自动信息系统订立或者履行合同的行为,对使用该系统的当事人具有法律效力。

这条规定今天看起来很普通。放到 Agent 时代,却非常有意思。因为它实际上回答了一个很多人以为必须等 AI 法律人格出现才能回答的问题:机器自动操作,不等于法律上什么都不算。法律完全可以把机器的行为归属于背后的使用者。

换句话说:一个 Agent 不需要成为「人」,它的行为也可以产生法律效果。

这恰恰可能是未来 Agent 大规模进入商业活动的一条现实道路:不是先把 Agent 变成法律主体,再让它进入经济系统;而是先把 Agent 的行为归属到明确的人或组织。

PART 07 · WHEN IT BREAKS

真正困难的是:做错了怎么办?

Agent 经济里,多方责任的难题

合同成立相对容易。责任分配就复杂多了。

比如:你的 Agent 找了我的 Agent 采购一批设备。你的 Agent 理解错了需求。我的 Agent 按照你 Agent 的要求正常执行。最终造成损失。

那么问题来了——谁错了?你的用户?你的 Agent 开发者?你的 Agent 部署方?我的 Agent?我的部署方?平台?底层模型?还是其中几方都有责任?

这才是 Agent 经济真正棘手的地方。

因为传统交易经常是:A → B。而 Agent 经济很容易变成:A → Agent A → Platform → Agent B → B。中间每一个节点都有可能参与了最终结果。

过去法院判断一个人的行为,已经够复杂了。未来可能需要判断:一连串自主系统的行为,究竟哪一个环节构成了法律上的原因?

PART 08 · ANCHOR, NOT PERSON

不需要给 AI 一个法律人格

但必须有明确的责任锚点

这也是为什么我不太相信「给 AI 一个法律人格」会是最近几年最现实的答案。听起来很漂亮:「既然 AI 可以自己行动,那就让它自己承担责任。」

但马上会遇到一串问题。AI 没有自己的财产怎么办?赔偿从哪里来?AI 能不能破产?谁代表它诉讼?谁控制它的资产?如果它背后的模型更新了,还是不是原来的主体?如果它同时服务一万个客户,发生事故以后怎么处理?

这些问题非常复杂。相比之下,有一条更现实的路径:Agent 不必成为法律主体,但必须有明确的责任锚点。

也就是:

· 谁授权?

· 谁控制?

· 谁获益?

· 谁负责?

如果这几个问题永远说不清楚,这个 Agent 恐怕就很难进入高价值交易。

PART 09 · THE INSURANCE GAP

经常被忽略的问题:保险

商业判断错误最难标准化

法律解决的是:谁应该负责。保险解决的是:损失最终由谁承担经济风险。这两个问题不是一回事。

而且保险业其实已经开始认真研究 AI 风险。中国市场已经出现人工智能相关责任保险产品。中国太平洋财险 2026 年公布的人工智能系统责任保险条款,就把 AI 系统研发、测试、生产、销售过程中因无法控制的故障或失灵造成的人身伤亡或财产损失纳入保险责任范围。

欧洲也在走类似但更系统的方向。欧盟《AI Act》对高风险 AI 明确要求提供者和部署者承担风险管理、监控和人工监督等义务;部署者还需要指定具备能力、培训和权限的自然人实施人工监督。与此同时,欧盟新版产品责任制度已经明确把包括 AI 系统在内的软件纳入产品范围,软件和 AI 系统可能因此进入产品缺陷责任体系。

这说明一件很有意思的事情:法律和保险并没有等 AI 变成「法律人」以后才开始处理它,它们正在尝试把 AI 嵌入现有责任体系。

但现在的 AI 保险,还没有真正解决 Agent 经济最难的问题。今天比较容易理解的风险是:AI 系统故障;AI 生成侵权内容;AI 导致数据泄露;AI 服务中断。这些问题与传统的:产品责任;网络安全;职业责任;技术错误,还有一定的相似性。

真正困难的是另一种情况:系统没有坏,Agent 也正常运行,但它做了一个错误的商业判断。比如:Agent 正常调用供应商;正常收到报价;正常完成谈判;正常签约。最后发现:它完全误解了客户真正想要什么。这种事情到底算:产品缺陷?服务错误?用户错误?系统设计问题?还是正常的商业决策失败?

这才是 Agent 责任真正难以标准化的地方。

PART 10 · ADVISE, NOT DECIDE

企业愿意让 Agent「建议」

却不愿意让它「决定」

这也解释了为什么很多企业现在愿意让 Agent「建议」,却不愿意让 Agent「决定」。你会发现一个很有意思的过渡状态。

· 让 AI 整理资料

· 让 AI 给意见

· 让 AI 推荐方案

· 让 AI 准备合同

· 直接签

· 直接付款

· 直接报价

· 直接解雇

· 直接批准

很多企业就开始犹豫。这并不一定是他们「不懂 AI」,恰恰可能是他们很懂风险。建议错了,可以重新判断。决定错了,可能需要有人承担责任。

所以 Agent 能力越强,企业对责任边界的要求反而越高。这也就解释了为什么我认为:Agent 经济的瓶颈不是「智能够不够」,而是「授权敢不敢」。

PART 11 · AGENT RISK ENGINEERING

FDE 未来可能因此发生很大的变化

从「能运行」到「敢授权」

今天不少 Agent 创业公司把 FDE 理解成「帮客户把 Agent 部署好」。但真正进入大型企业以后,客户需要的可能不是「把它调到能用」,而是「把它调到我敢用」。这里面的工作完全不同。

· 谁可以调用什么?

· 什么事情可以自动做?

· 什么事情必须人工审批?

· 金额超过多少必须停?

· 什么时候必须升级给人?

· 什么行为必须记录?

· 怎么审计?怎么回滚?怎么处理事故?

· 怎么和企业原有流程连接?

这时候 FDE 的价值就不再只是技术部署。它开始接近:Agent Risk Engineering。帮助企业把一个「能运行的 Agent」,变成一个「敢授权的 Agent」。

PART 12 · THE TRUST CHAIN

Agent 时代真正需要建立的

是一个新的信任链

我现在越来越倾向于把它理解成六个环节:

· 身份

· 授权

· 行动

· 记录

· 责任

· 保险

这六个环节缺一不可。一个 Agent 告诉你「我是 AI」,这个身份信息远远不够。你还需要知道:

· 它代表谁?

· 谁给它权限?

· 它最大能做什么?

· 它做过什么?

· 出了问题谁承担责任?

· 损失能不能得到赔偿?

如果这些问题能够被回答,企业才可能逐渐扩大授权。

而我对今天的 AI 创业者有一个非常现实的提醒:

如果你的产品已经准备进入真正的企业核心业务,我建议再问一个很朴素的问题:「如果明天我的 Agent 做了一件完全出乎我意料的事情,我能不能在十分钟之内说清楚:它为什么能做这件事、谁授权它做、谁应该发现这个风险、谁来承担后果?」

如果答案是否定的,我会非常谨慎地扩大 Agent 权限。因为这时候真正没有准备好的,可能不是你的模型。而是你的责任体系。

我越来越觉得,Agent 创业最后拼的可能不是「谁的 AI 更聪明」,而是:谁能让客户更放心地授权。

这是一场很慢的竞争。模型能力可能半年就发生一次巨大变化,但企业的信任,不会因为模型升级一个版本就自动产生。它需要:真实案例;稳定结果;清晰边界;可追溯记录;责任承诺;风险控制;甚至保险。

所以,当下一次有人告诉你「我们的 Agent 已经可以完全自主工作」,我反而建议先别急着问它有多聪明。问一句:「它做错了以后,谁负责?」

如果这个问题还没有答案,那么这个 Agent 可能离「产品完成」很近,离「真正进入经济活动」还很远。而这,可能正是今天 AI 创业最容易被忽略的一道门槛。

CLOSING · 收束

模型决定 Agent 能做什么,责任制度决定企业敢让它做什么。AI 创业最后拼的不是「谁的 AI 更聪明」,而是谁能让客户更放心地授权——身份、授权、行动、记录、责任、保险,缺一不可。

黄家麟 麟朗创兴创始人。上海市科技创业中心创业导师、上海市创业指导专家、上海市企业发展专家、上海市大学生科技创业基金会双创导师。天使投资人及创业教练 复旦大学民商法学硕士。具有法律、连续创业、天使投资、风险投资与创业孵化等丰富经验。现在长三角地区多个国家级以上科创孵化载体及重点高校担任孵化教练及实战创业导师,帮助各阶段精进型创业者达成发展里程碑。

本文首发于麟朗创兴公众号

读到这里,想知道自己的项目卡在哪一步? 做一次十来分钟的初诊 →

十来分钟,一个问题一个问题地问,最后给你一份初诊报告。