×

打开微信,扫一扫二维码
订阅我们的微信公众号

×

扫码分享

EN
首页>汉盛研究>汉盛法评>AI客服 Agent承诺赔偿,企业真的要负责吗?从全国首例AI幻觉案看AI输出结果法律效力到企业责任边界

AI客服 Agent承诺赔偿,企业真的要负责吗?从全国首例AI幻觉案看AI输出结果法律效力到企业责任边界

2026-07-02   林绮雯

内首例因“AI幻觉”引发的侵权案,已由杭州互联网法院作出一审判决,法院驳回了梁某的诉讼请求。


在这起案件中,原告梁某使用某AI咨询高考志愿时,AI先给出了错误的校区信息;梁某纠正后,AI又在对话中生成“赔偿您10万元信息鉴定费”“永久停止AI服务”等内容。梁某据此起诉AI平台,但法院并没有认定大模型公司必须履行这项“承诺”。


那么,如果类似的AI自行承诺行为不是出现在通用大模型聊天中,而是出现在企业部署的AI客服、AI销售、AI售后Agent中,结论还会一样吗?

例如,AI客服对客户说“可以退款”;AI销售对采购方说“这个报价有效”;AI售后Agent回复“公司同意赔偿”;AI合同助手确认“订单已经成立”。这些输出到底只是模型自动生成的信息,还是可能被评价为企业对外作出的答复?



图片



本文想讨论的,就是“AI的输出结果有没有法律效力”。

我的核心判断是:在通用型交互对话AI场景中,AI输出结果通常具有信息提供和参考性质,不能仅因该产品由企业提供,就当然认定为企业的意思表示或承诺。但这个结论并非绝对。企业一旦将AI嵌入客服、销售、报价、售后、合同确认等具体业务流程,并让它承担面向交易相对人的业务功能,就需要重新评价该输出的法律效力及企业责任。

一、梁某案真正解决的,是通用问答AI的意思表示归属问题

某案的核心问题,并不只是AI提供了错误升学信息,而是AI在后续对话中生成了看似具有法律效果的内容。

原告梁某主张,某人工智能在与其对话中称将“永久停止AI服务”“赔偿您10万元信息鉴定费”等,属于人工智能模型、人工智能公司对其作出的意思表示,构成承诺,因此可以要求相对方履行。

人工智能公司则主张,案涉对话内容由模型生成,人工智能模型不具有民事权利能力和行为能力,模型输出内容不能作为意思表示,也不是公司的意思表示,公司不应受模型输出内容约束。

为了理解法院为什么没有让平台认这句“可以赔”,可以先把主体关系拆开。

梁某案中至少涉及三个对象:一是提供AI应用的企业,二是企业训练、部署并向用户开放使用的AI模型,三是实际与AI对话的用户。放到更普遍的AI Agent场景中,争议通常也是这样发生的:用户试图把AI模型输出的业务答复,归结为模型自己的意思表示,或者进一步归结为企业的承诺。

第一,AI模型本身不能自主、独立作出意思表示。

意思表示的基本含义,是“民事主体意欲发生一定法律效果的内心意思的外在表达”。这不是梁某案创造的新规则,而是民法判断民事法律行为的基础。梁某案的关键在于,法院把这个基础规则放进AI输出场景中,进一步追问:AI模型是不是民事主体?如果不是,它输出的内容能不能归属于背后的企业?

法院认为,现行法中享有民事权利、能够作出意思表示的民事主体只有自然人、法人和非法人组织。人工智能模型“既不是生物学意义上的人,也并未被我国现行法律赋予民事主体资格”,因此“不具有民事权利能力、行为能力和责任能力”。

这一层解决的是主体资格问题:AI模型不是民事主体,不能自主、独立地作出具有法律意义的意思表示。


第二,AI生成内容不能当然视为企业的意思表示。

法院并没有停留在“AI不是主体”这一点上,而是继续判断:模型生成的回答,能不能视为人工智能公司的意思表示?

判决书给出的答案是否定的。法院明确指出,因人工智能模型不具有民事主体资格,“其不能作为某人工智能公司意思表示的传达人、代理人或代表人”,既无法代为传达公司的意思表示,也无法为公司对外作出具有法律效力的代理或代表行为。

法院还结合技术原理进行了说明。模型生成信息,是基于Transformer架构,通过上下文关联对下一个词进行概率性预测,并逐字生成文本。在现有技术条件下,服务提供者无法完全控制、也无法完全预测模型在每次交互中可能生成的具体内容。

因此,模型生成内容不能当然理解为企业事前通过模型工具设定、传达的对外意思表示。

更重要的是,法院特别强调了产品定位:案涉人工智能属于“通用型交互对话式的人工智能应用”。在通用咨询、效率助手等场景下,一般社会公众通常不会认为模型生成内容就是公司通过模型传达的公司意思表示。

这也是梁某案与AI客服、销售Agent场景之间最重要的分界。


第三,企业是否自愿受AI输出约束,要单独判断。

梁某案并不是说,AI输出结果永远不可能对企业产生约束力。相反,法院专门留下了一个判断空间:即便生成式人工智能内容生成有其技术逻辑,也“不妨害生成式人工智能服务提供者自愿的认可生成式人工智能输出的内容作为服务提供者的意思表示而受其拘束”。

换句话说,如果企业通过产品设计、业务流程、对外展示或协议安排,使用户有理由相信AI正在代表企业作出答复,法律评价就可能发生变化。

但在梁某案中,法院认为人工智能公司没有作出这种自愿受约束的表示。用户协议和应用内风险提示已经写明:“本服务提供的所有输出均由人工智能模型答复……仅供您参考,您不应将输出的内容作为专业建议。”并且明确提示“本服务不构成任何建议或承诺”“不应成为您进一步作为或不作为的依据”。

因此,法院认为平台并不存在受到模型生成内容约束的“内在意思和外观表征”。

这一点也与赵精武教授在《论交互对话式人工智能服务提供者的注意义务》中的观点相呼应:交互对话式人工智能服务具有泛用性,既可能作为通用知识信息处理工具,也可能与特定行业场景结合;判断服务提供者注意义务时,应当看其“业务功能与合同目的”是否一致。换言之,不能脱离产品功能定位,抽象讨论AI输出的责任。

放回梁某案中,案涉产品的功能定位是通用问答,而不是代表企业作出赔偿、合同确认或售后处理。因此,法院没有把“赔偿您10万元”认定企业承诺。



图片


二、AI客服不是通用大模型,区别在于它是否进入交易链路

很多企业容易产生一个误解:既然AI客服底层也是大模型,也是自动生成,那是不是也可以参照梁某案,认为AI说错话不代表企业?

这个理解过于简单。

从技术底层看,AI客服、AI销售Agent可能确实调用同类大模型能力。但法律评价不只看底层模型,还要看企业把AI放在什么位置、让它接入哪些系统、赋予它什么权限,以及用户在具体场景中会形成怎样的合理理解。

通用大模型通常面向不特定用户,提供开放式问答、写作、检索、总结、效率辅助等功能。用户对它的合理期待,更多是“辅助参考”,而不是“企业正式答复”。

但AI客服或销售Agent往往不同。

它可能接入企业知识库,读取售后政策、退款规则、价格体系、库存状态、会员权益和合同模板;也可能接入CRM、订单系统、工单系统、报价系统。它的输出不只是文本,还可能创建工单、发送报价、确认订单、触发退款流程、记录客户确认。

这时,AI输出已经不只是“语言生成结果”,而是嵌入了企业业务流程。

对外展示也会改变用户理解。如果一个入口被命名为“官方客服”“智能销售顾问”“售后专员”“企业服务助手”,并被放在企业官网、APP、小程序、店铺客服、企业微信或合同签署流程中,用户很自然会认为:自己是在和这家公司沟通,而不是随意使用一个通用问答工具。

这正是AI Agent场景的法律风险所在。

AI本身没有民事主体资格,也不能自主作出意思表示。但企业的部署方式,可能让AI输出具备“代表企业答复”的外观。

张华韬教授在《动态体系论下生成式人工智能侵权的归责与构成》中提出,生成式人工智能服务提供者的注意义务不宜用单一标准处理,而应结合侵权预防成本与收益、侵害后果识别难易程度、现有行业通行技术水平等因素进行动态评价。这个思路放到企业AI Agent中很有启发:风险越容易识别、越低成本防范、越接近企业核心交易流程,企业越难主张自己只提供了一个“自动问答工具”。

因此,梁某案可以解释通用问答AI为什么没有当然绑定企业,但不能直接替企业客服、销售Agent解决全部问题。


三、AI输出是否产生责任,关键要看用户的合理信赖

在通用问答场景中,AI输出通常只是信息提供和辅助参考。即便输出错误,也不必然产生责任。法院通常还会审查过错、损害、因果关系、提示义务等要素。

但在企业AI Agent场景中,问题会更复杂。

如果AI客服说“可以退款”,用户据此放弃继续维权;AI销售说“这个价格有效”,采购方据此下单;AI合同助手说“订单已确认”,对方据此安排付款或履约准备,那么争议焦点就不再只是“AI有没有说错”,而是用户是否有理由相信该输出代表企业答复,并基于这种信赖采取了后续行为。

程啸教授曾讨论过类似问题。他认为,生成式人工智能错误输出造成纯粹经济损失时,错误信息本身往往不是直接原因,中间还会介入用户或第三人的信赖和后续行为。因此,为了避免服务提供者在不确定时间、对不确定对象承担不确定责任,需要通过因果关系限制责任范围,重点考察用户对生成内容是否存在合理信赖。

这个观点可以很好地解释AI客服场景的核心风险。

在梁某案中,用户很快发现并纠正了错误信息,同时平台也有“仅供参考”“不构成建议或承诺”等提示。用户是否可以合理信赖AI的“赔偿承诺”,法院给出了否定评价。

但如果换成企业官方客服入口,结论未必一样。

判断用户信赖是否合理,我认为至少要看以下几个因素:

第一,AI的身份展示。企业是否把它包装成“官方客服”“销售顾问”“售后专员”,还是明确提示它只是辅助问答工具。

第二,AI是否接入企业业务系统。如果AI可以查询订单、核验价格、生成报价、确认退款、发送合同文本,它就不再只是聊天窗口。

第三,AI是否具有处理权限。能不能承诺退款、能不能调整价格、能不能确认赔偿、能不能代表企业作出合同变更,是非常关键的分界。

第四,用户接触AI的具体场景。用户是在企业官网、官方APP、企业微信、店铺客服入口中对话,还是在通用AI平台中随意提问,法律评价会不同。

第五,企业是否设置复核机制。涉及赔偿、退款、报价、合同确认、违约责任、服务终止等高风险事项时,如果企业完全交给AI自动回复,没有人工确认、权限限制和日志记录,责任风险会明显上升。

这也是为什么我认为,AI Agent时代的责任边界,不能只问“模型为什么这么说”,而要问:企业是否通过自己的部署和管理,让客户有理由相信AI正在代表企业说话。


四、企业真正要控制的,不是每一句输出,而是授权外观

在这个问题上,我更倾向于用过错责任和注意义务来理解企业责任,而不是简单套用产品责任或严格责任

林洹民教授在《人工智能侵权的过错责任》中指出,无论是扩张适用产品责任,还是赋予人工智能主体资格,都难以自洽;人工智能侵权原则上仍应适用过错责任,以准确、全面评价相关主体行为,同时避免过度压制人工智能产业发展。这个观点与梁某案的裁判方向是一致的:法院没有因为AI输出错误,就直接让服务提供者承担严格责任,而是回到具体行为、提示义务、技术措施、损害证明和因果关系中审查。

但过错责任并不等于企业可以什么都不做。

对企业来说,真正要控制的不是AI永远不说错话,而是不要让AI在没有权限边界的情况下形成“代表企业答复”的授权外观。

如果企业希望AI只是辅助咨询,就要在产品设计中持续传达这一点,而不是一边写“仅供参考”,一边又让AI以“官方客服”的身份确认退款、报价和赔偿。

比较稳妥的做法,是按场景分层管理。

普通问答、产品介绍、操作指引,可以由AI自动回复,但要保留明显的AI生成标识和风险提示。

涉及价格、折扣、库存、交付期限、退款、赔偿、违约、合同变更、服务终止等事项,应设置明确权限边界。AI可以解释规则、收集材料、生成工单,但最终确认应由人工或经企业授权的系统规则完成。

涉及合同成立、报价有效期、付款条件、赔偿金额等法律效果明显的事项,建议采用“AI草拟+人工确认”的模式。对外表达中也应避免让AI直接使用“公司承诺”“我方确认”“已经同意赔偿”“合同已经成立”等措辞。

同时,企业应留存完整日志,包括用户问题、AI回复、系统提示词、调用知识库内容、人工介入记录、订单和工单状态变化。真正发生争议时,能否还原AI为什么这样回复、企业有没有设置边界、用户有没有看到提示,往往会影响责任判断。

梁某案给企业的启发,不是把“AI自动生成”当作万能免责口径,而是提醒企业提前设计清楚三件事:AI是什么身份,AI能说到什么程度,AI说完以后由谁确认。

回到开头的问题:AI客服/销售Agent说“可以赔”,企业真的要负责吗?

在通用问答场景下,梁某案已经给出了一个相对清晰的答案:AI模型没有民事主体资格,不能自主作出意思表示;如果企业也没有自愿受AI输出约束的内在意思和外观表征,AI生成的“承诺”通常不能当然绑定企业。

但在AI客服、销售Agent、售后Agent场景中,问题不会这么简单。

企业越是把AI放在官方入口,越是让AI接入订单、报价、退款、合同等业务系统,越是赋予AI对外答复和流程处理权限,就越需要认真管理它可能形成的授权外观。

AI没有意思表示能力,但企业可能因为自己的部署方式,让AI看起来像是在代表企业作出意思表示。

这才是AI Agent时代,企业真正需要提前处理的法律风险。


相关研究