AI行业分析：企业数智化转型中，AI幻觉引发的治理挑战与防控策略

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

（来源：未来智库）

（报告出品方/作者：国泰海通证券，赵子健、王佳、蔡晨）

1. AI 幻觉已在应用端形成多重危机

AI 幻觉（AI hallucinations）是指人工智能模型生成的看似合理但实际错误的内 容，这种现象通常表现为脱离现实、逻辑断裂或偏离用户需求的输出。大语言模 型（LLM）在生成过程中可能感知到人类观察者无法察觉或不存在的模式或物体， 从而产生毫无意义或完全不准确的输出。这些错误的成因复杂多样，包括训练数 据不足、模型过拟合、数据偏差、错误假设以及上下文理解不足等。AI 幻觉不仅 在日常应用中可能引发误导性信息传播，更在医疗诊断、金融交易等关键领域带 来严重后果，例如误诊、误治或经济损失。 AI 幻觉可划分为事实性幻觉与忠实性幻觉两个主要类别。事实性幻觉具体表现为 生成内容与客观事实存在显著偏差，而忠实性幻觉则体现为模型输出对原始输入 语境进行非理性延伸或语义扭曲。虽然此类现象在创意生成领域可能具有启发式 价值，但其引发的系统性风险值得重点关注：可能引发信息失真、公众信任度下 降、伦理困境等多维度社会问题，同时从技术层面严重制约 AI 应用的可解释性与 可靠性。

1.1. 大语言模型中 AI 幻觉现象引发关注

当前主流大语言模型的幻觉发生率呈现显著分化特征，头部商业模型已实现超低 幻觉率。根据 Vectara 基于 HHEM-2.1 模型的评估数据（截至 2025 年 4 月 29 日）， 谷歌 Gemini-2.0-Flash-001 以 0.7%的幻觉率位列榜首，OpenAI、谷歌及智谱 AI 等 企业旗下共9款模型的幻觉率均低于1.5%，其中GPT-4o（1.5%）、GLM-4-9B（1.3%） 等模型在保持高事实一致性（98.5%-99.3%）的同时，平均摘要长度稳定在 60-90 词区间。这标志着通过模型架构优化和强化对齐训练，头部厂商已能在文本摘要 场景中将幻觉风险控制在工业级应用可接受范围内，已满足金融、医疗等敏感场 景的应用标准。技术突破主要源于两大创新：谷歌通过实时连接知识库验证信息真伪，OpenAI 则开发了智能检测系统自动过滤矛盾信息。测试显示，在处理复杂 文档时，顶级模型的错误率较两年前下降超过 80%，关键信息遗漏问题从 17.6% 降至 3.2%。 值得注意的是，这些成果是在严格测试条件下取得的。Vectara 评估要求 AI 必须 完整还原文档核心要素，包括事件经过、人物关系和因果关系链。即便面对需要 跨段落分析的复杂资料，顶尖系统的表现波动始终控制在 0.2%以内。这种稳定性 得益于特殊的"固定生成模式"，使得 AI 在输出关键信息时几乎不会随机变动。目 前，这些先进技术已在上市公司财报解析、电子病历整理等高风险领域投入实用， 为行业树立了可靠性标杆。

1.2. 技术原理造成 AI 幻觉难以避免

大型语言模型的技术架构和训练方法在本质上创造了幻觉不可避免的条件。这些 模型的核心功能并非通过真正的理解来实现，而是通过复杂的模式匹配和统计预 测。当用户输入一个问题时，人工智能并不会访问一个经过验证的结构化数据库； 相反，它会根据训练期间观察到的模式，预测统计上最有可能的词语序列。这种 基本设计使得幻觉成为不可避免的漏洞。在训练过程中，这些模型会吸收大量的 文本语料库，压缩并编码词语和概念之间的统计关系，但这种压缩本质上会导致 信息丢失和不一致性。训练数据本身也带来了进一步的复杂性，它可能包含偏见、 错误、过时的信息或对某些主题的不完整表述。由于缺乏真正的理解能力，模型 无法区分训练数据中的事实与虚构，两者都会被同等内化。 此外，大型语言模型缺乏外部验证机制。它们无法对自己的输出进行事实核查， 也无法识别何时超出了自己的知识边界。推理过程本身通过其固有的随机性引入 了另一个漏洞，为错误的累积创造了机会。像过拟合这样的模型架构问题进一步 加剧了幻觉，因为系统可能过于紧密地校准到训练数据的特殊性，而不是发展出 可推广的理解能力。这些技术限制共同构成了一个闭环，使得 AI 幻觉不仅可能发生，而且不可避免。 理论研究表明，幻觉是大语言模型不可避免的局限性，而非一个暂时的技术挑战。 新加坡国立大学计算学院一项研究表明，大语言模型的幻觉是计算复杂性约束下 的必然结果：由于模型无法穷举所有可计算函数，其生成内容必然存在与真实世 界的不一致，这使得幻觉的发生在数学上是不可避免的。问题的根源在于模型处 理和生成语言的基本方式：它们通过预测词语之间的统计可能性来生成文本，而 没有发展出真正的语义理解能力。一个恰当的类比是，一个学者记住了大量的文 本，却没有真正理解其中的核心概念，也没有发展出独立验证信息的能力。这种 局限性在统计模式识别和真正的知识表示之间创造了一道无法逾越的鸿沟。这些 模型缺乏对世界的因果理解，而是通过训练数据中识别的相关性模式进行操作。 当面对需要超越这些统计模式进行推理的问题或场景时，模型别无选择，只能基 于松散的关联而非事实知识来“幻觉”出回答。这一理论局限性解释了为什么尽管 在模型规模、训练方法和对齐技术方面取得了显著进展，幻觉仍然是一个顽固的 问题。

幻觉现象源于数据、训练与推理的多维缺陷，本质是模型对事实关联与逻辑一致 性的建模不足。大型语言模型的幻觉现象核心机制来自数据、训练与推理三个阶 段。数据层面，预训练数据的质量问题，如错误信息、知识边界限制、社会偏见 等，会直接导致模型内化错误知识或过度依赖统计关联。数据中的虚假信息（如 过时事实、虚构实体）会被模型视为潜在“知识”，而长尾知识的稀疏性则限制了 模型对低频事实的准确召回。此外，多模态模型中视觉与文本数据的弱对齐（如 噪声描述、细节缺失）进一步加剧了跨模态幻觉。训练层面，模型在预训练阶段 通过自回归目标学习统计模式，但无法区分事实性关联与虚假相关性。例如，模 型可能将“美国总统”与“特朗普”高频共现的偏见固化为“知识”，而忽略拜登 作为现任总统的更新。对齐微调虽能优化指令跟随能力，但若超出预训练知识范 围，反而会因知识覆盖不足触发“自信型幻觉”。推理层面，自回归生成机制中的 局部注意力策略与随机采样放大了逻辑偏差。模型倾向于优先生成高频词汇或早 期错误假设，而非全局最优路径，导致错误累积与逻辑断层。举例来看，在复杂 推理任务中，模型可能因注意力机制忽略关键前提而生成矛盾结论。 从技术实现视角看，幻觉现象是模型表征能力与任务复杂度失衡的产物。当前主 流 Transformer 架构的注意力机制虽能捕捉局部语义关联，但对篇章级逻辑关系的 建模仍存在局限，导致生成内容易出现上下文断裂或意图误解，即 Transformer 对 长序列的注意力稀释问题导致其对细粒度事实关联的建模能力不足。例如在金融 风险分析场景中，模型可能将偶发性市场波动错误归因为系统性因素，形成因果 归因幻觉。此外，解码策略的随机性（如高温采样）放大了概率分布边缘区域的 错误选择可能，而有限的上下文窗口则限制了对长程依赖关系的捕捉能力，进一 步加剧信息缺失下的“创造性补充”行为。

DeepSeek R1 模型在推理能力上的表现令人瞩目，但却呈现出更高的幻觉率。 Vectara 公司开发了行业领先的评估框架，如 HHEM（Hallucination and Hard Error Metric），用于量化 AI 生成内容的可靠性。这些工具被用于其公开的幻觉率排行 榜，为开发者提供模型选型参考。2025 年 1 月 10 日，DeepSeek 发布了其推理模 型 Deepseek-R1。这一模型因其推理能力与 OpenAI-o1 模型相媲美而引发热议。 Vectara 通过两种方法评估 DeepSeek R1 模型生成摘要的可靠性，分别是 Vectara HHEM 2.1（专用于检测幻觉的判别模型）和 Google FACTS 框架（基于 GPT-4o、 Claude-3.5-Sonnet 和 Gemini-1.5-Pro 的综合评分）。在将 DeepSeek R1 纳入 Vectara 的幻觉率排行榜评估后的结果显示，，Deepseek-R1 的幻觉率高达 14.3%，显著高 于非推理优化的前代模型 Deepseek-V3（3.9%）。此外，R1 的 HHEM 评分均值（0.82 vs. 0.92）和标准差（0.23 vs. 0.06）均劣于 V3，表明其生成内容的一致性更低。

DeepSeek R1 模型的推理能力提升主要依赖于强化学习框架下长思维链（Chainof-Thought, CoT）数据的训练范式。具体而言，该模型采用四阶段训练流程：首 先通过收集数千条长 CoT 数据对基础模型进行监督微调，形成初始强化学习执行 者；随后通过迭代式强化学习训练增强复杂任务中的多步推理能力。这种训练策 略使模型在数学推理、编程等需要深度逻辑分析的场景中展现出接近 GPT-4-o1 的 性能，但在简单任务中呈现显著局限性——过长的思维链会引发任务复杂化偏差， 导致模型在摘要生成、事实核查等低复杂度任务中出现内容编造概率升高现象。 AI 幻觉现象源于 DeepSeek R1 训练机制的双重特性。一方面，强化学习过程中对 创造性生成的奖励倾斜使模型在文学创作等场景具备优势，但在事实性任务中易 产生过度推理；另一方面，语言一致性约束的不足导致思维链存在逻辑冗余和发 散倾向。若体验过 DeepSeek 的“深度思考（R1）”功能，不难发现，即使面对看 似简单的任务需求，模型仍会通过多维度拆解进行详尽解析。这种对基础任务的 过度延展，虽体现了深度思考能力，但同时也可能因过度发散而产生不实信息， 将简单任务复杂化，进而加剧生成内容中“重逻辑，轻事实”的 AI 幻觉现象。 Vectara 的实验数据显示，在摘要任务中，DeepSeek R1 的幻觉率相较基础模型 V3 提高 10.4 个百分比，这可能与其训练过程中未对简单任务进行特别优化的设计策 略直接相关。因此，研究建议采用任务适应性模型选择策略：在需要深度推理的 复杂场景使用 R1 模型，而在事实性要求高的场景切换至 DeepSeek V3 通用模型， 以减少幻觉现象发生，输出更稳定的结果。

1.3. AI 幻觉催生的风险事件频发

“80 后死亡率破 5.2%”信息广泛传播，造成恐慌式营销。2025 年 2 月，一组关 于 80 后死亡率的数据在网上引发广泛关注，号称“截至 2024 年末，80 后死亡率 突破 5.2%，相当于每 20 个 80 后中就有 1 人已经去世”，甚至提到，“80 后的死亡 率已经超过 70 后”。网络上有文章号称，这些骇人听闻的数据来自第七次全国人 口普查，是所谓的“权威数据”。 存在信源与专业性等明显漏洞，人口领域专家出场辟谣。根据央视新闻报道，长 期从事人口发展研究的中国人民大学人口与健康学院教授李婷表示，这一数据与 事实严重不符。经核查发现，大多数文章都号称该数据来自第七次全国人口普查的数据。然而第七次全国人口普查的时间是 2020 年，显然无法预测 2024 年的死 亡率。而且，人口普查数据只会公布上一年对应时期的死亡率（例如 2020 年的第 七次全国人口普查反映的是 2019 年 11 月 1 日到 2020 年 10 月 31 日的死亡率）， 且并不针对特定群体，故不会有 80 后死亡率的统计结果。李婷教授还提到，专业 统计数据中关于死亡率用千分率表示，而不是百分率，故“5.2%死亡率”系错误 表达。此外，李婷教授表示，这一数据还混淆了“累计死亡比例”与“年死亡率” 的定义。死亡率数值比较小，通常只有千分之几，而“每 20 个 80 后中 1 人已离 世”描述的是累积的死亡比例。 AI 大模型训练语料偏差加剧数据污染风险。根据李婷教授溯源梳理，此错误数据 很可能是 AI 大模型在问题回答过程中出现错误导致。李婷教授在 AI 大模型中输 入了“50、60、70、80，这几代人的死亡率分别是多少”的问题，大模型显示， 根据网络信息得出了“80 后现存 2.12 亿，存活率 94.8%，死亡率 5.2%”的表述。 李婷教授解释，因为累计死亡概率等概念相对专业，是一个相对冷门的知识点， AI 模型可能由于训练语料不足，导致推算出现错误，从而导致形成"算法污染-流 量变现"的恶性循环。

AI 幻觉在法律领域近年来引发了多起职业风险事件。2023 年 2 月，美国纽约南 区联邦地区法院的“马塔诉阿维安卡公司案”（Mata v. Avianca，Inc.）中，两名律 师及其律所因提交了 ChatGPT 虚构的司法意见而受到法院制裁。2023 年 5 月，美 国科罗拉多州一名律师的动议因为引用了 ChatGPT 生成的虚假案件而被驳回。英 国《律师协会公报》（The Law Society Gazette）也在 2023 年 5 月报道了一起发生 在曼彻斯特法院的案例，法院在审理过程中发现民事诉讼当事人援引了四个虚假 案件支持其主张——这些案件均由 ChatGPT 提供。

AI 幻觉引发的专业领域应用危机在医疗行业已显现系统性风险。截止 2025 年 3 月，全国已有超过 400 家医院部署 DeepSeek 并实现场景化落地，数字背后是是医 疗行业对智能化、高效化、精准化医疗服务的迫切需求与积极探索。此外，社交 媒体平台近期有不少 DeepSeek 代替医生看病的主题报道，并一度有 AI 是否能代 替医生临床决策的讨论出现。上海某三甲医院主任医师发文称，对于非从业人士 而言，并没有甄别散在于多数正确答案中的少数错误的能力，提醒普通病人不能 轻信 AI，仍要从医生处得到最后的诊断。当前我国通过 NMPA 认证的 AI 医疗产 品主要集中在医学影像辅助诊断、慢性病管理等领域，且多数被归类为第三类医 疗器械（需严格监管的高风险产品），而 DeepSeek 等生成式 AI 尚未取得医疗器械 资质。

医疗领域 AI 幻觉现象突出表现为诊断偏差、责任归属模糊及监管滞后等核心矛 盾。据 2024 年 8 月发表在《Journal of Medicine, Surgery, and Public Health》杂志 上的一篇关于人工智能与非洲癌症治疗的研究文章表明，AI 影像系统在非洲病人 中的误诊率比欧洲整体高出 22%。上海某三甲医院放疗科医生指出，鉴于当前训 练大型 AI 模型所依赖的原始数据集及模型算法逻辑的局限性，直接依据 AI 提供 的医疗建议而绕过专业医生的审核与校对，仍存在较高的医疗风险，甚至可能引 发危及生命的严重后果。此外，政策层面呈现监管收紧态势，湖南省率先明确禁 止 AI 自动生成处方，呼应国家卫健委"AI 不得替代医师接诊"的底线原则，其本 质在于现行法律框架下 AI 无法承担医疗主体责任。

金融领域的幻觉风险引发系统性信任挑战。当前 AI 模型的预测能力高度依赖历 史数据质量与训练效果，若数据存在偏差或训练不充分，可能导致业务决策失误。 例如信贷审批场景中，若模型训练数据隐含对特定地区或人群的历史歧视，可能 错误设置更高的融资门槛；保险理赔环节若数据样本缺失合理理赔案例，可能引 发对服务公平性的舆论质疑。同时，算法"黑箱"特性使得错误决策难以追溯解释， 当客户因模型误判遭受损失时，极易升级为法律纠纷与声誉危机。

2. AI 幻觉现象或引发企业的多维度治理风险

AI 技术的规模化部署正在重塑企业运营模式，但同时也催生了系统性风险。德勤 的调研报告显示，当前企业高管最为关注的三大风险分别为安全漏洞、监控风险 及隐私风险。AI 解决方案及其所处理的大数据量可能存在安全隐患，一旦遭遇数 据窃取或泄露事件，将引发巨额成本。具体而言，2024 年全球数据泄露平均成本 接近 500 万美元，同比增长 10%。此外，还存在一些难以量化的潜在损失，如品 牌声誉受损和客户流失等长期负面影响。消费者对于品牌的信任度下降以及负面 形象可能会对企业的未来造成持久影响。因此，组织需有效管理 AI 相关的风险并 强化网络安全措施。值得注意的是，遵循伦理规范使用 AI 的企业更受消费者青 睐，数据显示 62%的消费者更加信任在 AI 应用方面透明合规的公司，同时有 53% 的消费者愿意为这些符合伦理标准的产品和服务支付更高的价格。 在技术落地过程中，安全漏洞、隐私侵犯与法律合规等挑战给企业经营带来了系 统性压力。我们认为，AI 系统依赖海量数据（维权）训练与运行，任何安全防护机制的薄 弱环节都可能被恶意攻击者利用，导致敏感信息泄露或系统功能瘫痪。隐私风险 则源于数据采集、存储与共享环节的透明度不足，尤其在用户画像、行为预测等 场景中，过度收集或滥用个人信息可能引发公众信任危机。法律风险呈现多维度 特征：一方面，AI 决策的不可解释性可能违背监管要求，例如金融信贷、医疗诊 断领域的算法歧视问题；另一方面，生成式 AI 的内容生产机制模糊了知识产权边 界，跨国业务中的合规标准差异更增加了法律冲突可能性。值得注意的是，此类 风险具有显著的连带效应，单一技术漏洞可能触发连锁反应，例如数据泄露不仅 造成直接经济损失，还将损害品牌声誉并招致监管处罚，最终影响企业可持续发 展能力。

当前 AI 风险治理的核心矛盾在于技术迭代速度与管理机制成熟度之间的失衡。 我们认为，从技术视角看，AI 系统的动态学习特性使其风险呈现非线性增长，传 统静态防护手段难以应对自适应攻击。从管理视角看，组织内部普遍存在风险认 知割裂：技术团队关注算法性能优化，法务部门侧重合规审查，而管理层缺乏跨 领域协同治理框架，导致风险管控措施碎片化。这种结构性短板在人才储备层面 尤为突出，兼具 AI 技术理解与风险管理能力的复合型人才严重短缺。 构建有效治理体系需把握三个关键维度：首先建立覆盖数据全生命周期的安全防 护机制，包括加密传输、最小化数据采集原则；其次实施算法透明化改造，通过 可解释性技术提升决策追溯能力；最后搭建动态合规监测系统，实时跟踪国内外 监管政策演变。然而，治理措施的实施面临现实阻力，例如增强透明度可能降低 算法效率，强化数据保护或将增加算力成本，这要求企业在技术创新与风险控制 之间寻求动态平衡。

2.1. 技术失控引发企业复合型风险

AI 幻觉的随机性和隐蔽性使得其对决策的影响具有高度不确定性。这种技术缺陷 导致企业面临双重挑战：一方面，AI 生成内容的“雪球效应”可能污染后续模型 的训练数据，形成恶性循环；另一方面，自动化系统（如工业控制或供应链管理） 若依赖存在幻觉的 AI 输出，可能触发操作失误或安全漏洞。更严峻的是，企业通 常缺乏对 AI 输出的实时验证能力。尽管有可供选择的相应解决方案可降低幻觉 率，但实际应用中，企业可能因技术门槛或成本限制等因素难以全面部署这些防 护措施。 此外，AI 幻觉与人类认知偏差的叠加效应进一步加剧风险——决策者可能过度信 任 AI 的“权威性”，忽视对结果的独立验证，最终导致群体性误判。一方面，AI 输出的“权威性假象”可能误导管理层战略决策；另一方面，模型不可解释性导 致错误溯源困难。典型案例来看，2023 年 Bard 聊天机器人在宣传视频中因回答 事实性错误，错误地声称“詹姆斯韦伯望远镜被用来拍摄了太阳系外行星的第一 批照片”，加剧了投资人对其正在输给竞争对手微软的担忧，致使母公司 Alphabet 单日市值蒸发超千亿美元。企业需建立技术验证-人工复核-动态纠错的复合型容 错机制，并通过对抗训练、知识图谱嵌入等技术手段降低幻觉发生概率。 AI 幻觉的技术不确定性不仅体现在输出错误本身，更源于其难以量化评估和动态 管控的特性。一方面，模型的黑箱机制使企业难以追溯错误根源。例如，在金融 投资决策中，AI 可能因训练数据的时间漂移（data drift）生成过时的市场预测， 但此类问题往往在造成损失后才被察觉。另一方面，幻觉的表现形式具有隐蔽性。 如法律领域的 AI 系统可能生成逻辑自洽却偏离法条的解释，导致合规审查失效。 这种不确定性迫使企业陷入两难：若过度依赖 AI，可能因幻觉引发重大决策失误； 若过度依赖人工复核，则丧失技术应用的效率优势。更严峻的是，生成式 AI 的 “创造性输出”特性使其幻觉与合理推断的边界模糊。例如，在供应链优化中， AI 可能提出看似创新实则违背物理规律的物流方案，企业需投入额外成本进行可 行性验证。

为应对 AI 幻觉的潜在风险，企业被迫增加多维度的防御性支出。技术层面，需要 持续投入模型微调（Fine-tuning）和实时监控系统，微软 Azure AI 的幻觉检测模 块使运营成本增加 18-25%；人力层面，必须配置跨学科审核团队，某金融机构为 AI 信贷审核系统配备的专家复核组占用人效预算的 12%；保险层面，伦敦劳合社 已将 AI 责任险费率上调 30%。更隐蔽的风险在于机会成本损失：企业对 AI 应用 的审慎态度可能导致技术创新滞后，德勤调研显示 43%的企业因担忧风险暂缓 AI 项目落地。建议通过联邦学习提升数据质量、采用混合增强智能（Human-in-theloop）优化成本结构，同时探索风险共担的 AIaaS（AI as a Service）商业模式。

2.2. 法律与合规的灰色地带危机

全球 AI 监管框架的滞后性使企业陷入合规困境。欧盟《人工智能法案》虽以风险 分级为基础构建了全球首个系统性 AI 监管体系，但其对“AI 幻觉”引发的间接 损害归责标准仍存空白。该法案将高风险 AI 系统纳入强制合规范畴，要求提供者 履行数据安全、算法透明等义务，但对技术漏洞导致的非直接物理损害缺乏具体 追责条款。相较而言，我国《生成式人工智能服务管理暂行办法》虽明确禁止生 成虚假信息，但技术标准、处罚细则及跨部门协同机制尚未完善，尤其在 AI 幻觉 的法律定性上仍以原则性规定为主。 从法律实践看，AI 幻觉导致的责任主体模糊性已成为全球性难题。传统侵权责任 法以“行为-损害”因果关系为核心，但 AI 系统的自主性与多主体参与性（开发 者、部署方、用户）严重动摇了这一逻辑基础。欧盟《人工智能法案》虽提出“提 供者-使用者”双重责任框架，但未明确技术可解释性标准与举证责任分配细则， 导致实际纠纷中司法裁量权过度扩张。全球在 AI 治理方面，技术风险与法律适应 性之间存在挑战，同时也反映出我们在构建更加精细、分级分类的监管体系过程 中，有进一步完善和提升的空间。 在风险分散方面，责任保险机制可成为企业应对 AI 法律风险的重要工具。欧盟 法案已为高风险 AI 系统预留了 36 个月的合规过渡期，期间可通过强制保险制度 分摊潜在赔偿压力。我国可借鉴此类经验，针对生成式 AI 服务设计专项责任保险 产品，覆盖因幻觉导致的名誉损害、商业损失等非物理损害场景。同时，需推动 建立行业性风险共担机制，通过行业协会与保险公司合作，降低中小企业合规成 本。 企业在收集更多数据同时，可能会增加其模型产生“抄袭性输出”的可能性，从 而提升了潜在的侵权风险。由于大语言模型（LLMs）的内部工作机制具有高度的 复杂性和不透明性，其本质上是一种“黑箱”系统。这意味着，尽管我们可以观 察到模型的输入（即训练数据）和输出（即生成的文本），但我们无法完全理解两者之间的具体关联机制。此外，LLMs 的输出结果具有动态性和不可预测性，可能 会因模型状态、输入提示词的变化或其他外部因素而产生显著差异。因此，要准 确判断模型是否存在抄袭行为，或者其输出是否包含未经授权的复制内容，是一 个极具挑战性的问题。抄袭性输出的普遍性不仅与模型本身的规模有关，还受到 训练数据的性质、多样性以及数据预处理方式的影响。例如，训练数据中如果包 含大量重复或高度相似的内容，模型可能会更倾向于生成与训练数据相似的输出， 从而增加抄袭性输出的可能性。然而，由于 LLMs 的黑箱特性，即使是模型的开 发者或研究人员，也难以完全掌握其内部运作逻辑，尤其是在模型规模庞大且训 练数据复杂的情况下。

此类“抄袭性输出”现象本身引发了诸多亟待解决的议题，涉及技术、法律、社 会等多个层面。2023 年 12 月，《纽约时报》起诉了 OpenAI 和微软，指控其侵犯 版权。《纽约时报》是首家就版权问题起诉人工智能公司的主要美国媒体机构。该 诉讼提交于曼哈顿联邦地区法院，称《纽约时报》发表的数百万篇文章被用来训 练自动聊天机器人，而这些机器人如今已作为可靠信息来源，与《纽约时报》构 成竞争。诉讼中没有提出具体赔偿金额，但指出被告应为“非法复制和使用《纽 约时报》独具价值的作品”而承担“数十亿美元的法定和实际损失赔偿”。诉状还 要求销毁任何使用了《纽约时报》受版权保护材料的聊天机器人模型和训练数据。 此外，根据 IEEE Spectrum 的研究报道，研究人员利用 MidJourney V6 和 DALL-E 3（OpenAI 旗下的图像生成模型）生成了与受版权保护的影视、游戏及动漫作品 中人物形象高度相似的图像。这一发现表明，MidJourney 和 OpenAI 的训练数据 中可能包含了受版权保护的材料，同时也揭示了某些生成式人工智能系统存在生 成抄袭性输出图像的风险，这可能导致用户面临潜在的版权侵权诉讼。此外， ARTnews 报道称，一场集体诉讼的证据材料表明，MidJourney AI 的训练数据集中 包含了一个由 16,000 名艺术家作品构成的数据库。这些研究结果进一步凸显了生 成式人工智能在训练数据来源及输出内容合法性方面所面临的技术与法律挑战。

随着 AI 技术在艺术创作等领域的广泛应用，知识产权归属问题对现有法律体系 提出了重大挑战。2023 年 9 月，美国版权审查委员会裁定，使用 Midjourney 软件 生成的图像由于其制作方式而不能获得版权。然而，相关裁判案例表明，不同国 家在司法实践上存在差异，普遍面临如何界定由 AI 生成的作品或发明的知识产 权归属这一难题。例如，在英国 Getty Images 诉 Stability AI Ltd 案中，焦点在于侵 权行为发生地及版权侵权的界定；韩国 Stephen Thaler 诉 KIPO 案则探讨了 AI 系 统是否能作为专利发明人的问题，并最终基于现行法律规定否定了 AI 作为合法 发明人的可能性；意大利 RAI Radiotelevisione Italiana S.P.A.诉 Biancheri 案强调了 作品的创造性与个人表达的重要性，即便该作品是通过计算机软件生成的；而在 美国 Entrance to Paradise 案中，法院根据《1976 年版权法》裁定完全由 AI 生成的 作品不受版权保护，因为缺乏人类作者身份。这些案例共同反映了 AI 技术引发的 知识产权归属问题的复杂性，不仅考验着各国法律体系的适应能力，也凸显出在 全球范围内协调统一相关法律规定的迫切需求。

2.3. 多主体声誉面临系统性冲击

AI 幻觉对品牌声誉与客户信任造成系统性冲击。我们认为，随着 AI 技术在商业 领域的广泛应用，模型治理缺陷已成为品牌声誉与客户信任的主要威胁源。AI 幻觉对企业声誉的损害呈现出明显的非线性传播特征，不仅直接影响用户体验，更 通过复杂的社会网络渠道放大负面效应，形成系统性冲击。AI 治理平台使组织能 够展示对道德和负责任的 AI 实践的承诺，增强品牌声誉并与利益相关者建立信 任，而这一点变得日益重要，因为公众对 AI 技术的看法和信任仍然是一个重大问 题。当前，企业面临的核心挑战在于 AI 模型的偏见、透明度不足、数据保护和隐 私问题、模型评估验证不充分以及安全威胁等多维风险，这些都可能导致客户信 任的急剧下降。AI 幻觉现象已成为侵蚀品牌可信度的隐形杀手。更值得关注的是， 与传统业务失误不同，AI 模型的错误往往被视为企业价值观和技术伦理的体现， 一旦发生便难以通过常规公关手段修复。特别是在金融、医疗和公共服务等高敏 感度行业，AI 决策失误可能在短时间内摧毁企业多年构建的品牌资产，并对整个 行业的信任生态造成连锁反应。 OpenAI 语音转录工具 Whisper 在医疗领域应用的幻觉问题严重影响母公司品牌 形象。Whisper 在医疗领域的广泛应用暴露出严重的“幻觉”问题，即生成不准确 的转录内容，可能对患者诊疗安全构成威胁。尽管 Whisper 自 2022 年发布以来因 其开源、多语言支持和高效性能被广泛采用，但美联社 2024 年 10 月的报道中提 到，该工具在转录医疗会诊时错误率极高：工程师分析的 100 多小时录音中，约 50%的内容存在虚构或错误。更令人担忧的是，包括明尼苏达州曼卡托诊所和洛 杉矶儿童医院在内的 40 个卫生系统已通过第三方公司 Nabla 部署基于 Whisper 的 工具，累计转录了约 700 万次医疗就诊，而 Nabla 以“数据安全”为由删除了原 始录音，导致无法核对 AI 生成文本的准确性。研究显示，Whisper 的幻觉现象常 出现在音频停顿、背景噪音或音乐播放时，且即使短而清晰的片段也可能出错。 尽管 OpenAI 曾警告 Whisper 不适用于高风险决策场景，但医疗机构仍依赖其输 出，凸显了 AI 工具在临床环境中未经充分验证即投入使用的风险。

AI 幻觉导致的信任危机呈现出明显的传导效应，在数字环境下迅速扩散并侵蚀品 牌价值。我们认为，用户对 AI 错误的容忍度显著低于对人类错误的容忍度，这种 不对称的期望设定了更高的 AI 性能标准。事实性测试中，AI 模型的高幻觉率与 严格的用户期望之间的差距，构成了品牌声誉管理的重大挑战。值得注意的是， 一旦 AI 系统出现重大错误，负面用户体验会通过社交媒体平台实现几何级放大， 形成"声誉雪崩"效应。尤其值得关注的是，AI 系统的错误往往被解读为有意识的 企业行为而非技术局限，这种归因偏差进一步加剧了品牌形象受损的程度。在 B2B 市场环境中，AI 错误可能触发商业合作伙伴的连锁反应，导致合同终止、商业条 款重新谈判或商业关系重估。提高错误容忍性可以帮助机器学习模型更好地适应 实际应用场景，提高其实用性和可靠性，这对于维护品牌声誉至关重要。因此， 企业必须认识到 AI 错误的信任危机不仅仅是技术问题，更是需要通过系统性方 法解决的品牌管理挑战。 大语言模型的幻觉现象正成为个人名誉风险的新型威胁源。我们认为，幻觉现象 的名誉侵害表现形式包括虚构事件、错误归因及捏造人物关系等。例如，模型可 能生成某公众人物涉嫌犯罪的虚假指控，并引用虚构的法律文件作为佐证，此类 信息若被传播将直接损害个人声誉。技术层面，幻觉源于训练数据偏差、知识边 界模糊及生成策略缺陷：数据中的噪声和错误信息可能被模型内化为“事实”；模 型在超出知识储备范围时倾向于编造答案以维持对话流畅性；而自回归生成机制 则可能导致错误信息在长文本中累积。社会影响方面，虚假信息的规模化生产与 传播效率远超人工辟谣能力，尤其在社交媒体环境中易形成“信息茧房”，加剧名 誉损害的不可逆性。

幻觉现象的技术局限性在多个实际案例中暴露了其对个人名誉的破坏性。2023 年 4 月，澳大利亚维多利亚省赫本郡市长莱恩·胡德（Brian Hood）遭遇 ChatGPT 严 重事实错误，将其错误标注为 2011 年澳大利亚印钞公司贿赂案的涉案人员。实际 情况恰恰相反，胡德是该案的举报人而非参与者。胡德的律师表示，已向 OpenAI 发出律师信，要求对方修改有关其客户的错误，否则会考虑提出诽谤诉讼。2023 年 6 月，OpenAI 公司迎来其遭遇的第一场名誉权诉讼。美国乔治亚州电台主持人 马克·沃尔特斯（Mark Walters）向佐治亚州的一家高等法院提起诉讼，状告 OpenAI 公司侵犯其名誉权，起因是枪械刊物《AmmoLand》的主编弗雷德·里尔（Fred Riehl） 在与 ChatGPT 的对话过程中，ChatGPT 声称沃尔特斯曾被指控从非法挪用一家基 金会的资金，而沃尔特斯称其从未受到过此类指控并认为该信息纯属 ChatGPT 捏 造，并向 OpenAI 提起诽谤诉讼。这些案例不仅揭示了 AI 生成内容在事实核查方 面的重大缺陷，更暴露出错误信息对个人声誉的实质性损害风险，使技术公司面 临法律追责与技术改进的双重压力。 法律责任的模糊性加剧企业和个人的风险敞口。模型生成的内容侵犯他人名誉权 时，服务提供者可能面临受害者的索赔要求。尽管服务提供者可以主张其技术中 立性，但在现有技术条件下，服务提供者难以完全避免幻觉现象的发生，这使得 责任界定变得复杂且困难。此外，使用者在使用生成式人工智能时，若未能对生 成内容进行充分核实，也可能因传播虚假信息而被追究侵权责任。这种风险不仅 限于法律赔偿，还可能对公司的声誉和市场地位造成严重影响。在法律层面，现 有的归责原则如过错责任原则和无过错责任原则均难以完全适用于生成式人工智 能侵权的情形。过错责任原则要求证明服务提供者存在主观过错，但在幻觉现象 中，服务提供者往往难以预见和控制生成内容的错误性，使得过错认定变得困难。 而无过错责任原则虽然能在一定程度上减轻受害者的举证负担，但其适用范围和 具体规则尚不明确，且可能对服务提供者造成过重的责任负担。

2.4. 伦理风险与社会信任危机

当 AI 幻觉与社会偏见叠加时，可能系统性破坏企业伦理根基。研究表明，AI 系 统可能因训练数据的历史偏见或算法缺陷而产生幻觉性输出，进而强化社会歧视。 更严重的是，深度幻觉（如 Deepfake）可能被恶意利用，如某社交媒体平台的 AI工具被诱导生成政治虚假信息，触发监管机构的反垄断调查。此类事件不仅造成 直接经济损失，更严重损害企业作为“技术向善”主体的社会公信力。企业亟需 构建涵盖伦理委员会、影响评估工具、利益相关方参与机制的三位一体治理架构， 将伦理风险管理深度植入 AI 全生命周期。 文化敏感性与价值观冲突的品牌风险不容忽视。我们认为，AI 系统生成的内容可 能无意中触发多元文化背景下的敏感点，引发价值观冲突并对品牌全球化战略构 成严重阻碍。在跨文化交流日益频繁的全球市场环境中，AI 系统对不同文化语境、 历史传统和道德规范的理解仍然有限，容易产生文化盲点。AI 幻觉产生原因包括 数据偏差、泛化困境、知识固化和意图误解，这些因素在跨文化场景中表现得尤 为突出。宾夕法尼亚州立大学和华盛顿大学的研究表明，生成式 AI 模型因训练数 据的西方中心主义倾向，可能对非西方文化（如印度文化）造成深层误读与实质 性社会危害。AI 倾向于以“他者视角”呈现非西方文化，例如过度强调传统节日 的色彩元素或突出某些亚文化，导致异化与刻板印象。这种误读不仅强化文化挪 用风险，还可能影响少数群体的社会认同。当 AI 系统错误使用宗教符号、曲解历 史事件或忽视地区特殊禁忌时，引发的不仅是简单的用户不满，更可能是深层次 的品牌抵制运动，甚至演变为外交争端和市场准入障碍。值得注意的是，这种文 化冲突往往具有不可预测性和高度敏感性，传统的危机公关策略可能难以应对。 AI 治理平台能够确保 AI 系统与组织价值观和社会期望保持一致，这一点在跨文 化环境中尤为重要。

与技术错误不同，价值观冲突所造成的品牌损害往往具有长期性和结构性特征， 难以通过短期修复措施消除。特别是在社交媒体平台算法的放大效应下，价值观 冲突事件可能迅速升级为全球性舆论风暴，进而转化为实质性的品牌资产损失和 市场份额下滑。典型案例中，OpenAI 的 Sora 视频生成工具存在性别、种族和能 力偏见，可能加剧社会刻板印象。《连线》杂志的调查发现，Sora 在生成与职业相 关的视频时，存在明显的性别偏见。例如，在生成“飞行员”的视频时，所有结 果均为男性；而在生成“空乘人员”的视频时，所有结果均为女性。类似地，大 学教授、首席执行官和政治领袖多被描绘为男性，而托儿所工作人员、护士和接 待员则多为女性。此外，Sora 在生成“微笑的人”的视频时，90%的结果为女性， 反映了社会对不同性别情绪表达的期望差异。OpenAI 发言人 Leah Anise 表示，偏 见是一个全行业的问题，OpenAI 有专门研究和减少模型中偏见和其他风险的安全 团队，并正在研究如何更改其训练数据以生成偏见较少的视频内容。由此可见， 企业必须将文化敏感性纳入 AI 治理的核心维度，建立多元文化审核机制，确保 AI 系统在全球化环境中的适应性。

3. 完善 AI 治理是实现人工智能可持续发展的必然选择

3.1. 监管制度协同共治，筑牢智能治理防线

近年来，中国通过密集出台专项法律与政策文件，初步构建起覆盖人工智能全生 命周期的治理法律框架。2017 年实施的《网络安全法》确立了网络运行安全与数 据分类分级保护制度，要求网络运营者采取技术措施防范数据泄露与非法使用； 2021 年颁布的《数据安全法》和《个人信息保护法》进一步强化数据主权原则， 明确数据处理者的安全保护义务，并建立数据跨境流动审查机制。2023 年发布的 《生成式人工智能服务管理暂行办法》则针对新兴技术特点，提出分类分级监管 要求，明确生成式 AI 服务提供者需履行内容审核、标识标注、用户权益保护等义 务。此外，《新一代人工智能发展规划》提出“以人为本、安全可控”的治理原则， 要求在技术研发、产品应用中嵌入伦理审查机制，而《关于加强科技伦理治理的 意见》则从国家层面统筹科技伦理体系建设，强调对生命科学、人工智能等领域 的伦理风险前瞻性研判。这一系列立法行动不仅填补了国内 AI 治理的法律空白， 也为全球人工智能治理贡献了中国方案。 全链条监管机制构建技术风险防火墙。中国人工智能治理体系注重全流程风险防 控，覆盖技术研发、产品开发、数据流通、应用服务等关键环节。在技术研发端， 《互联网信息服务算法推荐管理规定》要求算法服务提供者建立安全评估与监测 机制，防范算法歧视与数据滥用；《新一代人工智能伦理规范》提出“算法透明可 解释”原则，推动研发主体对算法决策逻辑进行披露。在数据流通环节，《工业和 信息化领域数据安全管理办法》建立工业数据分类分级保护制度，明确重要数据 境内存储与跨境传输安全评估要求；《数据安全法》配套的《数据出境安全评估办 法》则对跨境数据流动实施分类分级管理。在应用服务端，《生成式人工智能服务 管理暂行办法》要求服务提供者对生成内容添加显隐双标识，并配合监管部门开 展内容核查；《互联网信息服务深度合成管理规定》则针对虚拟场景生成、数字人 合成等场景，建立传播溯源机制。通过多部门协同监管，中国正形成覆盖技术研 发、数据治理、应用落地的全链条治理闭环，有效遏制 AI 技术滥用风险。

在推动人工智能创新的同时，始终将伦理治理作为核心议题，塑造负责任 AI 生 态。2021 年发布的《新一代人工智能伦理规范》确立“增进人类福祉、促进公平 公正、保护隐私安全”等六项基本原则，要求 AI 研发与应用主体主动开展伦理审 查，并建立科技伦理（审查）委员会。《关于加强科技伦理治理的意见》进一步提 出“敏捷治理”理念，强调对新兴技术风险的动态监测与响应，要求高校、科研 机构和企业设立伦理审查机制，将伦理培训纳入科技人员职业素养体系。在国际 协作层面，《新一代人工智能发展规划》明确提出参与全球 AI 治理规则制定，推 动建立多边、民主、透明的国际治理体系；2023 年签署的《全球人工智能治理倡 议》更是倡导“以人为本、智能向善”的全球共识。此外，中国司法机关积极探 索 AI 司法应用边界，最高人民法院发布的《关于规范和加强人工智能司法应用的 意见》明确要求 AI 辅助裁判结果不得替代司法判断，确保技术应用始终服务于司 法公正。通过伦理规范约束与全球治理参与，中国正推动人工智能向“可信、可 靠、可控”的方向发展。

3.2. 技术迭代与治理框架协同，平衡创新与风险控制

应对 AI 幻觉需构建“技术-管理-制度”三维防御体系。技术层面，可通过检索增 强生成（RAG）框架将模型与企业内部知识库实时联动，减少开放式生成导致的 幻觉，同时采用对抗训练和置信度校准提升逻辑一致性。管理层面，需建立人机 协同决策流程，例如在医疗诊断中设置医生对 AI 建议的强制复核节点，并在金融 领域引入动态风险阈值机制，当模型输出偏离历史基准时触发人工干预。制度层 面，应参考 NIST 人工智能风险管理框架，制定针对幻觉的评估标准与合规要求， 如强制披露模型的幻觉率指标及适用场景限制。此外，企业需探索“可解释 AI” （XAI）工具，通过可视化决策路径增强技术透明度，辅助管理者识别潜在幻觉风 险。唯有通过多维度的综合治理，方能在释放 AI 效能的同时，管控其技术不确定 性衍生的决策危机。 语义熵方法有效量化大语言模型的不确定性，提升幻觉检测能力。牛津大学研究 团队在 2023 年 6 月发表于《Nature》的论文中提出了一种基于语义熵（Semantic Entropy）的大语言模型幻觉检测方法。该方法通过计算模型对同一提示词生成的 多组回复的语义分布差异，量化输出的不确定性，从而识别潜在的错误或虚构内 容。语义熵本质上是信息熵在自然语言生成任务中的扩展，其核心在于衡量模型 在相同输入下生成不同语义输出的概率分布离散程度。实验表明，该方法在多个 基准测试中显著优于传统基于词级概率的检测手段，尤其在开放域问答任务中， 能有效降低幻觉率约 30%。研究建议，该技术可集成至 AI 系统的置信度评估模 块，为用户提供实时风险提示，并引导模型采取检索增强生成（RAG）等循证策 略以提升输出可靠性。

3.3. 流程合规培育可持续模式，构建 AI 创作合规生态

重构训练数据基础，建立合规化数据治理体系。我们认为，生成式 AI 系统产生抄 袭性输出的核心矛盾在于其训练数据中未经授权的版权材料积累。研究表明，当 前主流图像生成模型普遍存在对影视片段、动漫形象等受保护内容的隐性学习现 象，这种技术特性与现行版权制度的冲突亟待系统性解决。从技术路径看，彻底 清除训练数据中的侵权内容并构建合规数据集是根本之策。然而，神经网络分布 式表征的特性决定了传统"事后删除"模式的不可行性——任何单一侵权样本的移 除都需要对整个模型进行代价高昂的重训练。因此，建立前置化的数据治理框架 成为关键。这要求 AI 企业在数据采集阶段即建立版权过滤机制，通过区块链存 证、数字水印等技术实现素材权属追溯，并优先采用已获授权的公开数据库或原 创内容库。同时，需建立动态更新的知识图谱，将版权保护期内的作品自动排除 在训练集之外。此外，采用联邦学习架构可在保障数据隐私的前提下实现多源合 规数据的协同训练，这一技术方案有望降低大规模数据重构的技术门槛。 开发多模态侵权检测系统，强化生成过程控制。我们认为，现有生成式 AI 系统的 内容审查机制呈现显著滞后性，难以应对复杂场景下的侵权风险。针对这一问题， 需构建贯穿生成全流程的多维度监测体系。在输入端，开发语义-视觉联合编码器， 通过对比学习识别用户指令与版权作品的潜在关联，对包含敏感元素的查询进行 分级拦截。例如，当检测到"超现实主义风格的城市景观"等模糊指令时，系统应自 动触发深度特征分析，评估其与已知建筑摄影作品的相似度阈值。在生成阶段， 引入对抗生成网络构建实时侵权检测模块，利用预训练版权分类器计算生成图像 与原始素材的特征差异值，当余弦相似度超过预设阈值时自动启动修正程序。未 来研究方向应着重提升细粒度鉴别能力，区分合理借鉴与实质性复制，并建立动 态更新的黑白名单库以适应创作趋势变化。此外，可探索引入区块链智能合约技 术，对生成内容进行数字指纹认证，确保版权溯源的可审计性。

构建透明化创作生态，完善责任分配机制。当前生成式 AI 系统的"黑箱"特性导致 侵权责任认定困难，亟需建立透明化的创作追溯体系。欧盟《人工智能法案》提 出的"合格评定机构"制度为此提供了制度范本，要求 AI 系统留存完整的训练日志 与生成轨迹记录。具体而言，模型开发者需公开数据清洗过程的抽样审计报告， 披露版权材料在训练集中的分布比例及脱敏处理方法。在服务端，应强制嵌入生 成内容元数据标注功能，自动附加版权风险等级标识及建议用途说明。从法律层 面看，需重新界定 AI 系统的主体责任边界，区分技术开发者、部署者与使用者在 不同场景下的过错责任。美国版权局 2025 年 1 月发布了最新版的 AI 生成作品版 权新规，已明确排除完全通过指令生成的 AI 创作作品版权保护，这一司法动向提 示行业需加快建立版权声明登记制度，鼓励创作者对训练素材进行自愿性版权标 记。通过技术透明化与制度弹性化的双重路径，方可构建可持续发展的 AI 创作生 态。 重塑全球版权治理框架，平衡创新激励与权利保护。生成式 AI 引发的版权危机本 质上是技术革命与既有法律体系的结构性矛盾。现行《伯尔尼公约》确立的国民 待遇原则与 AI 的无国界特性存在根本冲突，亟需国际社会协调行动重构规则体 系。世界知识产权组织（WIPO）近年来积极探讨人工智能与知识产权的关系，建 议增设特殊条款，明确 AI 生成内容不适用传统版权保护，同时建立强制许可制 度，要求 AI 企业向版权集体管理组织缴纳合理费用。在区域立法层面，2016 年 欧洲议会法律事务委员提出的"电子人格（Electronic persons）"概念颇具启示意义， 可将 AI 视为独立的法律主体承担部分侵权责任，但其实施需配套开发责任评估 算法。从产业实践看，2024 年 10 月，Adobe 推出“Content Authenticity”应用， 用作充当现有内容凭证平台的集中枢纽，还允许用户进行偏好设置以保护他们的 工作不被生成式 AI 模型使用或用于训练生成式 AI 模型，实现创作者授权收益与 AI 训练数据获取的良性互动。最终，需在技术创新激励与权利保护之间寻求动态 平衡，既避免因过度规制扼杀技术进步，亦防止资本力量对创作生态的野蛮侵蚀。

（本文仅供参考，不代表我们的任何投资建议。如需使用相关信息，请参阅报告原文。）