AI治理挑战：如何负责任地规模化｜Cohere

AI 治理对于帮助企业安全、一致且大规模地采用 AI 至关重要。

但随着 AI 在业务中的使用范围扩大，组织的治理框架与团队实际使用 AI 的方式之间可能会出现不匹配。

在本文中，我们将探讨常见的 AI 治理挑战和失败模式，并概述企业可以采取的应对步骤。

为什么随着采用规模扩大，AI 治理会变得更难

当 AI 的使用仅限于少数受控试点项目时，治理更容易管理。在那个阶段，组织知道哪些团队参与其中，使用了哪些数据，预期的用例是什么，以及谁负责审查。

当 AI 的采用超出这些受控环境时，监督就变得更加复杂。例如，一个最初被批准用于低风险内部任务的工具，最终可能被应用于面向客户的高风险工作；一个供应商产品可能在企业的初始采购或安全审查之后添加了 AI 功能；或者员工可能在组织为可接受使用设定明确规则之前，就开始使用公开可用的 AI 工具。

在这些情况下，风险并非来自 AI 使用本身。风险在于，组织可能无法了解 AI 在何处被使用、谁对其负责，以及每个用例是否都实施了适当的控制措施。

AI 治理问题在实践中出现在哪里

当适用于早期 AI 使用的规则、审查流程和所有权模式对于业务范围内的更广泛采用来说过于狭窄时，AI 治理问题往往就会出现。

以下是一些这些问题如何显现的例子。

治理变成一次性审批步骤

当一个用例在启动前经过审查，但其目的、用户或风险状况发生变化后未重新评估时，AI 治理可能会被削弱。最初的审查可能适用于该用例的第一个版本，但这并不意味着一旦该工具在新的环境中使用，相同的控制措施仍然合适。

假设一个内部 LLM 应用程序被批准在全公司范围内用于常规起草、总结和头脑风暴。随着时间的推移，客户服务团队的成员开始使用相同的工具批量生成个性化的客户回复邮件——这些邮件包含关于退款、账户条款或政策问题的回复。如果这种扩展后的使用未经审查以确保实施适当的控制措施，客户最终可能会根据未经验证、不正确的指导做出决策。

跨团队的所有权不明确

AI 治理通常需要业务、技术、法律、合规、安全和数据团队的输入。

当特定系统或用例的所有权没有明确分配时，每个团队可能都认为另一个团队负责关键的治理决策，包括该用例是否合适、系统可以访问或处理哪些数据、应如何审查输出，以及如果出现问题由谁响应。

例如，业务团队可能赞助一个 AI 用例，IT 部门可能管理访问权限，安全团队可能审查供应商，合规部门可能就政策提供建议。但如果应用程序启动后没有特定的人负责，那么使用模式变化、数据暴露和不可靠输出等问题就可能被忽视。

控制措施与用例风险不匹配

如果治理要求不与每个用例的风险状况相匹配，它们可能会变得过于宽松或过于严格。

低风险的使用可能会受到过度审查，而高风险的使用则可能在缺乏适当的人工监督、访问限制、文档记录或监控的情况下推进。

这会使治理显得武断，为低影响的用例制造不必要的摩擦，同时增加更具影响力应用的风险敞口。

员工 AI 使用变得难以追踪

当团队采用 AI 工具或功能的速度快于治理流程能够应对的速度时，员工的 AI 使用就会变得难以追踪。这可能通过公共 AI 应用程序、AI 浏览器扩展或现有工作软件中内置的新 AI 功能发生。

如果无法了解员工在何处以及如何使用 AI，组织就更难执行可接受使用规则、识别涉及高风险工作的使用，或在员工需要时提供经批准的替代方案。

敏感数据在缺乏适当控制措施的情况下被使用

敏感数据风险不仅限于员工将信息复制到公共 AI 工具中。当 AI 系统连接到内部数据源，但对访问、保留、检索、日志记录或下游使用缺乏适当控制时，也可能产生风险。

例如，一个内部的 AI 搜索 助手可能连接到一个包含客户合同、HR 文件或机密战略文档的文档存储库。如果系统不强制执行管理底层文件的相同权限，员工可能能够检索或生成他们本无权访问的信息摘要。

即使 AI 用例有用且出于善意，类似情况也可能产生隐私、安全、合同或合规风险。

如何应对 AI 治理挑战

有效的 AI 治理依赖于采用实用的操作流程。目标是使治理足够具体，以指导团队如何审查、部署和使用 AI 系统，同时保持适应性，以应对这些系统和使用模式的变化。

以下是一些企业在评估随着采用范围扩大而负责任地进行 AI 治理时可以考虑的做法。

建立对 AI 使用的可见性

维护一份 AI 清单可以让治理团队了解 AI 在整个组织中的当前使用情况。它为确定审查优先级、识别高风险使用以及决定在何处需要更清晰的指导提供了实际基础。

一份有用的清单可以涵盖集中批准的 AI 系统、添加到现有工作工具中的 AI 功能，以及任何已知的非正式使用，例如员工使用公共 AI 应用程序。它还可以捕获有助于指导治理决策的细节：每个系统或工具的用途、它可以访问或处理哪些数据、谁拥有它、是否经过审查以及适用哪些控制措施。

定义所有权和升级路径

明确的所有权有助于防止 AI 治理变成一种没有明确问责制的共同关切。这通常涉及定义谁对每个 AI 系统负责，包括谁管理日常使用、谁批准可能影响风险的变更，以及谁确保新的或扩展的使用在成为常规之前经过审查。

升级路径在业务、技术、法律、合规、安全和数据团队之间也应该是清晰的。这有助于团队在 AI 使用扩展、提出担忧或需要审查控制措施时，让正确的决策者参与进来。

应用基于风险的控制措施

企业应根据 AI 系统的使用方式、它可以访问或处理哪些数据、其输出可能产生什么影响，以及任何适用的法律、法规或合同要求，来确定哪些控制措施是必要的。

对于低风险的内部使用，可接受使用指南可能就足够了。对于高风险的使用，可能需要额外的控制措施，例如访问限制、人工监督、输出验证、允许用户验证 AI 生成答案的来源引用、文档记录和监控。法律和合规团队可以帮助确定哪些要求适用，以及它们应如何在治理控制措施中得到体现。

随时间推移进行监控、记录和更新治理

AI 治理应包括持续的机制，用于跟踪系统在审查或部署后如何使用以及表现如何。这可以包括监控使用模式、反复出现的输出问题、控制失败、用户反馈和供应商更新。

企业还应考虑维护哪些治理记录，例如风险审查、批准、控制要求、事件或政策更新。

目标是使治理立足于 AI 系统在实际中的行为，而不是仅仅依赖于初始审查期间所做的假设。

最后思考

没有企业能够预先预见所有可能的 AI 治理挑战。新工具会出现，用例会扩展，团队会找到在日常工作中利用 AI 的新方法。

问题在于，组织是否建立了从这些变化中学习所需的可见性、所有权和反馈循环。当治理被视为一个持续适应 AI 使用现实的过程时，团队可以更早地发现差距，在需要时加强控制，并支持更广泛的 AI 采用，而不会让监督落后。

这也是为什么提供商治理很重要的原因。在 Cohere，我们在模型开发和部署过程中应用了稳健的治理实践，并提供持续支持，以帮助我们的企业客户负责任地部署我们的 AI 产品。

要了解更多关于我们 AI 治理方法的信息，请阅读我们的指南：建立对 AI 的信任：Cohere 的 AI 治理方法。