Stephen Mann和James Finister – ITIL AI治理白皮书撰写团队
当前AI的普遍应用水平带来了多大风险？
OECD的AI事件风险登记册长得令人咋舌，其中包括涉及AI的青少年自杀案例以及AI错误识别福利欺诈的实例。
除了AI引发的这些明显社会关切外，其在组织中的应用可能并未带来物有所值的效益，也缺乏评估其价值的稳健机制，导致企业AI项目失败率很高。
近期研究显示，82%的组织用户正在使用免费的AI工具。这种“影子IT”的使用并非自动就是坏事，这样做的员工更有可能使用企业认可的AI工具。
然而，工作场所中非集中式AI工具的风险通常在于缺乏教育，不了解敏感企业信息如何可能流入任何人都可访问的AI“大熔炉”。
这就是为什么我们与合著者共同创建了ITIL AI治理白皮书，以帮助专业人士及其组织在实现合规、韧性和利益相关者信心的同时，从AI的潜力中受益。
传统IT世界存在一种假设，认为集中式AI是受治理的，而实际上大多数AI根本没有得到有效治理。
这反映在IT组织内外对AI的信任度存在巨大差距。这需要谨慎，因为例如，尽管许多ITSM工具声称拥有AI护栏，但这些只是所需的一小部分。危险在于，负责IT治理的人也在管理AI治理。
AI企业风险的一个例子是在人力资源领域。为了提高生产力，例如在招聘过程中，部署AI的HR专业人员可能使组织面临因歧视而违反就业法规的风险。这是一个我们很可能看到法律案件出现的领域。
治理关乎责任、问责以及找到允许组织安全使用AI的适当治理模型。
传统IT治理与AI所需治理之间存在重大差异。
对于前者，合规的IT系统在下一年审计时可能仍然合规。相反，AI系统甚至可能在上线几分钟后就变得不合规。
AI的非静态性质意味着工具可能很快“失控”。在一个虚构的测试场景中，行业开发商Anthropic的Claude AI工具在处理电子邮件信息并被告知将被下线时，威胁要揭露一段秘密恋情来敲诈一位高管。
在此背景下，AI治理不是“一劳永逸”的活动。ITIL AI治理白皮书从四个AI影响视角开始：一种结构化方式来理解AI如何影响技术治理：
这涉及质疑在AI赋能环境中谁（或什么）拥有决策权，以及如何治理相关风险。
如果人们的决策受到AI的影响或指导，他们是否做出了正确的决策？如果没有，人类不能因为基于AI建议的糟糕决策而责怪AI。另一个需要解决的问题是使用AI所做决策的透明度水平，特别是缺乏审计追踪来证明AI辅助决策的合理性。
需要治理来确保人们认识到AI会犯错，并且有必要理解并优先处理可能损害组织的最重大风险。
对AI采取“鸵鸟政策”——通常不知道组织中使用AI的位置或将其排除在风险登记册之外——是不够的。然而，ITIL AI治理白皮书中的指导将帮助那些刚刚开始理解AI风险格局全貌的组织。
AI系统存在道德和社会影响，需要具体的实践、政策和监督。
人类经常在不自觉的情况下做出道德决策，但无法保证AI会模仿正确的道德观，或任何道德观。组织需要明确与其文化兼容的道德问题。考虑道德问题也是思考合规的好方法。
当组织使用AI使生活更轻松但未能考虑潜在影响时，就会产生道德风险。例如，使用AI创建营销材料如果目标受众不信任AI生成的内容，可能会损害组织。
AI系统造成持久的数据治理问题——尤其是在它们可能突显数据适当性或同意问题的方式上。
AI模型基于数据训练的方式可能导致敏感信息泄露，或需要多个隔离的AI模型，从而增加成本。
此外，不良数据可能产生偏见和泛化能力差，从而增加AI错误的风险。
AI系统需要遵守数据保护法、知识产权和新兴的AI特定法规。这意味着要有清晰的审计追踪、处理责任问题并应对不断变化的法规。
从运营角度来看，AI模型可能随时间退化——因此需要更新、重新训练、版本控制和退役。与外部供应商共享数据带来的额外风险也可能导致数据滥用和不合规。
在已概述的四个AI影响视角的背景下，ITIL AI治理指导还提供了6C模型。
这具有双重目的：帮助组织理解六种AI能力——创建、策展、澄清、认知、沟通、协调——并定制风险概况、控制措施和对策。
映射方法可以帮助组织将六种能力与不同风险进行对应，同时承认AI可以带来的积极面和价值。然而，在映射时，重要的是要针对组织和主题具体化（例如，对于ITSM，事件和问题管理的映射会不同）；确保有人负责并寻求受影响人员的支持，而不是从上而下强加。
决定哪种治理模型适合您的组织不是一项打勾练习。它应该是一个本身就能产生价值的过程——一个让事情变得更好的行动号召，同时学习和改变。正如我们白皮书中的指导所建议的，通过将AI视为“需要管理的伙伴，而不是需要约束的工具”，组织可以“负责任、合乎道德且有效地利用AI的变革潜力”。
重要的是要认识到，背景、意识和良知是人类特质，AI并不具备——这就是为什么让人类参与其中如此重要。拥有适当的治理意味着最大化良好AI的益处并最小化其风险，同时理解其局限性。
ITIL AI治理白皮书 可从ITIL.com免费下载。
同时，探索AI Unlocked，这是在智能时代蓬勃发展的完整在线课程。
了解更多
