企业AI使用的可见性与控制：CISO的挑战与应对策略

自从ChatGPT公开推出以来还不到18个月，企业它在不到两个月的使用时间里就获得了1亿用户  。鉴于这种热潮 ，可的挑对策人们本以为GenAI的见性企业采用率会很高，但实际上比预期的控制要慢
。Telstra和MIT Review最近的企业一项调查显示
，虽然75%的使用企业去年测试了GenAI，但只有9%广泛部署了它 。可的挑对策主要障碍是见性什么?数据隐私和合规性。云计算

这点非常真实，控制在2024年上半年，企业我与近100位企业CISO进行了交谈，使用他们的可的挑对策主要关注点是如何获得对员工AI使用的可见性，如何执行企业关于可接受AI使用的见性政策，以及如何防止客户数据 、控制知识产权和其他机密信息的泄露 。

大量的努力已经投入到保护模型本身，这确实是免费模板一个需要解决的问题 ，但保护用户在模型周围和跨模型的活动所带来的隐私和合规问题可能更大
。模型安全性主要关注防止偏见、模型漂移
、污染等问题，而保护模型用户活动则侧重于可见性和控制 ，以及数据和用户保护。

保护跨模型的用户活动

那么 ，你需要什么才能获得可见性和控制权?内部模型用户活动的可见性是一个可管理的问题。香港云服务器如今，大多数企业只使用了很少的LLM ，并且员工访问这些模型的权限有限 。获得对外部托管AI和启用AI的目的地的可见性则要困难得多
。

要完全了解内部和外部的用户活动
，你必须 ：

a) 捕获所有外向访问

b) 理解这些数据

例如，这名员工究竟在访问什么，数据托管在哪里 ，数据存储在哪里 ，使用是模板下载否安全?当然，这只是识别目的地，接下来，你需要捕获并分析所有员工在这些地方的活动 ，他们输入了什么提示，这是否合规?他们得到了什么回应，这是否合规?在最初发布和达到1亿用户之间的两个月里 ，ChatGPT收到了大量企业员工的访问。源代码 、服务器租用财务计划、营销活动等大量信息被上传，因为员工在测试这项新技术。很少有CISO有信心完全了解已经发送和仍在发送的内容。

即使有良好的可见性 ，通过政策控制员工活动也不容易 。执行机制在哪里运行?是在终端代理上?代理服务器上?网关上?云端?

AI可接受使用政策如何表达?考虑一个AI数据访问政策：某法律或咨询公司可能要求来自客户A的LLM数据不能用于生成客户B的答案 。上市公司的总法律顾问可能希望制定AI主题访问政策：财务部门以外且职位低于副总裁的员工不能询问收益信息。首席隐私官可能要求制定AI意图政策：如果你使用外部GenAI编写合同 ，建站模板在发送提示之前必须删除所有PII。

获得员工AI使用的可见性和控制

经过18个月使用GenAI的经验，企业已经开始了解获得用户活动可见性和控制的必要条件。无论是构建还是购买解决方案 ，都需要执行特定功能 ：

• 建立目标数据库 ：首先
，你需要建立和维护一个GenAI目标数据库(即包含嵌入AI的域名和应用程序)。没有这个数据库
，你只能基于DNS进行访问的阻止或允许 。

• 捕获目标域名 ：接下来，你需要获取员工试图访问的实际域名
。捕获DNS活动有多种选择：从终端(即代理)、防火墙 、代理服务器 、CASB等获取 。

• 记录实际活动 ：为了获得可见性，你需要将员工活动持续映射到目标数据库，建立员工活动目录——特别是相对于AI，你的员工去了哪里?基本版本可以在事后提供员工访问的AI模型 、聊天机器人等的可见性  。更高级的版本可能会增加对这些目标的风险分析。

• 捕获对话：当然，可见性不仅仅包括目标 ，还包括进入和离开这些AI目标的实际提示、数据和响应。你需要捕获这些内容并应用额外的风险分析。

• 进行主动执行 ：上述所有可见性功能可以在事后进行
。如果你想对外部AI系统应用可接受使用政策，你需要一个在推理时强制执行的政策机制 ，它需要拦截提示并应用政策，以防止不必要的数据丢失
、不安全的使用等 。

• 全面执行政策：确保政策机制适用于内部和外部的LLM访问
，并跨云
、LLM和安全平台
。由于大多数企业使用混合的云和安全产品
，如果你的政策引擎不局限于单一平台或云，效果会更好。

当前市场状况

上述步骤可能很复杂
，但一些企业已经取得了进展。毫无疑问，较大、较先进的企业已经建立了一些控制措施来执行上述部分功能。

我与一些企业交谈过，他们从头开始构建了大部分AI可见性和控制功能 ，其他企业则使用他们的EDR、SIEM、CASB
、代理服务器和防火墙的组合来捕获数据 ，进行一些基本的阻止和事后可见性报告 。当然
，随着新的安全问题出现，也有新的初创公司正在将解决方案推向市场，这是一个企业安全和隐私领域非常活跃且快速发展的领域。

最后一点：偶尔会发生重大IT变革，显著影响员工(和客户)使用IT的方式。90年代后期的企业网络部署和2010年代的移动应用都推动了企业基础设施的大规模演变 ，这两次重大计算变革都带来了数据丢失和攻击的新潜在风险，并且每次都需要显著的新技术解决方案。GenAI无疑是IT安全演变的下一个重大原因 ，大多数企业将寻找方法来看到 、控制和保护他们的用户及其数据，因为AI将嵌入到每个过程中。