您现在的位置是:物联网 >>正文
OWASP 发布生成式 AI 安全治理清单
物联网42638人已围观
简介随着OpenAI、Anthropic、Google和微软等公司的生成式AI及大语言模型(LLM)用户量呈指数级增长,企业IT安全决策者正努力跟上AI技术的快速发展步伐。非营利组织OWASP最新发布的《 ...
随着OpenAI 、布生Anthropic 、成式Google和微软等公司的安全生成式AI及大语言模型(LLM)用户量呈指数级增长 ,企业IT安全决策者正努力跟上AI技术的治理快速发展步伐 。非营利组织OWASP最新发布的清单《LLM AI网络安全与治理清单》(PDF)正是为此而生。

鉴于AI领域涉及面广泛 ,布生OWASP清单主要帮助管理者快速识别生成式AI和大语言模型的成式关键风险并采取补救措施,确保企业具备基本安全控制能力来安全使用相关工具和服务。源码库安全OWASP强调该清单将随技术成熟度持续更新,治理其专家团队将LLM威胁划分为以下类别 :

制定LLM战略时,清单企业需重点应对生成式AI带来的布生独特风险,通过组织治理和安全控制加以缓解。成式OWASP建议采用六步法构建有效的安全LLM部署策略 :

针对不同类型的LLM部署方案 ,OWASP也提供了详细考量框架 :

(1) 对抗性风险
涵盖竞争对手和攻击者双重维度,治理包括分析竞对如何运用AI提升业务表现 ,清单以及更新事件响应计划等内部流程以防范AI相关安全事件 。
(2) 威胁建模
基于"安全设计"原则 ,云计算需考虑攻击者如何利用LLM加速漏洞利用、企业如何检测恶意AI行为,以及如何实施系统防护措施。
(3) AI资产清点
遵循"未知即不可保护"原则,需全面记录自研解决方案和第三方工具 ,明确责任归属。建议将AI组件纳入软件物料清单(SBOM),按敏感度分类数据源 ,并建立工具准入退出机制 。
(4) AI安全与隐私培训
通过系统化培训使员工理解AI/LLM技术原理与安全挑战 ,培育信任透明的组织文化,源码下载从根本上杜绝"影子AI"现象 。
(5) 商业价值论证
避免跟风炒作,需建立清晰的AI商业用例,如同当年云计算推广时的战略规划 。
(6) 治理框架
通过RACI矩阵明确AI项目权责,制定企业级政策和流程 ,实现可问责的管理体系。
(7) 法律合规
需法律团队介入评估产品担保条款 、最终用户许可协议(EULA)和知识产权风险等关键法律议题 。高防服务器
(8) 监管应对
密切关注欧盟《人工智能法案》等新兴法规,识别适用的合规要求。
(9) LLM方案实施
具体控制措施包括 :实施访问控制 、保护训练管道 、映射数据流、识别LLM及供应链漏洞,建议定期进行第三方审计、渗透测试和代码审查 。
(10) 测试评估验证(TEVV)
参照NIST AI框架建议 ,持续开展功能测试、安全验证及可靠性评估,建站模板覆盖AI模型全生命周期。
(11) 模型与风险卡片
通过标准化文档披露模型架构 、训练方法和性能指标 ,提升系统透明度 ,主动应对偏见、隐私等伦理问题。
(12) 检索增强生成(RAG)
通过优化预训练模型和增量训练 ,提升LLM在特定数据源的检索能力,最大化企业应用价值。
(13) AI红队演练
通过模拟攻击检验防御体系有效性 ,但需明确演练边界要求 ,香港云服务器避免引发合规风险。
Tags:
转载:欢迎各位朋友分享到网络,但转载请说明文章出处“信息技术视野”。http://www.bziz.cn/news/876c499119.html
相关文章
网络安全能力左移面临七大挑战
物联网随着互联网和信息技术的快速发展,网络安全威胁的复杂性和严重性不断增加。今天的攻击者会采用更先进和隐蔽的攻击技术,使得传统的“右侧”网络安全防护模式已经显得“力不从心”,传统的边界防御方法也变得不够有效 ...
【物联网】
阅读更多PayPal的CISO谈GenAI如何提高网络安全
物联网在进入PayPal之前,Keren创建了两家网络安全初创公司,担任Verint安全产品管理主管,并担任以色列电子政务部门的CISO。PayPal AI驱动的网络安全战略正在奏效在最近一个季度(2023 ...
【物联网】
阅读更多研究人员发现新型攻击方式,可通过图像和音频操纵大模型
物联网随着大语言模型LLM)开始整合多模态功能,攻击者可能会在图像和音频中隐藏恶意指令,利用这些指令操纵AI聊天机器人例如ChatGPT)背后的LLM对用户提示的响应。在2023年欧洲黑帽大会上表示,研究人 ...
【物联网】
阅读更多