谷歌宣布,正在扩大其漏洞奖励计划(VRP),以补偿研究人员为生成式人工智能(AI)系统量身定制的攻击场景,努力增强AI的安全性和安全性。
“生成式人工智能提出了与传统数字安全不同的新问题,例如不公平偏见、模型操纵或数据误解(幻觉)的潜在可能性,”谷歌的劳丽·理查森和罗亚尔·汉森说。
范围内的一些类别包括及时注入、训练数据集中敏感数据的泄漏、模型操纵、触发错误分类的敌对扰动攻击和模型盗窃。
值得注意的是,谷歌在今年7月初成立了一个人工智能红队,以帮助解决人工智能系统面临的威胁,作为其安全人工智能框架(SAIF)的一部分。
作为其保护人工智能承诺的一部分,还宣布通过现有的开源安全举措,如软件构件供应链级别(SLSA)和Sigstore,努力加强人工智能供应链。
“数字签名,比如来自Sigstore的签名,允许用户验证软件没有被篡改或替换,”谷歌说。
“元数据,如SLSA的起源,告诉我们什么是在软件中,它是如何建立的,使消费者能够确保许可证兼容性,识别已知的漏洞,并检测更先进的威胁。”
随着OpenAI公布了一个新的内部准备团队,以“跟踪、评估、预测和保护”生成人工智能的灾难性风险,包括网络安全、化学、生物、辐射和核(CBRN)威胁。
这两家公司还宣布成立一个耗资1000万美元的人工智能安全基金,重点是促进人工智能安全领域的研究。