随着全球对生成人工智能 (AI) 系统的兴趣日益浓厚，萨里大学的研究人员开发了一种软件，能够验证人工智能数据系统从组织的数字数据库中收集了多少信息。
Surrey 的验证软件可以用作公司在线安全协议的一部分，帮助组织了解 AI 是否学习了太多甚至访问了敏感数据。
该软件还能够识别人工智能是否已经识别并能够利用软件代码中的缺陷。例如，在在线游戏环境中，它可以识别 AI 是否通过利用编码错误学会了在在线扑克中始终获胜。
Fortunat Rajaona 博士是萨里大学隐私形式验证的研究员，也是该论文的第一作者。他说：“在许多应用中，人工智能系统会相互交互或与人类交互，例如高速公路上的自动驾驶汽车或医院机器人。弄清楚智能人工智能数据系统知道什么是一个持续存在的问题，我们花了多年时间才解决这个问题找到一个工作解决方案。
“我们的验证软件可以推断出 AI 可以从他们的交互中学到多少，他们是否拥有足够的知识来实现成功的合作，以及他们是否拥有太多的知识会破坏隐私。通过验证 AI 学到了什么的能力，我们可以给组织有信心将 AI 的力量安全地释放到安全环境中。”
Surrey的软件研究在第25届国际形式化方法研讨会上获得最佳论文奖。
萨里大学以人为本的 AI 研究所所长 Adrian Hilton 教授说：“在过去的几个月里，由于大型语言模型的进步，公众和行业对生成 AI 模型的兴趣激增，例如作为 ChatGPT。创建可以验证生成 AI 性能的工具对于支持其安全和负责任的部署至关重要。这项研究是维护训练中使用的数据集的隐私和完整性的重要一步。
