ChatGPT推出后，生成式人工智能模型的迅速采用，有望从根本上改变企业开展业务，以及与客户和供应商互动的方式。

生成式人工智能可以支持广泛的业务需求，例如编写营销内容、改善客户服务、生成软件应用源代码以及生成业务报告。生成式人工智能工具的众多好处，尤其是降低成本以及提高工作速度和质量，鼓励企业和个人在工作中测试这些工具的功能。

(资料图片)

然而，与任何新兴技术一样，快速实施可能存在风险，为威胁行为者利用企业的漏洞打开了大门。在当今复杂的IT威胁环境中，未经仔细考虑就使用生成人工智能工具，可能会给企业带来灾难性的后果。

与在企业环境中使用生成式人工智能相关的安全风险

了解在企业环境中使用生成式人工智能的潜在风险对于从该技术中受益、同时保持监管合规性和避免安全漏洞至关重要。在规划生成式AI部署时，请牢记以下风险。

1、员工暴露敏感工作信息

在企业环境中，用户应该谨慎对待与他人共享的任何数据，包括ChatGPT和其他人工智能聊天机器人。

最近最引人注目的事件是，三星员工将敏感信息与ChatGPT共享而导致的数据泄露。三星的工程师将机密源代码上传到ChatGPT模型，此外还使用该服务创建会议记录和汇总包含敏感工作相关信息的商业报告。

三星案件只是向人工智能聊天机器人，泄露敏感信息的广为人知的例子之一。许多其他使用生成式人工智能工具的公司和员工，可能会因泄露敏感工作信息而犯类似的错误，例如内部代码、版权材料、商业秘密、个人身份信息(PII)和机密商业信息。

OpenAI针对ChatGPT的标准政策是将用户记录保留30天，以监控可能的滥用情况，即使用户选择关闭聊天历史记录也是如此。对于将ChatGPT集成到其业务流程中的企业来说，这意味着员工的ChatGPT帐户可能包含敏感信息。因此，成功入侵员工ChatGPT帐户的威胁行为者，可能会访问这些用户的查询和人工智能响应中，包含的任何敏感数据。

2、人工智能工具中的安全漏洞

与任何其他软件一样，生成式人工智能工具本身也可能存在漏洞，使企业面临网络威胁。

例如，3月份，OpenAI将ChatGPT下线，以修复聊天机器人开源库中的一个错误，该漏洞使一些用户能够从另一个活跃用户的聊天历史中看到聊天标题。如果两个用户在同一时间处于活动状态，也可以在其他人的聊天记录中看到新创建对话的第一条消息。

此外，同样的漏洞还泄露了在特定时间段内活跃的1.2%的ChatGPTPlus用户的支付相关信息，包括客户的姓名、电子邮件地址和信用卡号码的最后四位数字。

3、数据中毒和盗窃

生成式人工智能工具必须输入大量数据才能正常工作。这些培训数据来自各种来源，其中许多数据可以在互联网上公开获取，并且在某些情况下，可能包括企业之前与客户的互动。

在数据中毒攻击中，威胁行为者可以操纵人工智能模型开发的预训练阶段。通过向训练数据集中注入恶意信息，攻击者可以影响模型的预测行为，从而导致错误或其他有害的响应。

另一个与数据相关的风险涉及威胁行为者，窃取用于训练生成人工智能模型的数据集。如果没有足够的数据访问加密和控制，模型训练数据中包含的任何敏感信息，都可能对获取数据集的攻击者可见。

4、违反合规义务

在企业环境中使用人工智能驱动的聊天机器人时，IT领导者应评估以下与违反相关法规相关的风险：

不正确的响应

人工智能工具有时会给出错误或肤浅的答案。使顾客接触到误导性的信息，除了对企业的声誉产生负面影响外，还可能引起法律责任。

数据泄露

员工可以在与人工智能聊天机器人对话期间，共享敏感的工作信息，包括客户的个人身份信息或受保护的健康信息(PHI)。这反过来又可能违反GDPR、PCIDSS和HIPAA等监管标准，面临罚款和法律诉讼的风险。

偏见

人工智能模型的反应有时会表现出基于种族、性别或其他受保护特征的偏见，这可能违反反歧视法。

违反知识产权和版权法

人工智能驱动的工具经过大量数据的训练，通常无法准确地提供其响应的特定来源。其中一些培训数据可能包括受版权保护的材料，例如书籍、杂志和学术期刊。在没有引用的情况下，使用基于受版权保护的作品的人工智能输出，可能会让企业受到法律罚款。

关于聊天机器人使用的法律

许多企业已经开始将ChatGPT和其他生成式人工智能工具，集成到他们的应用中，其中一些企业使用人工智能驱动的聊天机器人，来立即回答客户的询问。但在不提前告知客户的情况下这样做，可能会受到机器人信息披露法等法规的处罚。

数据隐私

一些企业可能想要开发自己的生成式人工智能模型，这个过程可能需要收集大量的训练数据。如果威胁行为者成功破坏企业IT基础设施，并获得对训练数据的未经授权的访问，则受损数据集中包含的敏感信息的暴露，可能会违反数据隐私法。

生成人工智能的关键业务挑战影响人员、流程和技术。除了安全性之外，生成式人工智能还带来了算法偏差、幻觉和技术复杂性等挑战。

在企业中使用生成式AI工具时的安全最佳实践

为了解决与生成人工智能相关的众多安全风险，企业在实施生成人工智能工具时应牢记以下策略。

1、在构建或集成生成式人工智能之前对数据进行分类、匿名和加密

企业应该对数据进行分类，然后再将其输入聊天机器人或使用它来训练生成式人工智能模型。确定哪些数据对于这些用例是可接受的，并且不与AI系统共享任何其他信息。

同样，对训练数据集中的敏感数据进行匿名化，以避免泄露敏感信息。加密人工智能模型的数据集及其所有连接，并通过强大的安全策略和控制保护企业最敏感的数据。

2、对员工进行生成式人工智能安全风险培训，并制定内部使用政策

员工培训是降低生成式人工智能相关网络攻击风险的最重要的保护措施。为了负责任地实施生成式人工智能，企业必须让员工了解与使用该技术相关的风险。

企业可以通过制定安全和可接受的使用政策，来制定工作中生成式人工智能的使用指南。尽管具体情况因企业而异，但一般的最佳实践是需要人工监督。不要自动信任人工智能生成的内容;人类应该审查和编辑人工智能工具创建的所有内容。

人工智能的使用和安全策略还应该明确指出，在对聊天机器人的查询中可以包含哪些数据，哪些数据是不允许的。例如，开发者不应该将知识产权、版权材料、PII或PHI添加到AI工具中。

3、为安全提供生成式人工智能工具

针对生成式人工智能工具进行安全审计和定期渗透测试，以便在将其部署到生产环境之前识别安全漏洞。

安全团队还可以通过向人工智能工具，提供网络攻击示例来训练人工智能工具识别和抵御攻击尝试。这降低了黑客成功利用企业人工智能系统的可能性。

4、管理员工对敏感工作数据的访问

在企业环境中应用最小权限原则，仅允许授权人员访问AI训练数据集和底层IT基础设施。

使用身份和访问管理工具可以帮助集中和控制员工的访问凭证和权限。同样，实施多因素身份验证，可以帮助保护人工智能系统和数据访问。

5、确保底层网络和基础设施安全

在专用网段上部署AI系统。使用单独的网段，限制对主机AI工具的访问，可以增强安全性和可用性。

对于在云中托管人工智能工具的企业，请选择一家信誉良好的云提供商，该提供商实施严格的安全控制并具有有效的合规性认证，确保与云基础设施的所有连接均已加密。

6、密切关注遵从性需求，包括定期审核供应商

合规性法规在不断发展，随着企业人工智能采用的增加，组织可能会看到更多与生成式人工智能技术相关的合规性要求。

企业应密切关注影响其行业的合规法规，以了解与人工智能系统使用相关的任何变化。作为此过程的一部分，当使用第三方供应商的人工智能工具时，请定期检查供应商的安全控制和漏洞评估。这有助于确保供应商系统中的任何安全漏洞不会渗透到企业的IT环境中。