导出到对象存储

对象存储文件系统(S3、Google Cloud Storage 和 Azure Blob Storage)与影响数据导出的其他文件系统存在一些差异。您必须为身份验证和区域设置一些额外的配置参数,对输出也有一些限制。

在以下参考页面中,对 URI 格式和配置参数进行了描述:

配置参数影响对相应对象存储的所有访问,包括读取和写入。您可以通过在导出数据之前在会话级别进行设置来限制设置的效果,而不是全局设置它们。

输出限制

对象存储文件系统不支持就地重命名文件;它们将重命名实施为副本,然后删除。在其他文件系统上,EXPORT TO PARQUET 通过将输出写入临时目录并在完成时重命名来支持原子性。这种方法对于对象存储是不切实际的,因此 EXPORT TO PARQUET 直接写入目标路径。因此,可以在导出完成之前开始读取导出的数据,这可能会导致错误。请小心等待导出完成,然后再使用数据。

Vertica 不支持同时导出到对象存储中的同一路径。结果未进行定义。

S3 将存储桶限制为 5TB。您可能需要拆分非常大的导出内容。