MC 中的 Amazon Web Services

• 1: 使用 MC 在 AWS 中创建 Eon 模式数据库
• 2: 使用 MC 在 AWS 中创建企业模式数据库
• 3: 在 MC 中将 Eon 模式数据库恢复到 AWS 上
• 4: AWS 的 Eon 模式卷配置默认值
• 5: 为 AWS 配置企业模式卷默认值
• 6: 使用 MC 从 Amazon S3 加载数据
• 6.1: 关于通过 S3 配置数据加载
• 6.2: 查看加载历史记录

1 - 使用 MC 在 AWS 中创建 Eon 模式数据库

使用 CloudFormation 模板在 Amazon Web Services (AWS) 上部署管理控制台之后，可以配置群集和数据库。Vertica 群集在与 Vertica 管理控制台相同的虚拟私有云 (VPC) 中进行配置。可以创建一个最多包含 60 个主机的初始群集。

开始操作之前，请完成相应步骤或获取以下信息：

• 使用 CloudFormation 模板启动 MC 和 AWS 资源

• AWS 凭据和环境详细信息

• S3 公共存储 URL

• Vertica 凭据

• Vertica 管理控制台凭据

请选择以下设置选项之一：

• 快速设置 (Quick Setup)：根据估计的压缩工作数据大小选择群集大小。管理控制台会计算每个节点的卷大小，并为编录和临时存储保留部分磁盘空间。

• 高级设置 (Advanced Setup)：此选项可以更精细地控制与子网、节点 IP 以及存储库、临时和编录卷大小相关的配置设置。

快速设置 (Advanced setup)

1. 登录到 Vertica 管理控制台。

2. 在管理控制台主页上的配置 (Provision) 下，单击新建数据库 (Create new database)。

3. 在数据库存储模式　(Database Storage Mode) 中，单击 Eon 模式。

4. 单击下一步 (Next)。在 VerticaLicense　(许可证) 中，选择以下许可模式选项之一：

   • 社区版 (Community Edition)：用于预览 Vertica 功能的免费 Vertica 许可证。此许可证提供的功能有限。如果使用社区版许可证进行部署，可以稍后升级许可证以扩展群集负载。有关详细信息，请参阅管理许可证。

   • 高级版 (Premium Edition)：使用您的 Vertica 许可证。选择此选项后，单击浏览 (Browse)，查找并上传您的 Vertica 许可证密钥文件，或在字段中手动输入密钥。

1. 单击下一步 (Next)。在设置路径 (Setup Path) 上，选择快速设置 (Quick Setup)。

2. 单击下一步 (Next)。在 Vertica 设置 (Settings) 部分中，选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本，还可以选择操作系统。有关可用操作系统和主要版本选项，请参阅适用于 AWS 的 Vertica AMI 操作系统。

3. 在 AWS EC2 实例类型 (AWS EC2 Instance Type) 部分中，选择以下实例类型之一：

   • 临时存储库 (Ephemeral Depot)

   • EBS 存储库 (EBS Depot)

4. 在群集大小 (Cluster Size) 部分中，根据工作数据大小选择要对群集部署的实例数。有关工作数据大小的详细信息，请参阅为 Eon 模式配置 Vertica 群集。
   

   注意

   如果使用 Community Edition 许可证，则选择的群集大小仅限于小 (Small)、中 (Medium) 和大 (Large)。

5. 在数据库参数 (Database Parameters) 部分中，请提供以下信息：

   • 数据库名称 (Database Name)：新数据库的名称。有关数据库名称的要求，请参阅创建数据库名称和密码。

   • 管理员用户名 (Administrator Username)： 数据库超级用户的名称。

   • 管理员密码 (Administrator Password)：数据库管理员用户帐户的密码。有关详细信息，请参阅密码指导原则。

   • 确认密码 (Confirm Password)：重新输入管理员密码。

   • 加载示例数据 (Load Sample Data)：可选。单击右侧的滑块可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据，则此选项非常有用。

6. 在 AWS 环境 (AWS Environment) 部分中，请提供以下信息：

   • AWS 密钥对 (AWS Key Pair)：用于通过 SSH 访问 EC2 实例的 Amazon 密钥对。

   • IP 访问权限 (IP Access)：用于通过 SSH 和客户端访问群集主机的群集 IP 地址范围。

   • S3 公共存储 URL (S3 Communal Storage URL)：指向现有 AWS S3 存储桶中用于 Eon 模式数据库的公共存储的新子文件夹的路径。Vertica 将在现有的 S3 存储桶中创建该子文件夹。
     

     注意

     在管理控制台实例所在的同一区域中使用现有 S3 存储桶。

   • 标记 EC2 实例 (Tag EC2 Instances)：可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
     要添加标记，请单击右侧的滑块以显示标记名称 (Tag Name) 和标签值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。

7. 单击创建数据库群集 (Create Database Cluster) 以在 AWS 上创建 Eon 模式群集。

高级设置 (Advanced setup)

1. 登录到 Vertica 管理控制台。

2. 在管理控制台主页上的配置 (Provision) 下，单击新建数据库 (Create new database)。

3. 在数据库存储模式　(Database Storage Mode) 中，单击 Eon 模式。

4. 单击下一步 (Next)。在 VerticaLicense　(许可证) 中，选择以下许可模式选项之一：

   • 社区版 (Community Edition)：用于预览 Vertica 功能的免费 Vertica 许可证。此许可证提供的功能有限。如果使用社区版许可证进行部署，可以稍后升级许可证以扩展群集负载。有关详细信息，请参阅管理许可证。

   • 高级版 (Premium Edition)：使用您的 Vertica 许可证。选择此选项后，单击浏览 (Browse)，查找并上传您的 Vertica 许可证密钥文件，或在字段中手动输入密钥。

1. 单击下一步 (Next)。在设置路径 (Setup Path) 上，选择高级设置 (Advanced Setup)。
   

2. 单击下一步 (Next)。在 AWS 环境 (AWS Environment) 上，请提供以下信息：

   • AWS 密钥对 (AWS Key Pair)：用于通过 SSH 访问 EC2 实例的 Amazon 密钥对。

   • AWS 子网 (AWS Subnet)：群集的子网。默认情况下，Vertica 会在 MC 实例所在的同一子网中创建群集。
     

     重要

     请使用安全组和网络访问控制列表 (ACL) 来保护子网。有关详细信息，请参阅 Amazon 文档。

   • IP 访问权限 (IP Access)：用于通过 SSH 和客户端访问群集主机的群集 IP 地址范围。

   • 节点 IP 设置 (Node IP Setting)：选择私有 (Private)、公共 (Public) 或弹性 (Elastic)。有关每个选项的详细信息，请参阅 Amazon 文档。

   • S3 公共存储 URL (S3 Communal Storage URL)：指向现有 AWS S3 存储桶中用于 Eon 模式数据库的公共存储的新子文件夹的路径。Vertica 将在现有的 S3 存储桶中创建该子文件夹。
     

     注意

     在管理控制台实例所在的同一区域中使用现有 S3 存储桶。

   • 标记 EC2 实例 (Tag EC2 Instances)：可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
     要添加标记，请单击右侧的滑块以显示标记名称 (Tag Name) 和标签值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。

3. 单击下一步 (Next)。数据库参数 (Database Parameters) 接受有关 Vertica 许可证的信息。请提供以下信息：

   • 数据库名称 (Database Name)：新数据库的名称。有关数据库名称的要求，请参阅创建数据库名称和密码。

   • 管理员用户名 (Administrator Username)： 数据库超级用户的名称。

   • 管理员密码 (Administrator Password)：数据库管理员用户帐户的密码。有关详细信息，请参阅密码指导原则。

   • 确认密码 (Confirm Password)：重新输入管理员密码。

   • Vertica 版本 (Vertica Version)：选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本，还可以选择操作系统。有关可用操作系统和主要版本选项，请参阅适用于 AWS 的 Vertica AMI 操作系统。

   • 加载示例数据 (Load Sample Data)：可选。单击右侧的滑块可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据，则此选项非常有用。

4. 单击下一步 (Next)。在 AWS 配置 (AWS Configuration) 上，请提供以下信息：

   • 节点数 (Number of Nodes)：数据库的初始节点数。

   • **Vertica ** 数据库分片数 (Number of Vertica Database Shards)：设置数据库中的 分片数。Vertica 会根据节点计数自动建议分片数。设置此值后，以后将无法更改。分片计数必须大于或等于最大子群集计数。请确保允许节点增多。如需建议，请参阅为 Eon 模式配置 Vertica 群集。
     

   • EC2 实例类型 (EC2 Instance Type)：用于节点的实例类型。有关建议使用的 AWS 实例的列表，请参阅选择 AWS Eon 模式实例类型。有关每个实例类型的详细信息，请参阅 Amazon EC2 实例类型文档。

   • 本地存储 (Local Storage)：根据存储需求自定义群集。要获取指导，请参阅AWS 的 Eon 模式卷配置默认值以了解每个受支持实例的 Vertica 默认设置。

5. 单击下一步 (Next)。在审核 (Review) 上，确认您选择的内容。单击编辑 (Edit) 可返回到上一部分并进行更改。

6. 如果您对自己选择的内容感到满意，请单击我接受条款和条件 (I accept the terms and conditions) 复选框。

7. 单击创建群集 (Create Cluster) 以在 AWS 上创建 Eon 模式群集。

创建数据库后，单击开始 (Get Started) 以查看快速任务 (Fast Tasks) 页面。要查看数据库，请选择管理并查看 Vertica 数据库 (Manage and View Your Vertica Database)，以转至数据库概述 (Overview)。

此外，还可以从 MC 主页的最近使用的数据库 (Recent Databases) 部分查看您的数据库。

有关使用管理控制台管理群集、实例和数据库的其他信息，请参阅管理数据库群集。

2 - 使用 MC 在 AWS 中创建企业模式数据库

使用 CloudFormation 模板在 Amazon Web Services (AWS) 上部署管理控制台之后，可以配置群集和数据库。Vertica 群集在与 Vertica 管理控制台相同的虚拟私有云 (VPC) 中进行配置。可以创建一个最多包含 60 个主机的初始群集。

开始操作之前，请完成相应步骤或获取以下信息：

• 使用 CloudFormation 模板启动 MC 和 AWS 资源

• AWS 凭据和环境详细信息

• S3 公共存储 URL

• Vertica 凭据

• Vertica 管理控制台凭据

配置群集和数据库

1. 登录到 Vertica 管理控制台。

2. 在管理控制台主页上的配置 (Provision) 下，单击新建数据库 (Create New Database)。

3. 在数据库存储模式 (Database Storage Mode) 上，单击“企业模式 (Enterprise Mode)”。
   

4. 单击下一步 (Next)。新建 Vertica 群集 | 模式: 企业 (Create a New Vertica Cluster | mode: Enterprise) 提供了两个用于创建数据库的工作流选项。请选择以下选项之一：

   • 快速创建 (Quick Create)：Vertica 将使用默认设置配置 EC2 实例。

   • 自定义创建 (Custom Create)：您可以指定 EC2 实例类型和其他数据库设置。

5. 单击下一步 (Next)。在输入 AWS 凭据和首选项 (Enter AWS Credentials and preferences) 上，将使用管理控制台主机所在的区域来填充AWS 区域 (AWS Region)。请提供以下信息：

   • AWS 子网 (AWS Subnet)：在显示高级选项 (Show Advanced Options) 下，选择用于创建群集的子网。

   • AWS 访问密钥 ID (AWS Access Key ID)：在已将 MC 配置为使用 AWS 访问密钥身份验证方法时显示。输入访问密钥。

   • AWS 秘密访问密钥 (AWS Secret Access Key)：在已将 MC 配置为使用 AWS 访问密钥身份验证方法时显示。输入与 AWS 访问密钥 ID (AWS Access Key ID) 关联的密码。

   • AWS 密钥对 (AWS Key Pair)：用于通过 SSH 访问 EC2 实例的 Amazon 密钥对。

   • CIDR 范围 (CIDR Range)：用于通过 SSH 和客户端访问群集主机的群集 IP 地址范围。

6. 单击下一步 (Next)。输入 Vertica 数据库名称和登录凭据 以接受有关 Vertica 许可证的信息。请提供以下信息：

   • Vertica 数据库名称 (Database Name)：新数据库的名称。有关数据库名称的要求，请参阅创建数据库名称和密码。

   • Vertica 版本 (Version)：仅限自定义创建 (Custom Create) 模式。选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本，还可以选择操作系统。有关可用操作系统和主要版本选项，请参阅适用于 AWS 的 Vertica AMI 操作系统。

   • Vertica 数据库用户名 (Database User Name)： 数据库超级用户的名称。

   • 密码 (Password)：与数据库用户名关联的密码。有关详细信息，请参阅密码指导原则。

   • 确认密码 (Confirm Password)：重新输入密码。

   • 数据库节点计数 (Database Node Count)：要在此群集中部署的节点数。快速创建 (Quick Create) 模式提供 1 个或 3 个数据库节点计数选项。

   • Vertica 许可证 (Vertica License)：仅限自定义创建 (Custom Create) 模式。单击浏览 (Browse) 以查找并上传 Vertica 许可证密钥文件。如果未在此处提供许可证密钥文件，向导将使用 Vertica Community Edition 许可证来部署数据库。此许可证限制只能有三个节点，因此如果未提供许可证，“数据库大小 (Database Size)”字段中的值不能大于 3。如果使用 Community Edition 许可证进行部署，则可以稍后升级该许可证以将群集负载扩展到超过 1TB 数据。有关详细信息，请参阅管理许可证。
     

   • 加载示例测试数据 (Load example test data)：可选。单击此复选框可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据，则此选项非常有用。

7. 单击下一步 (Next)。指定云实例和主要数据存储信息 (Specify cloud instance and main data storage info) 提供用于自定义实例配置的选项。在快速创建 (Quick Create) 模式下，此屏幕上的选项已预选且为只读。
   数据库数据路径 (Database Data Path) 将填充指向持久数据库存储的路径。
   EBS 卷类型 (EBS Volume Type) 和每个可用节点的每个卷的 EBS 卷大小 (GB) (EBS Volume Size (GB) per Volume per Available Node) 字段将填选定 EC2 实例类型 (EC2 Instance Type) 的默认值。有关详细信息，请参阅AWS 的 Eon 模式卷配置默认值。
   在自定义创建 (Custom Create) 模式下，请提供以下信息：

   • EC2 实例类型 (EC2 Instance Type)：群集部署的实例类型。有关详细信息，请参阅支持的 AWS 实例类型。

   • EBS 卷类型 (EBS Volume Type)：群集中每个节点的块级别存储类型。有关受支持的卷类型的建议，请参阅 为 AWS 配置企业模式卷默认值。

   • 每个可用节点的每个卷的 EBS 卷大小 (GB) (EBS Volume Size (GB) per Volume per Available Node)：附加到群集中每个节点的每个磁盘上的可用磁盘空间量。此字段显示群集中每个节点的可用总磁盘空间。

   • 启用 EBS 卷加密 (Enable EBS Volume Encryption)：可选。如果希望对 EC2 实例启用服务器级别加密，请选中该复选框。对于 AWS，只有第 4 代和第 5 代实例类型（c4/5、r4/5 和 m4/5）支持加密。

   • 节点 IP 设置 (Node IP setting)：选择私有 (Private)、公共 (Public) 或弹性 (Elastic)。有关每个选项的详细信息，请参阅 Amazon 文档。

8. 单击下一步 (Next)。指定额外存储和标记信息 (Specify additional storage and tag info) 可为群集分配更多存储。在快速创建 (Quick Create) 模式下，此屏幕上的选项已预选且为只读。
   

   • 数据库编录路径 (Database Catalog Path) 是数据库编录的本地副本位置。数据库临时路径 (Database Temp Path) 是每个节点的临时存储空间（如果节点实例类型包括临时存储选项）。

   • 在自定义创建 (Custom Create) 模式下，为每个路径下的 EBS 卷类型 (EBS Volume Type)、每个可用节点的每个卷的 EBS 卷大小 (GB) (EBS Volume Size (GB) per Volume per Available Node) 和启用 EBS 卷加密 (Enable EBS Volume Encryption) 选择或输入值。每个字段都具有上一步中所述的相同定义。

   • 标记 EC2 实例 (Tag EC2 instances)：可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
     单击该复选框后，将显示标记名称 (Tag Name) 和标记值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。
     

9. 单击下一步 (Next)。在审核 (Review) 屏幕上，确认您选择的内容。要编辑选择的内容，请单击返回 (Back)，直到到达包含要编辑的信息的屏幕。

10. 如果您对自己选择的内容感到满意，请单击接受您所在地区的“仅限软件条款”的条款和条件 (Accept terms and conditions of the "Software Only Terms" for your territory) 复选框。

11. 单击创建 (Create) 在 AWS 上创建企业模式群集。

成功创建群集和数据库后，请单击开始使用 (Get Started) 以查看快速任务 (Fast Tasks) 页面。要查看数据库，请选择管理并查看 Vertica 数据库 (Manage and View Your Vertica Database)，以转至数据库概述 (Overview)。

此外，还可以从 MC 主页的最近使用的数据库 (Recent Databases) 部分查看您的数据库。

请参阅管理数据库群集以了解如何使用管理控制台进一步管理群集、实例和数据库。

3 - 在 MC 中将 Eon 模式数据库恢复到 AWS 上

Eon 模式数据库将数据和元数据的最新版本保存在其公共存储位置。在托管 Eon 模式数据库的群集终止之后，这些数据和元数据将继续驻留在公共存储中。当您稍后恢复数据库时，Vertica 会使用此位置中的数据在新配置的群集上将数据库还原为相同状态。

如果已使用 CloudFormation 模板从 AWS Marketplace 中安装了管理控制台，则可以使用管理控制台中的配置和恢复向导。

在恢复数据库期间，当选择的 Vertica 版本高于公共存储中原始数据库的版本时，Vertica 会升级您的数据库，以匹配您选择的 Vertica 版本。此升级可能会导致数据库恢复需要更长的时间。要绕过此升级，请选择原始数据库的 Vertica 版本。

先决条件

• 您计划恢复的已停止 Eon 模式数据库的公共存储位置（AWS S3 存储桶）。如需指导，请参阅查看和管理您的群集。

• 您计划恢复的 Eon 模式数据库的用户名和密码。

• 有权创建 VPC、子网、安全组、实例和角色的 AWS 帐户。

• 用于通过 SSH 访问实例的 Amazon 密钥对。

将数据库恢复到云端

使用管理控制台中的向导在 AWS 上配置一个新群集，然后将数据库恢复到其中。对于新群集，管理控制台会自动配置数据库上次关闭时使用的相同数量的 AWS 实例。

1. 在管理控制台的主页中，单击配置和恢复 Eon 模式数据库 (Provision and Revive an Eon Mode Database)。“配置和恢复 Eon 模式数据库 (Provision and Revive an Eon Mode Database)”向导随即打开。
   

2. 输入您的云凭据和群集首选项。您的群集必须与您公共存储位置的 S3 存储桶位于同一区域。要将群集恢复到新区域中，您必须：

   • 在新区域中创建一个 S3 存储桶。

   • 将之前 S3 存储桶的内容复制到其中。

   • 在步骤 3 中提供新 S3 存储桶 URL。

3. 默认情况下，Vertica 在与管理控制台实例相同的子网中创建群集。如果您想管理同一 VPC 中的所有 Vertica 群集，可以将您的 Vertica 数据库配置到与管理控制台实例不同的子网中。为此，请在 AWS 凭据 (AWS Credentials) 页面上选择显示高级选项 (Show Advanced Options)，然后在子网 (Subnet) 字段中输入一个值。

   重要

   如果为数据库指定不同的子网，请确保保护该子网。

4. 输入要恢复的数据库的 S3 URL。当您输入 S3 存储桶位置时，管理控制台会发现所有已知的 Eon 模式数据库。

5. 选择要恢复的正确数据库。

6. 提供要恢复的数据库的数据库管理员凭据。这些凭据与前一个群集中的数据库使用的凭据相同。

7. 在数据库版本 (Database Version) 字段中，选择所需的 Vertica 数据库版本。选择最近 Vertica 发布的最新修补程序。对于每个 Vertica 版本，可以从关联 Linux 操作系统列表中进行选择。

   如果选择的 Vertica 版本高于公共存储中原始数据库的版本，Vertica 会升级您的数据库，以匹配您选择的 Vertica 版本。此升级可能会导致数据库恢复需要更长的时间。要绕过此升级，请选择原始数据库的 Vertica 版本。

   注意

   Vertica 数据库升级后，以后将无法降级该数据库。

8. 选择群集的实例类型。管理控制台将配置数据库上次关闭时使用的相同数量的实例。

   MC 填充存储库、编录和临时目录的现有路径。

   注意

   您不能使用临时实例持久保存编录。

   最后一步显示确认页面，在其中显示配置的卷。有关 MC 提供的卷配置的详细信息，请参阅AWS 的 Eon 模式卷配置默认值和为 AWS 配置企业模式卷默认值。

   当心

   为确保不会丢失数据，请选择使用 EBS 存储的实例。EBS 存储是持久存储，而实例存储是临时存储。对于 Eon 模式，管理控制台会显示警报，以通知用户在终止支持实例存储的实例时可能会丢失数据。

9. 选择是否加密 EBS 卷。对于 AWS，只有第 4 代和第 5 代实例类型（c4、r4 和 m4；c5、r5 和 m5）支持加密 EBS 卷。

10. 或者，可以标记这些实例。在标记 EC2 实例 (Tag EC2 instances) 字段中，如果另一个群集已经在运行，管理控制台将使用群集中第一个实例的标记值填充这些字段。可以接受默认值，或者输入新标记值。

11. 查看您的选择，接受许可协议，然后单击创建 (Create) 将数据库恢复到新群集上。如果您用于恢复的管理控制台版本高于数据库版本，管理控制台首先会通知您即将自动升级数据库。启动恢复过程后，向导会显示其进度。成功恢复后，数据库自动启动。

恢复过程完成后，单击开始 (Get Started) 导航到快速任务 (Fast Tasks) 页面。

4 - AWS 的 Eon 模式卷配置默认值

当您配置或恢复 Eon 模式数据库群集时，管理控制台会为存储库、编录和临时目录配置单独的卷。管理控制台配置的具体卷和大小取决于您在配置或恢复群集时选择的 AWS 实例类型。

在为 Eon 模式数据库群集的这些目录分配资源时，MC 遵循以下规则：

• 存储库：如果所选实例类型提供，则分配实例存储。否则，分配 EBS 卷。（在 AWS 上的 Eon 模式下，S3 是备份。）

• 编录：始终分配 EBS 卷，以确保编录持久。

• 临时：如果所选实例类型提供，则分配实例存储。否则，分配 EBS 卷。

5 - 为 AWS 配置企业模式卷默认值

配置企业模式数据库群集时，管理控制台会为数据、编录和临时目录配置单独的卷。

MC 使用的具体卷和大小取决于在配置群集时选择的 AWS 实例类型。

在为企业模式数据库群集的这些目录选择资源时，MC 遵循以下规则：

• 数据：始终使用 EBS 卷，以确保数据可以持久保存。

• 编录：始终使用 EBS 卷，以确保编录可以持久保存。

• 临时：如果所选实例类型提供实例存储，则使用实例存储中的卷。

6 - 使用 MC 从 Amazon S3 加载数据

您可以使用管理控制台中的“数据加载活动 (Data Load Activity)”页面，将数据从 Amazon S3 存储导入到现有 Vertica 表。当您运行加载作业时，Vertica 将行附加到您提供的目标表中。如果作业失败，或者您取消了作业，Vertica 则不会向目标表提交任何行。

在“实例 (Instance)”选项卡上查看加载历史记录时，使用 Amazon S3 在 MC 中启动的加载作业在“流名称 (Stream Name)”列中具有名称 MC_S3_Load。

先决条件

要使用 MC 加载功能，您必须：

• 能够访问 Amazon S3 存储帐户。

• 在 Vertica 数据库中具有可用来将数据复制到的现有表。您必须是此表的所有者。

• （对于非 CloudFormation 模板安装）具有 S3 网关端点。

如果您不使用 CloudFormation 模板 (CFT) 来安装 Vertica，则必须在 VPC 中创建一个 S3 网关终端节点。有关详细信息，请参阅 AWS 文档。

例如，Vertica CFT 具有以下 VPC 终端节点：

"S3Enpoint" : {
    "Type" : "AWS::EC2::VPCEndpoint",
    "Properties" : {
    "PolicyDocument" : {
        "Version":"2012-10-17",
        "Statement":[{
        "Effect":"Allow",
        "Principal": "*",
        "Action":["*"],
        "Resource":["*"]
        }]
    },
    "RouteTableIds" : [ {"Ref" : "RouteTable"} ],
    "ServiceName" : { "Fn::Join": [ "", [ "com.amazonaws.", { "Ref": "AWS::Region" }, ".s3" ] ] },
    "VpcId" : {"Ref" : "VPC"}
}

创建加载作业

将数据从 Amazon S3 存储桶加载到目标数据库的现有表：

1. 在目标数据库 MC 仪表板上，单击页面底部的“加载 (Load)”选项卡查看“数据加载活动 (Data Load Activity)”页面。

2. 单击“实例 (Instance)”选项卡。

3. 单击选项卡右上方的“新建 S3 数据加载 (New S3 Data Load)”。此时将打开“创建新的 Amazon S3 加载作业 (Create New Amazon S3 Loading Job)”对话框。

4. 在带有星号 (*) 的必填字段中输入您的 AWS 帐户凭据以及目标位置信息。对存储桶名称使用 S3:// 格式。

5. （可选）通过填写以下字段指定其他选项：

   • COPY 参数 (COPY Parameters)

   • 将遭到拒绝的数据捕获到表中

   • 拒绝的最大数量 (Reject max)

   有关使用这些字段的更多信息，请参阅关于通过 S3 配置数据加载。
   

取消已启动的加载作业

如果加载作业正在进行，您可以使用“加载历史记录 (Load History)”选项卡的“取消 (Cancel)”列中的“取消 (Cancel)”选项进行取消。单击“取消 (Cancel)”取消加载作业。取消作业时，Vertica 会回退所有行，而且不会向目标表提交任何数据。

另请参阅

• 查看加载历史记录

• 关于通过 S3 配置数据加载Apache Kafka 集成

• COPY

6.1 - 关于通过 S3 配置数据加载

使用 MC 创建 S3 数据加载时，您可以选择进一步配置加载操作。您可以指定以下事项：

• 添加 COPY 参数

• 将遭到拒绝的数据捕获到表中

• 设置拒绝记录的最大数量

添加 COPY 参数

MC 使用 COPY 执行加载操作。您可以使用“COPY 参数 (COPY Parameters)”字段进一步配置 COPY 操作。此字段接受在 COPY 语句的 FROM 子句之后指定的参数。有关这些参数和特殊要求的详细信息，请参阅参数。

例如，可以指定 DELIMITER 和 SKIP 参数以分别使用逗号分隔列和跳过一条输入数据记录：

DELIMITER ',' SKIP 1

还可以在此字段中使用标准 C 注释符号添加注释。

将遭到拒绝的数据捕获到表中

将将遭到拒绝的数据捕获到表中 (Capture rejected data in a table) 设置为“是 (Yes)”以创建包含被拒绝行数据的表。可以在“加载历史记录 (Load History)”选项卡中查看此数据。

该表使用以下命名约定：

schema.s3_load_rejections_target-table-name

如果该表不存在，您必须对架构具有 CREATE 权限。当为同一个目标表调用多个加载进程时，MC 会将所有拒绝数据附加到同一个表。有关详细信息，请参阅将拒绝的数据保存到表中。

设置拒绝记录的最大数量

将拒绝的最大数量 (Reject max) 设置为在加载操作失败之前可以拒绝的最大行数。如果 COPY 拒绝指定的最大行数，Vertica 将回滚整个加载操作。

另请参阅

• 使用 MC 从 Amazon S3 加载数据
• 查看加载历史记录

6.2 - 查看加载历史记录

可以在“数据加载活动 (Data Load Activity)”页面上查看 Vertica 中所有连续和实例加载作业的历史记录。

• 连续作业： 连续监控源并从源流式传输数据的加载作业。

• 实例作业： 从源进行批量加载的加载作业。与连续加载相比，实例作业的长度固定且需要的时间更短。

查看连续加载

“数据加载活动 (Data Load Activity)”页面上的“连续 (Continuous)”选项卡显示数据库连续加载作业的历史记录。例如，可以查看通过与 Kafka 集成的 Vertica 创建的加载作业（请参阅 Apache Kafka 集成）。此外，如果启用 MC 扩展监控功能，“连续 (Continuous)”选项卡会显示将数据从受监控数据库流式传输到存储数据库的连续作业。（有关 MC 如何使用 Kafka 从外部监控数据库的详细信息，请参阅扩展监控。）

使用“连续 (Continuous)”选项卡查看有关连续作业的详细信息，例如它们的源、目标表和其他微批处理配置详细信息。

如果已启用扩展监控，则流式传输到 MC 存储数据库的作业会将 mc_dc_kafka_config 显示为调度程序名称。取消选择选项卡顶部的显示 MC 数据收集器监控流 (Show MC data collector monitoring streams) 以从显示中移除这些作业。

在“连续 (Continuous)”选项卡中，单击调度程序 (Scheduler)、微批处理 (Microbatch) 和最后一小时的错误 (Errors Last Hour) 中的标签以查看有关这些加载作业的更多详细信息。

有关连续数据流式传输术语的详细信息，请参阅数据流式传输集成术语。

查看加载实例

在“实例 (Instance)”选项卡中，可以查看数据库一次性加载作业的历史记录。例如，可以查看您在 vsql 中使用 COPY 命令创建的实例作业（请参阅 COPY），或者在 MC 中创建的用于从 Amazon S3 存储桶中复制数据的实例作业。（有关在 MC 中启动加载作业的详细信息，请参阅使用 MC 从 Amazon S3 加载数据。）

在“实例 (Instance)”选项卡中，单击“状态 (Status)”列和“已拒绝的行 (Rejected Rows)”列中的标签以查看有关已完成作业的更多详细信息。有关已拒绝行的详细信息，请参阅处理杂乱的数据。

“实例 (Instance)”选项卡上的加载历史记录结果数取决于发出的请求和完成的请求的数据收集器保留策略。要更改保留政策，请参阅配置数据保留策略。

另请参阅

• 使用 MC 从 Amazon S3 加载数据
• Apache Kafka 集成
• Apache Kafka 集成
• COPY