Vertica 支持以下云提供商的 Eon 模式数据库、子群集和节点操作:
-
Amazon Web Services (AWS)
-
Google Cloud Platform (GCP)
-
Microsoft Azure
管理控制台提供了简化资源配置和数据库管理的工作流。此外,Vertica 还为每个云提供商提供了配置默认值和配置建议。
Vertica 支持以下云提供商的 Eon 模式数据库、子群集和节点操作:
Amazon Web Services (AWS)
Google Cloud Platform (GCP)
Microsoft Azure
管理控制台提供了简化资源配置和数据库管理的工作流。此外,Vertica 还为每个云提供商提供了配置默认值和配置建议。
在云中配置群集和数据库后,无论数据库模式或群集平台为何,用于监控数据库的屏幕和技术完全相同。(特定功能文档中注明了例外情况。)
使用 MC 监控群集,您可以监控子群集中的节点、加载数据、运行查询以及执行子群集和节点的所有其他监控任务。
有关 Vertica 和支持的云提供商的详细信息,请参阅使用用于云的 vertica。
您可以使用群集 (Cluster) > 管理 (Manage) 页面中的数据库 (Database) 选项卡,以可视格式监控数据库节点。MC 仅支持“数据库 (Database)”选项卡上的监控功能,如查看和管理您的群集中所述。
您可以使用管理 (Manage) > 子群集 (Subclusters) 选项卡监控子群集和节点:
子群集 (Subclusters) 选项卡显示以下子群集信息:
子群集名称
是主子群集还是辅助子群集
节点总数
该子群集中的不活动节点数
此外,选项卡还显示以下节点信息:
节点名称
专用 IP 地址
UP 或 DOWN 状态
CPU
内存
磁盘使用百分比
可用节点操作
在 MC 中的管理 (Manage) > 子群集 (Subclusters) 选项卡中,可以搜索特定节点或节点组。
在子群集上方的节点名称或 IP 字段中:
要查找单个节点,请输入完整节点名称或 IP 地址。
要查找相关节点组,请输入这些节点共享的部分节点名称或 IP 地址。
管理控制台提供了用于管理 AWS 上的数据库群集的特定资源。
可以将 Eon 模式数据库群集恢复到 AWS 上。有关详细信息,请参阅在 MC 中将 Eon 模式数据库恢复到 AWS 上。
AWS 的 MC 配置和恢复向导将为数据、存储库、编录和临时数据库目录配置单独的卷。它用于每个目录的特定卷取决于您在配置或恢复群集时选择的模式和特定 AWS 实例类型。有关为 AWS 上的群集配置的卷的详细信息,请参阅:
使用 CloudFormation 模板在 Amazon Web Services (AWS) 上部署管理控制台之后,可以配置群集和数据库。Vertica 群集在与 Vertica 管理控制台相同的虚拟私有云 (VPC) 中进行配置。可以创建一个最多包含 60 个主机的初始群集。
开始操作之前,请完成相应步骤或获取以下信息:
AWS 凭据和环境详细信息
S3 公共存储 URL
Vertica 凭据
请选择以下设置选项之一:
快速设置 (Quick Setup):根据估计的压缩工作数据大小选择群集大小。管理控制台会计算每个节点的卷大小,并为编录和临时存储保留部分磁盘空间。
高级设置 (Advanced Setup):此选项可以更精细地控制与子网、节点 IP 以及存储库、临时和编录卷大小相关的配置设置。
登录到 Vertica 管理控制台。
在管理控制台主页上的配置 (Provision) 下,单击新建数据库 (Create new database)。
在数据库存储模式 (Database Storage Mode) 中,单击 Eon 模式。
单击下一步 (Next)。在 VerticaLicense (许可证) 中,选择以下许可模式选项之一:
社区版 (Community Edition):用于预览 Vertica 功能的免费 Vertica 许可证。此许可证提供的功能有限。如果使用社区版许可证进行部署,可以稍后升级许可证以扩展群集负载。有关详细信息,请参阅管理许可证。
高级版 (Premium Edition):使用您的 Vertica 许可证。选择此选项后,单击浏览 (Browse),查找并上传您的 Vertica 许可证密钥文件,或在字段中手动输入密钥。
单击下一步 (Next)。在设置路径 (Setup Path) 上,选择快速设置 (Quick Setup)。
单击下一步 (Next)。在 Vertica 设置 (Settings) 部分中,选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本,还可以选择操作系统。有关可用操作系统和主要版本选项,请参阅适用于 AWS 的 Vertica AMI 操作系统。
在 AWS EC2 实例类型 (AWS EC2 Instance Type) 部分中,选择以下实例类型之一:
临时存储库 (Ephemeral Depot)
EBS 存储库 (EBS Depot)
在群集大小 (Cluster Size) 部分中,根据工作数据大小选择要对群集部署的实例数。有关工作数据大小的详细信息,请参阅为 Eon 模式配置 Vertica 群集。
在数据库参数 (Database Parameters) 部分中,请提供以下信息:
数据库名称 (Database Name):新数据库的名称。有关数据库名称的要求,请参阅创建数据库名称和密码。
管理员用户名 (Administrator Username): 数据库超级用户的名称。
管理员密码 (Administrator Password):数据库管理员用户帐户的密码。有关详细信息,请参阅密码指导原则。
确认密码 (Confirm Password):重新输入管理员密码。
加载示例数据 (Load Sample Data):可选。单击右侧的滑块可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据,则此选项非常有用。
在 AWS 环境 (AWS Environment) 部分中,请提供以下信息:
AWS 密钥对 (AWS Key Pair):用于通过 SSH 访问 EC2 实例的 Amazon 密钥对。
IP 访问权限 (IP Access):用于通过 SSH 和客户端访问群集主机的群集 IP 地址范围。
S3 公共存储 URL (S3 Communal Storage URL):指向现有 AWS S3 存储桶中用于 Eon 模式数据库的公共存储的新子文件夹的路径。Vertica 将在现有的 S3 存储桶中创建该子文件夹。
标记 EC2 实例 (Tag EC2 Instances):可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
要添加标记,请单击右侧的滑块以显示标记名称 (Tag Name) 和标签值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。
单击创建数据库群集 (Create Database Cluster) 以在 AWS 上创建 Eon 模式群集。
登录到 Vertica 管理控制台。
在管理控制台主页上的配置 (Provision) 下,单击新建数据库 (Create new database)。
在数据库存储模式 (Database Storage Mode) 中,单击 Eon 模式。
单击下一步 (Next)。在 VerticaLicense (许可证) 中,选择以下许可模式选项之一:
社区版 (Community Edition):用于预览 Vertica 功能的免费 Vertica 许可证。此许可证提供的功能有限。如果使用社区版许可证进行部署,可以稍后升级许可证以扩展群集负载。有关详细信息,请参阅管理许可证。
高级版 (Premium Edition):使用您的 Vertica 许可证。选择此选项后,单击浏览 (Browse),查找并上传您的 Vertica 许可证密钥文件,或在字段中手动输入密钥。
单击下一步 (Next)。在设置路径 (Setup Path) 上,选择高级设置 (Advanced Setup)。
单击下一步 (Next)。在 AWS 环境 (AWS Environment) 上,请提供以下信息:
AWS 密钥对 (AWS Key Pair):用于通过 SSH 访问 EC2 实例的 Amazon 密钥对。
AWS 子网 (AWS Subnet):群集的子网。默认情况下,Vertica 会在 MC 实例所在的同一子网中创建群集。
IP 访问权限 (IP Access):用于通过 SSH 和客户端访问群集主机的群集 IP 地址范围。
节点 IP 设置 (Node IP Setting):选择私有 (Private)、公共 (Public) 或弹性 (Elastic)。有关每个选项的详细信息,请参阅 Amazon 文档。
S3 公共存储 URL (S3 Communal Storage URL):指向现有 AWS S3 存储桶中用于 Eon 模式数据库的公共存储的新子文件夹的路径。Vertica 将在现有的 S3 存储桶中创建该子文件夹。
标记 EC2 实例 (Tag EC2 Instances):可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
要添加标记,请单击右侧的滑块以显示标记名称 (Tag Name) 和标签值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。
单击下一步 (Next)。数据库参数 (Database Parameters) 接受有关 Vertica 许可证的信息。请提供以下信息:
数据库名称 (Database Name):新数据库的名称。有关数据库名称的要求,请参阅创建数据库名称和密码。
管理员用户名 (Administrator Username): 数据库超级用户的名称。
管理员密码 (Administrator Password):数据库管理员用户帐户的密码。有关详细信息,请参阅密码指导原则。
确认密码 (Confirm Password):重新输入管理员密码。
Vertica 版本 (Vertica Version):选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本,还可以选择操作系统。有关可用操作系统和主要版本选项,请参阅适用于 AWS 的 Vertica AMI 操作系统。
加载示例数据 (Load Sample Data):可选。单击右侧的滑块可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据,则此选项非常有用。
单击下一步 (Next)。在 AWS 配置 (AWS Configuration) 上,请提供以下信息:
节点数 (Number of Nodes):数据库的初始节点数。
**Vertica ** 数据库分片数 (Number of Vertica Database Shards):设置数据库中的
分片数。Vertica 会根据节点计数自动建议分片数。设置此值后,以后将无法更改。分片计数必须大于或等于最大子群集计数。请确保允许节点增多。如需建议,请参阅为 Eon 模式配置 Vertica 群集。
EC2 实例类型 (EC2 Instance Type):用于节点的实例类型。有关建议使用的 AWS 实例的列表,请参阅选择 AWS Eon 模式实例类型。有关每个实例类型的详细信息,请参阅 Amazon EC2 实例类型文档。
本地存储 (Local Storage):根据存储需求自定义群集。要获取指导,请参阅AWS 的 Eon 模式卷配置默认值以了解每个受支持实例的 Vertica 默认设置。
单击下一步 (Next)。在审核 (Review) 上,确认您选择的内容。单击编辑 (Edit) 可返回到上一部分并进行更改。
如果您对自己选择的内容感到满意,请单击我接受条款和条件 (I accept the terms and conditions) 复选框。
单击创建群集 (Create Cluster) 以在 AWS 上创建 Eon 模式群集。
创建数据库后,单击开始 (Get Started) 以查看快速任务 (Fast Tasks) 页面。要查看数据库,请选择管理并查看 Vertica 数据库 (Manage and View Your Vertica Database),以转至数据库概述 (Overview)。
此外,还可以从 MC 主页的最近使用的数据库 (Recent Databases) 部分查看您的数据库。
有关使用管理控制台管理群集、实例和数据库的其他信息,请参阅管理数据库群集。
使用 CloudFormation 模板在 Amazon Web Services (AWS) 上部署管理控制台之后,可以配置群集和数据库。Vertica 群集在与 Vertica 管理控制台相同的虚拟私有云 (VPC) 中进行配置。可以创建一个最多包含 60 个主机的初始群集。
开始操作之前,请完成相应步骤或获取以下信息:
AWS 凭据和环境详细信息
S3 公共存储 URL
Vertica 凭据
登录到 Vertica 管理控制台。
在管理控制台主页上的配置 (Provision) 下,单击新建数据库 (Create New Database)。
在数据库存储模式 (Database Storage Mode) 上,单击“企业模式 (Enterprise Mode)”。
单击下一步 (Next)。新建 Vertica 群集 | 模式: 企业 (Create a New Vertica Cluster | mode: Enterprise) 提供了两个用于创建数据库的工作流选项。请选择以下选项之一:
快速创建 (Quick Create):Vertica 将使用默认设置配置 EC2 实例。
自定义创建 (Custom Create):您可以指定 EC2 实例类型和其他数据库设置。
单击下一步 (Next)。在输入 AWS 凭据和首选项 (Enter AWS Credentials and preferences) 上,将使用管理控制台主机所在的区域来填充AWS 区域 (AWS Region)。请提供以下信息:
AWS 子网 (AWS Subnet):在显示高级选项 (Show Advanced Options) 下,选择用于创建群集的子网。
AWS 访问密钥 ID (AWS Access Key ID):在已将 MC 配置为使用 AWS 访问密钥身份验证方法时显示。输入访问密钥。
AWS 秘密访问密钥 (AWS Secret Access Key):在已将 MC 配置为使用 AWS 访问密钥身份验证方法时显示。输入与 AWS 访问密钥 ID (AWS Access Key ID) 关联的密码。
AWS 密钥对 (AWS Key Pair):用于通过 SSH 访问 EC2 实例的 Amazon 密钥对。
CIDR 范围 (CIDR Range):用于通过 SSH 和客户端访问群集主机的群集 IP 地址范围。
单击下一步 (Next)。输入 Vertica 数据库名称和登录凭据 以接受有关 Vertica 许可证的信息。请提供以下信息:
Vertica 数据库名称 (Database Name):新数据库的名称。有关数据库名称的要求,请参阅创建数据库名称和密码。
Vertica 版本 (Version):仅限自定义创建 (Custom Create) 模式。选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本,还可以选择操作系统。有关可用操作系统和主要版本选项,请参阅适用于 AWS 的 Vertica AMI 操作系统。
Vertica 数据库用户名 (Database User Name): 数据库超级用户的名称。
密码 (Password):与数据库用户名关联的密码。有关详细信息,请参阅密码指导原则。
确认密码 (Confirm Password):重新输入密码。
数据库节点计数 (Database Node Count):要在此群集中部署的节点数。快速创建 (Quick Create) 模式提供 1 个或 3 个数据库节点计数选项。
Vertica 许可证 (Vertica License):仅限自定义创建 (Custom Create) 模式。单击浏览 (Browse) 以查找并上传 Vertica 许可证密钥文件。如果未在此处提供许可证密钥文件,向导将使用 Vertica Community Edition 许可证来部署数据库。此许可证限制只能有三个节点,因此如果未提供许可证,“数据库大小 (Database Size)”字段中的值不能大于 3。如果使用 Community Edition 许可证进行部署,则可以稍后升级该许可证以将群集负载扩展到超过 1TB 数据。有关详细信息,请参阅管理许可证。
加载示例测试数据 (Load example test data):可选。单击此复选框可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据,则此选项非常有用。
单击下一步 (Next)。指定云实例和主要数据存储信息 (Specify cloud instance and main data storage info) 提供用于自定义实例配置的选项。在快速创建 (Quick Create) 模式下,此屏幕上的选项已预选且为只读。
数据库数据路径 (Database Data Path) 将填充指向持久数据库存储的路径。
EBS 卷类型 (EBS Volume Type) 和每个可用节点的每个卷的 EBS 卷大小 (GB) (EBS Volume Size (GB) per Volume per Available Node) 字段将填选定 EC2 实例类型 (EC2 Instance Type) 的默认值。有关详细信息,请参阅AWS 的 Eon 模式卷配置默认值。
在自定义创建 (Custom Create) 模式下,请提供以下信息:
EC2 实例类型 (EC2 Instance Type):群集部署的实例类型。有关详细信息,请参阅支持的 AWS 实例类型。
EBS 卷类型 (EBS Volume Type):群集中每个节点的块级别存储类型。有关受支持的卷类型的建议,请参阅 为 AWS 配置企业模式卷默认值。
每个可用节点的每个卷的 EBS 卷大小 (GB) (EBS Volume Size (GB) per Volume per Available Node):附加到群集中每个节点的每个磁盘上的可用磁盘空间量。此字段显示群集中每个节点的可用总磁盘空间。
启用 EBS 卷加密 (Enable EBS Volume Encryption):可选。如果希望对 EC2 实例启用服务器级别加密,请选中该复选框。对于 AWS,只有第 4 代和第 5 代实例类型(c4/5、r4/5 和 m4/5)支持加密。
节点 IP 设置 (Node IP setting):选择私有 (Private)、公共 (Public) 或弹性 (Elastic)。有关每个选项的详细信息,请参阅 Amazon 文档。
单击下一步 (Next)。指定额外存储和标记信息 (Specify additional storage and tag info) 可为群集分配更多存储。在快速创建 (Quick Create) 模式下,此屏幕上的选项已预选且为只读。
数据库编录路径 (Database Catalog Path) 是数据库编录的本地副本位置。数据库临时路径 (Database Temp Path) 是每个节点的临时存储空间(如果节点实例类型包括临时存储选项)。
在自定义创建 (Custom Create) 模式下,为每个路径下的 EBS 卷类型 (EBS Volume Type)、每个可用节点的每个卷的 EBS 卷大小 (GB) (EBS Volume Size (GB) per Volume per Available Node) 和启用 EBS 卷加密 (Enable EBS Volume Encryption) 选择或输入值。每个字段都具有上一步中所述的相同定义。
标记 EC2 实例 (Tag EC2 instances):可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
单击该复选框后,将显示标记名称 (Tag Name) 和标记值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。
单击下一步 (Next)。在审核 (Review) 屏幕上,确认您选择的内容。要编辑选择的内容,请单击返回 (Back),直到到达包含要编辑的信息的屏幕。
如果您对自己选择的内容感到满意,请单击接受您所在地区的“仅限软件条款”的条款和条件 (Accept terms and conditions of the "Software Only Terms" for your territory) 复选框。
单击创建 (Create) 在 AWS 上创建企业模式群集。
成功创建群集和数据库后,请单击开始使用 (Get Started) 以查看快速任务 (Fast Tasks) 页面。要查看数据库,请选择管理并查看 Vertica 数据库 (Manage and View Your Vertica Database),以转至数据库概述 (Overview)。
此外,还可以从 MC 主页的最近使用的数据库 (Recent Databases) 部分查看您的数据库。
请参阅管理数据库群集以了解如何使用管理控制台进一步管理群集、实例和数据库。
如果已使用 CloudFormation 模板从 AWS Marketplace 中安装了管理控制台,则可以使用管理控制台中的配置和恢复向导。
在恢复数据库期间,当选择的 Vertica 版本高于公共存储中原始数据库的版本时,Vertica 会升级您的数据库,以匹配您选择的 Vertica 版本。此升级可能会导致数据库恢复需要更长的时间。要绕过此升级,请选择原始数据库的 Vertica 版本。
您计划恢复的已停止 Eon 模式数据库的公共存储位置(AWS S3 存储桶)。如需指导,请参阅查看和管理您的群集。
您计划恢复的 Eon 模式数据库的用户名和密码。
有权创建 VPC、子网、安全组、实例和角色的 AWS 帐户。
用于通过 SSH 访问实例的 Amazon 密钥对。
使用管理控制台中的向导在 AWS 上配置一个新群集,然后将数据库恢复到其中。对于新群集,管理控制台会自动配置数据库上次关闭时使用的相同数量的 AWS 实例。
在管理控制台的主页中,单击配置和恢复 Eon 模式数据库 (Provision and Revive an Eon Mode Database)。“配置和恢复 Eon 模式数据库 (Provision and Revive an Eon Mode Database)”向导随即打开。
输入您的云凭据和群集首选项。您的群集必须与您公共存储位置的 S3 存储桶位于同一区域。要将群集恢复到新区域中,您必须:
在新区域中创建一个 S3 存储桶。
将之前 S3 存储桶的内容复制到其中。
在步骤 3 中提供新 S3 存储桶 URL。
默认情况下,Vertica 在与管理控制台实例相同的子网中创建群集。如果您想管理同一 VPC 中的所有 Vertica 群集,可以将您的 Vertica 数据库配置到与管理控制台实例不同的子网中。为此,请在 AWS 凭据 (AWS Credentials) 页面上选择显示高级选项 (Show Advanced Options),然后在子网 (Subnet) 字段中输入一个值。
输入要恢复的数据库的 S3 URL。当您输入 S3 存储桶位置时,管理控制台会发现所有已知的 Eon 模式数据库。
选择要恢复的正确数据库。
提供要恢复的数据库的数据库管理员凭据。这些凭据与前一个群集中的数据库使用的凭据相同。
在数据库版本 (Database Version) 字段中,选择所需的 Vertica 数据库版本。选择最近 Vertica 发布的最新修补程序。对于每个 Vertica 版本,可以从关联 Linux 操作系统列表中进行选择。
如果选择的 Vertica 版本高于公共存储中原始数据库的版本,Vertica 会升级您的数据库,以匹配您选择的 Vertica 版本。此升级可能会导致数据库恢复需要更长的时间。要绕过此升级,请选择原始数据库的 Vertica 版本。
选择群集的实例类型。管理控制台将配置数据库上次关闭时使用的相同数量的实例。
MC 填充存储库、编录和临时目录的现有路径。
最后一步显示确认页面,在其中显示配置的卷。有关 MC 提供的卷配置的详细信息,请参阅AWS 的 Eon 模式卷配置默认值和为 AWS 配置企业模式卷默认值。
选择是否加密 EBS 卷。对于 AWS,只有第 4 代和第 5 代实例类型(c4、r4 和 m4;c5、r5 和 m5)支持加密 EBS 卷。
或者,可以标记这些实例。在标记 EC2 实例 (Tag EC2 instances) 字段中,如果另一个群集已经在运行,管理控制台将使用群集中第一个实例的标记值填充这些字段。可以接受默认值,或者输入新标记值。
查看您的选择,接受许可协议,然后单击创建 (Create) 将数据库恢复到新群集上。如果您用于恢复的管理控制台版本高于数据库版本,管理控制台首先会通知您即将自动升级数据库。启动恢复过程后,向导会显示其进度。成功恢复后,数据库自动启动。
恢复过程完成后,单击开始 (Get Started) 导航到快速任务 (Fast Tasks) 页面。
当您配置或恢复 Eon 模式数据库群集时,管理控制台会为存储库、编录和临时目录配置单独的卷。管理控制台配置的具体卷和大小取决于您在配置或恢复群集时选择的 AWS 实例类型。
在为 Eon 模式数据库群集的这些目录分配资源时,MC 遵循以下规则:
存储库:如果所选实例类型提供,则分配实例存储。否则,分配 EBS 卷。(在 AWS 上的 Eon 模式下,S3 是备份。)
编录:始终分配 EBS 卷,以确保编录持久。
临时:如果所选实例类型提供,则分配实例存储。否则,分配 EBS 卷。
配置企业模式数据库群集时,管理控制台会为数据、编录和临时目录配置单独的卷。
MC 使用的具体卷和大小取决于在配置群集时选择的 AWS 实例类型。
在为企业模式数据库群集的这些目录选择资源时,MC 遵循以下规则:
数据:始终使用 EBS 卷,以确保数据可以持久保存。
编录:始终使用 EBS 卷,以确保编录可以持久保存。
临时:如果所选实例类型提供实例存储,则使用实例存储中的卷。
您可以使用管理控制台中的“数据加载活动 (Data Load Activity)”页面,将数据从 Amazon S3 存储导入到现有 Vertica 表。当您运行加载作业时,Vertica 将行附加到您提供的目标表中。如果作业失败,或者您取消了作业,Vertica 则不会向目标表提交任何行。
在“实例 (Instance)”选项卡上查看加载历史记录时,使用 Amazon S3 在 MC 中启动的加载作业在“流名称 (Stream Name)”列中具有名称 MC_S3_Load。
要使用 MC 加载功能,您必须:
能够访问 Amazon S3 存储帐户。
在 Vertica 数据库中具有可用来将数据复制到的现有表。您必须是此表的所有者。
(对于非 CloudFormation 模板安装)具有 S3 网关端点。
如果您不使用 CloudFormation 模板 (CFT) 来安装 Vertica,则必须在 VPC 中创建一个 S3 网关终端节点。有关详细信息,请参阅 AWS 文档。
例如,Vertica CFT 具有以下 VPC 终端节点:
"S3Enpoint" : {
"Type" : "AWS::EC2::VPCEndpoint",
"Properties" : {
"PolicyDocument" : {
"Version":"2012-10-17",
"Statement":[{
"Effect":"Allow",
"Principal": "*",
"Action":["*"],
"Resource":["*"]
}]
},
"RouteTableIds" : [ {"Ref" : "RouteTable"} ],
"ServiceName" : { "Fn::Join": [ "", [ "com.amazonaws.", { "Ref": "AWS::Region" }, ".s3" ] ] },
"VpcId" : {"Ref" : "VPC"}
}
将数据从 Amazon S3 存储桶加载到目标数据库的现有表:
在目标数据库 MC 仪表板上,单击页面底部的“加载 (Load)”选项卡查看“数据加载活动 (Data Load Activity)”页面。
单击“实例 (Instance)”选项卡。
单击选项卡右上方的“新建 S3 数据加载 (New S3 Data Load)”。此时将打开“创建新的 Amazon S3 加载作业 (Create New Amazon S3 Loading Job)”对话框。
在带有星号 (*) 的必填字段中输入您的 AWS 帐户凭据以及目标位置信息。对存储桶名称使用 S3:// 格式。
(可选)通过填写以下字段指定其他选项:
COPY 参数 (COPY Parameters)
将遭到拒绝的数据捕获到表中
拒绝的最大数量 (Reject max)
有关使用这些字段的更多信息,请参阅关于通过 S3 配置数据加载。
如果加载作业正在进行,您可以使用“加载历史记录 (Load History)”选项卡的“取消 (Cancel)”列中的“取消 (Cancel)”选项进行取消。单击“取消 (Cancel)”取消加载作业。取消作业时,Vertica 会回退所有行,而且不会向目标表提交任何数据。
使用 MC 创建 S3 数据加载时,您可以选择进一步配置加载操作。您可以指定以下事项:
MC 使用 COPY 执行加载操作。您可以使用“COPY 参数 (COPY Parameters)”字段进一步配置 COPY 操作。此字段接受在 COPY 语句的 FROM 子句之后指定的参数。有关这些参数和特殊要求的详细信息,请参阅参数。
例如,可以指定 DELIMITER 和 SKIP 参数以分别使用逗号分隔列和跳过一条输入数据记录:
DELIMITER ',' SKIP 1
还可以在此字段中使用标准 C 注释符号添加注释。
将将遭到拒绝的数据捕获到表中 (Capture rejected data in a table) 设置为“是 (Yes)”以创建包含被拒绝行数据的表。可以在“加载历史记录 (Load History)”选项卡中查看此数据。
该表使用以下命名约定:
schema.s3_load_rejections_target-table-name
如果该表不存在,您必须对架构具有 CREATE 权限。当为同一个目标表调用多个加载进程时,MC 会将所有拒绝数据附加到同一个表。有关详细信息,请参阅将拒绝的数据保存到表中。
将拒绝的最大数量 (Reject max) 设置为在加载操作失败之前可以拒绝的最大行数。如果 COPY 拒绝指定的最大行数,Vertica 将回滚整个加载操作。
可以在“数据加载活动 (Data Load Activity)”页面上查看 Vertica 中所有连续和实例加载作业的历史记录。
连续作业: 连续监控源并从源流式传输数据的加载作业。
实例作业: 从源进行批量加载的加载作业。与连续加载相比,实例作业的长度固定且需要的时间更短。
“数据加载活动 (Data Load Activity)”页面上的“连续 (Continuous)”选项卡显示数据库连续加载作业的历史记录。例如,可以查看通过与 Kafka 集成的 Vertica 创建的加载作业(请参阅 Apache Kafka 集成)。此外,如果启用 MC 扩展监控功能,“连续 (Continuous)”选项卡会显示将数据从受监控数据库流式传输到存储数据库的连续作业。(有关 MC 如何使用 Kafka 从外部监控数据库的详细信息,请参阅扩展监控。)
使用“连续 (Continuous)”选项卡查看有关连续作业的详细信息,例如它们的源、目标表和其他微批处理配置详细信息。
如果已启用扩展监控,则流式传输到 MC 存储数据库的作业会将 mc_dc_kafka_config 显示为调度程序名称。取消选择选项卡顶部的显示 MC 数据收集器监控流 (Show MC data collector monitoring streams) 以从显示中移除这些作业。
在“连续 (Continuous)”选项卡中,单击调度程序 (Scheduler)、微批处理 (Microbatch) 和最后一小时的错误 (Errors Last Hour) 中的标签以查看有关这些加载作业的更多详细信息。
有关连续数据流式传输术语的详细信息,请参阅数据流式传输集成术语。
在“实例 (Instance)”选项卡中,可以查看数据库一次性加载作业的历史记录。例如,可以查看您在 vsql 中使用 COPY 命令创建的实例作业(请参阅 COPY),或者在 MC 中创建的用于从 Amazon S3 存储桶中复制数据的实例作业。(有关在 MC 中启动加载作业的详细信息,请参阅使用 MC 从 Amazon S3 加载数据。)
在“实例 (Instance)”选项卡中,单击“状态 (Status)”列和“已拒绝的行 (Rejected Rows)”列中的标签以查看有关已完成作业的更多详细信息。有关已拒绝行的详细信息,请参阅处理杂乱的数据。
“实例 (Instance)”选项卡上的加载历史记录结果数取决于发出的请求和完成的请求的数据收集器保留策略。要更改保留政策,请参阅配置数据保留策略。
管理控制台 (MC) 支持 Microsoft Azure 的 Eon 模式和 Enterprise 模式群集,如下表所述:
有关更多详细信息,请参阅Microsoft Azure 上的 Vertica。
您可以使用 MC 在 Azure 上配置 Eon 模式数据库群集。有关详细信息,请参阅在 Azure 的 MC 中创建 Eon 模式群集和数据库。
MC 针对在 Azure 上监控数据库群集提供了特定资源。有关详细信息,请参阅在云中管理 Eon 模式数据库。
您可以使用 MC 在 Azure 上恢复已停止的 Eon 模式数据库。有关详细信息,请参阅在 Azure 的 MC 中恢复 Eon 模式数据库。
在 MC 主页上,单击查看基础架构 (View Infrastructure)。MC 将显示数据库和群集视图。此视图将显示基础架构平台、群集和数据库。
在群集 (Cluster) 旁边的屏幕左侧,单击要管理的群集的方框。MC 将显示一个窗口,其中包含群集名称、信息摘要和几个按钮。
单击管理 (Manage)。此时将显示群集 (Cluster) 页面。
在群集 (Cluster) 页面中,可以查看以下信息:
群集中的实例以可视格式显示。
每个实例的状态,指示是否正在运行。
每个群集实例的私有 IP 地址和公共 IP 地址。
群集 (Cluster) 窗格中正在运行的 Vertica 版本、您所在的区域和实例类型。
在群集 (Cluster) 页面上,可以执行以下群集操作:
启动群集 (Start Cluster):启动实例,然后启动数据库。对于 Eon 模式下的数据库,MC 使用存储帐户容器中的数据重新填充节点。
停止群集 (Stop Cluster):停止数据库中的节点,然后停止其云实例。
高级 (Advanced) > 终止 (Terminate):停止数据库,然后终止云实例。
您可以使用 MC 添加、扩展、缩减、移除和终止子群集。有关详细信息,请参阅以下内容:
您可以通过扩展或缩减子群集来添加或删除节点。也可以启动、停止和重新启动节点。有关详细信息,请参阅以下内容:
不能使用 MC 恢复 Eon 模式数据库。
在 Azure 上部署管理控制台实例后,可以配置群集并创建 Eon 模式数据库。
开始操作之前,请完成相应步骤或获取以下信息:
完成部署 MC 实例时使用的 Azure 上 Eon 模式的先决条件
SSH 公钥中所述的群集和存储要求
Vertica 凭据
Vertica 管理控制台凭据
从管理控制台完成以下步骤:
登录到 Vertica 管理控制台。
在“管理控制台 (Management Consol)”主页上,单击“Eon 模式 (Eon Mode)”。
在“Vertica 许可证 (Vertica License)”上,选择以下许可证模式选项之一:
社区版 (Community Edition):用于预览 Vertica 功能的免费 Vertica 许可证。此许可证提供的功能有限。如果使用社区版许可证进行部署,可以稍后升级许可证以扩展群集负载。有关详细信息,请参阅管理许可证。
高级版 (Premium Edition):使用您的 Vertica 许可证。选择此选项后,单击浏览 (Browse),查找并上传您的 Vertica 许可证密钥文件,或在字段中手动输入密钥。
单击下一步 (Next)。在 Azure 环境 (Azure Environment) 中,提供以下信息:
SSH 公钥 (SSH Public Key):粘贴在 Azure Marketplace 中部署 MC 实例时使用的同一公钥。
Azure 子网 (Azure Subnet):群集的子网。选择在 Azure Marketplace 中部署 MC 实例时使用的同一子网。如果贵组织出于安全目的需要多个子网,请参阅 Azure 文档了解更多信息。
CIDR 范围 (CIDR Range):用于客户端和 SSH 访问的 IP 地址范围。Azure 要求最后一个八位字节为 0,前缀为 24。例如,10.20.30.0/24。
节点 IP 设置 (Node IP Setting):选择公共 IP - 动态 (Public IP - Dynamic)、公共 IP - 静态 (Public IP - Static) 或专用 IP (Private IP)。有关详细信息,请参阅 Azure 文档。
公共存储 URL (Communal Storage URL):现有 Azure Blob 存储帐户和容器中新子文件夹的路径。不得存在子文件夹。
标记 Azure 资源 (Tag Azure Resources):可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
要添加标记,请单击右侧的滑块以显示标记名称 (Tag Name) 和标签值 (Tag Value) 字段。单击添加 (Add) 以创建标记。添加的标记将显示在相应字段下方。Vertica 建议在标记字段中使用小写字符。
单击下一步 (Next)。数据库参数 (Database Parameters) 接受有关数据库和操作系统版本的标识信息:
数据库名称 (Database Name):新数据库的名称。有关数据库名称的要求,请参阅创建数据库名称和密码。
管理员用户名 (Administrator Username): 数据库超级用户的名称。
管理员密码 (Administrator Password):数据库管理员用户帐户的密码。有关详细信息,请参阅密码指导原则。
确认密码 (Confirm Password):重新输入管理员密码。
Vertica 版本 (Vertica Version):选择所需的 Vertica 数据库版本。您可以选择最近发布的 Vertica 的最新修补程序。对于每个数据库版本,还可以选择操作系统。有关可用操作系统和主要版本选项,请参阅支持的 Azure 操作系统。
加载示例数据 (Load Sample Data):可选。单击右侧的滑块可使用示例点击流数据预加载数据库。如果您正在测试各项功能且希望获取要查询的数据库中的某些预加载数据,则此选项非常有用。
单击下一步 (Next)。在“Azure 配置 (Azure Configuration)”中,提供以下信息:
节点数 (Number of Nodes):数据库的初始节点数。
**Vertica ** 数据库分片数 (Number of Vertica Database Shards):设置数据库中的
分片数。Vertica 会根据节点计数自动建议分片数。设置此值后,以后将无法更改。分片计数必须大于或等于最大子群集计数。请确保允许节点增多。如需建议,请参阅为 Eon 模式配置 Vertica 群集。
虚拟机 (VM) 大小 (Virtual machine (VM) size):用于节点的实例类型。有关推荐实例的列表,请参阅推荐的 Azure VM 类型。
每个节点的本地存储 (Local Storage per Node):根据存储需求自定义群集。有关每个受支持实例的 Vertica 默认设置,请参阅 Azure 的 Eon 模式卷配置默认值。
单击下一步 (Next)。在审核 (Review) 上,确认您选择的内容。单击编辑 (Edit) 可返回到上一部分并进行更改。
如果您对自己选择的内容感到满意,请单击我接受条款和条件 (I accept the terms and conditions) 复选框。
单击创建群集 (Create Cluster),在 Azure 上创建 Eon 模式群集。
创建数据库后,单击开始 (Get Started) 以查看快速任务 (Fast Tasks) 页面。要查看数据库,请选择管理并查看 Vertica 数据库 (Manage and View Your Vertica Database),以转至数据库概述 (Overview)。
此外,还可以从 MC 主页的最近使用的数据库 (Recent Databases) 部分查看您的数据库。
有关使用管理控制台管理群集、实例和数据库的其他信息,请参阅管理数据库群集。
当配置 Eon 模式数据库群集时,管理控制台 (MC) 为 depot、catalog 和 temp 目录配置单独的卷。管理控制台配置的特定卷和大小取决于配置群集时所选择的 Azure 实例类型。
在为 Eon 模式数据库群集的这些目录分配资源时,MC 遵循以下规则:
存储库:使用标准或高级 LRS 确保数据持久性。
编录:使用标准或高级 LRS 确保数据持久性。
临时:如果所选实例类型提供,则分配实例存储。否则,分配标准或高级 LRS 卷。
如果 NVMe 或本地 SSD 显示为实例卷类型,则没有其他选择。必须选择不同的 VM 才能更改卷类型。
有关每种磁盘类型的详细信息,请参阅 Azure 文档。
恢复工作流中的很多字段均填充配置期间提供的信息。有关填充现有值的字段的详细信息,请参阅在 Azure 的 MC 中创建 Eon 模式群集和数据库。
请按以下步骤在 Azure 上恢复 Eon 模式数据库:
在 MC 主页上,选择恢复 Eon 模式数据库 (Revive Eon Mode database)。将打开配置和恢复 Eon 模式数据库 (Provision & Revive anEon ModeDatabase) 窗口。
在指定群集访问首选项 (Specify cluster access preferences) 中,提供以下信息:
Azure 子网 (Azure Subnet):群集的子网。选择在 Azure Marketplace 中部署 MC 实例时使用的同一子网。如果贵组织出于安全目的需要多个子网,请参阅 Azure 文档了解更多信息。
SSH 公钥 (SSH Public Key):粘贴在 Azure Marketplace 中部署 MC 实例时使用的同一公钥。
CIDR 范围 (CIDR Range):用于客户端和 SSH 访问的 IP 地址范围。
选择下一步 (Next)。在为数据库的公共存储指定 Azure AZB 路径 (Specify Azure AZB path for Communal Storage of database) 中,可以输入父目录以列出该目录中所有可用的 Eon 模式数据库:
输入目录名称。至少,必须提供帐户和容器名称,还可以选择提供子文件夹名称,格式如下:
azb://storage-account/container[/subfolder-name/...]
选择发现 (Discover)。MC 列出容器或子文件夹中所有可用的 Eon 模式数据库。
从列表中选择要恢复的数据库。
选择下一步 (Next)。在输入恢复数据库配置 (Enter revive database configurations) 中,提供以下信息:
恢复到 Vertica 版本 (Revive to Vertica Version):列出当前可用的 Vertica 版本。如果选择的版本高于配置数据库所使用的版本,则 MC 会自动升级数据库版本。
密码 (Password): 数据库超级用户的密码。
确认密码 (Confirm Password):重新输入密码 (Password)。
选择下一步 (Next)。在指定云实例和存储库数据存储 (Specify cloud instance and depot data storage) 中,提供关于存储库的以下信息:
虚拟机 (VM) 大小 (Virtual Machine (VM) Size):用于节点的机器类型。有关推荐的机器类型,请参阅推荐的 Azure VM 类型中的内存优化机器类型。
托管磁盘卷类型 (Managed Disk Volume Type):仅适用于 Azure 托管磁盘。有关每种磁盘类型的详细信息,请参阅 Azure 文档。
每个可用节点每个卷的托管磁盘卷大小 (GB) (Managed Disk Volume Size (GB) per Volume per Available Node):每个节点的卷大小。使用关联实例类型的卷配置默认值填充此值。
节点 IP 设置 (Node IP Setting):选择公共 IP - 动态 (Public IP - Dynamic)、公共 IP - 静态 (Public IP - Static) 或专用 IP (Private IP)。有关详细信息,请参阅 Azure 文档。
选择下一步 (Next)。在指定其他存储和标记信息 (Specify additional storage and tag info) 中,提供以下信息:
托管卷类型 (Managed Volume Type):仅适用于 Azure 托管磁盘。有关每种磁盘类型的详细信息,请参阅 Azure 文档。
对于 catalog 和 temp 路径,提供以下信息:
标记 Azure 资源 (Tag Azure Resources):可选。向此群集中的实例分配不同的可搜索元数据标记。许多组织都会使用标签来安排和跟踪职责并分配实例成本。
要添加标记,请选中复选框,确保标记名称 (Tag Name) 和标记值 (Tag Value) 可用。单击添加 (Add) 以创建标记。标记显示在字段下方。Vertica 建议在标记字段中使用小写字符。
选择下一步 (Next)。在查看恢复信息 (Review revive information) 中,确认您的选择。选择返回 (Back) 返回上一部分并进行更改。
如果对自己的选择感到满意,请选中接受条款和条件 (Accept terms and conditions) 复选框。
选择恢复数据库 (Revive Database),在 Azure 上恢复 Eon 模式数据库。
有关管理控制台中数据库群集的详细信息,请参阅管理数据库群集。
管理控制台 (MC) 支持在 Google Cloud Platform (GCP) 上进行群集、子群集和节点操作。
您可以使用 MC 在 GCP 上配置 Eon 模式数据库群集。有关详细信息,请参阅在 GCP 的 MC 中配置 Eon 模式群集和数据库。
MC 针对在 GCP 上监控数据库群集提供了特定资源。有关详细信息,请参阅在云中管理 Eon 模式数据库。
您可以使用 MC 在 GCP 上恢复已停止的 Eon 模式数据库。有关详细信息,请参阅在 GCP 的 MC 中恢复 Eon 模式数据库。
在 MC 主页上,单击查看基础架构 (View Infrastructure)。MC 将显示数据库和群集视图。此视图将显示基础架构平台、群集和数据库。
在群集 (Cluster) 旁边的屏幕左侧,单击要管理的群集的方框。MC 将显示一个窗口,其中包含群集名称、信息摘要和几个按钮。
单击管理 (Manage)。此时将显示群集 (Cluster) 页面。
在群集 (Cluster) 页面中,可以查看以下信息:
群集中的实例以可视格式显示。
每个实例的状态,指示是否正在运行。
每个群集实例的私有 IP 地址和公共 IP 地址。
群集 (Cluster) 窗格中正在运行的 Vertica 版本、您所在的区域和实例类型。
在群集 (Cluster) 页面上,可以执行以下群集操作:
启动群集 (Start Cluster):启动实例,然后启动数据库。对于 Eon 模式下的数据库,MC 使用存储帐户容器中的数据重新填充节点。
停止群集 (Stop Cluster):停止数据库中的节点,然后停止其云实例。
高级 (Advanced) > 终止 (Terminate):停止数据库,然后终止云实例。
您可以使用 MC 添加、扩展、缩减、移除和终止子群集。有关详细信息,请参阅以下内容:
您可以通过扩展或缩减子群集来添加或删除节点。也可以启动、停止和重新启动节点。有关详细信息,请参阅以下内容:
只有 Eon 模式支持子群集,Enterprise 模式不支持子群集。
不支持在 MC 中对 GCP 进行节点操作。
您可以使用 Google Marketplace 和 MC 在 GCP 上配置 Eon 模式数据库。以下部分概述了如何在 GCP 上设置 Eon 模式数据库并提供了详细过程链接
这些步骤概括介绍了整个过程。有关更详细的说明,请参阅将 MC 实例部署到 GCP 以用于 Eon 模式。
在 Google Marketplace 中:
选择“Vertica Eon 模式 (Vertica Eon Mode)”解决方案。
填写字段以配置 GCP MC 实例。
单击部署 (Deploy) 按钮配置 MC 实例。
连接并登录 MC 实例。
现在您已进入在 GCP 上运行的新 MC 实例并显示 MC 主页。
这些步骤概括介绍了整个流程。有关使用配置向导的分步过程,请参阅使用 MC 在 GCP 中配置和创建 Eon 模式数据库。
在 MC 中:
启动配置向导。
在 GCP 中使用向导配置和新建数据库。
请按以下步骤在 GCP 上恢复 Eon 模式数据库:
在 MC 主页上,单击恢复 Eon 模式数据库 (Revive Eon Mode Database)。MC 启动“配置和恢复 Eon 模式数据库 (Provision and Revive an Eon Mode Database)”向导。
在向导的第一页上,输入以下信息:
Google Cloud Storage HMAC 访问密钥 (Google Cloud Storage HMAC Access Key) 和 HMAC 密钥 (HMAC Secret Key):复制并粘贴创建数据库时创建的 HMAC 访问密钥和密码。有关详细信息,请参阅GCP 上 Eon 模式的先决条件。
分区 (Zone):此值默认为包含 MC 实例的区域。确保此值与包含数据库将用于公共存储的 Google Cloud Storage 存储桶的区域相同。如果为群集实例、存储或 MC 选择不同的区域,将会遇到严重的性能问题。
CIDR 范围 (CIDR Range):要授予数据库访问权限的客户端的 IP 地址范围。尽量限定此范围以控制数据库暴露风险。
单击下一步 (Next)。在向导的第二页上,将数据库公共存储的 Google Storage 路径 (Google Storage Path for Communal Storage of Database) 设置为 Eon 模式数据库要恢复的公共存储桶的 URL。有关要求,请参阅 GCP 上 Eon 模式的先决条件。
单击发现 (Discover)。MC 显示指定公共存储位置上可用的所有 Eon 模式数据库的列表。
选择要恢复的数据库。MC 使用创建数据库时所使用的同一机器类型和配置选项预填充 Data、Depot 和 Temp 编录选项。
单击下一步 (Next)。查看所有数据库设置的摘要。如果需要进行更正,请使用“返回 (Back)”按钮返回至向导的前几页。
如果对数据库设置感到满意,选中接受条款和条件 (Accept terms and conditions) 框,然后单击恢复数据库 (Revive Database)。
MC 在创建群集以及在群集上恢复数据库时显示进度屏幕,该过程需要几分钟。成功完成后,MC 将显示开始使用 (Get Started) 按钮。此按钮将指向一个包含多个有用链接的页面,帮助您开始使用新数据库。
Vertica 支持在 Google Cloud Platform (GCP) 上配置实例所需的各种磁盘卷资源。
所有数据均通过 Google 托管数据加密进行保护。管理控制台不支持用户托管数据加密。
有关性能信息,请参阅 Google 的块存储性能文档。
最多可以分配 128 个永久磁盘 (PD)。下表描述了 Vertica 提供的默认永久磁盘卷资源:
最多可以为临时存储分配 24 个本地 SSD,并需考虑以下注意事项:
每个本地 SSD 需额外付费。
所有本地 SSD 的固定大小均为 375G,可选择 SCSI 或 NVMe 接口。NVMe 磁盘的每秒输入/输出操作数 (IOP) 是 SCSI 磁盘的两倍。
使用本地 SSD 时,无法停止或启动实例或包含本地 SSD 实例的群集。如果通过来宾操作系统关闭了具有本地 SSD 的实例,将无法重新启动该实例,本地 SSD 上的数据也将丢失。
有关详细信息,请参阅 Google 的 添加本地 SSD 页面。
下表描述了 Vertica 提供的默认本地 SSD 磁盘卷资源: