这是本节的多页打印视图。
点击此处打印.
返回本页常规视图.
使用 MC 进行监控
管理控制台会收集并保留关于 MC 管理的数据库群集的重要系统活动的历史记录,例如性能和资源利用率。您可以使用 MC 图表查找特定节点的性能瓶颈,确定可以从哪些方面着手改进 Vertica 配置,以及作为用户在 MC 界面上已采取操作的参考。
注意
MC 会直接查询 MC 监控的数据库的数据收集器表。请参阅
管理控制台架构。有关如何设置 MC 以查询用于监控数据的备用数据库,请参阅
扩展监控。
以下列表说明了可通过 MC 界面执行哪些方面的监控和故障排除工作:
-
多个数据库群集状态和关键性能指标,以报告群集的总体运行状况
-
单个群集节点上各种资源的信息
-
数据库活动与 CPU/内存、网络和磁盘 I/O 利用率的关系
-
子群集的布局,以及子群集上的资源利用率和查询工作负载。(仅在 Eon 模式数据库中可用,其中数据库包含一个默认子群集,并且可能包含用户定义的其他子群集。)
-
查询并发性和内部/用户会话,以及时报告重要事件
-
群集范围内的消息
-
数据库和代理日志条目
-
MC 用户活动(用户登录 MC 后的活动)
-
与 MC 进程相关的问题
-
处理错误和反馈
关于图表更新
MC 将从生产数据库中检索统计数据以保持图表为最新状态。此外,图表还会使用管理控制台从数据库群集上的
代理接收到的文本、颜色和消息进行动态更新。此信息可以帮助您快速解决问题。
连接到 MC 的每个客户端会话都使用来自 MaxClientSessions
(一个数据库配置参数)的连接。此参数决定了在单个数据库群集节点上可以运行的最大会话数。有时映射到同一数据库帐户的多个 MC 用户会同时监控“概览和活动 (Overview and Activity)”页。
提示
您可以在 MC 监控的数据库上增大
MaxClientSessions
的值,以处理额外会话。有关详细信息,请参阅
管理会话。
1 - 在 MC 上监控同名数据库
如果要监控在不同群集中具有相同名称的两个数据库,则您可以通过单击 MC 的“数据库和群集 (Databases and Clusters)”页面上的数据库图标来确定哪个数据库与哪个群集相关联。此对话框中的信息将显示与所选数据库相关联的群集。
2 - 查看概览页面
“概览 (Overview)”页面显示了数据库的动态仪表板视图。
此页面提供以下三个选项卡:“状态摘要 (Status Summary)”、“系统运行状况 (System Health)”和“查询概要 (Query Synopsis)”。通过单击“概览 (Overview)”页面左上角的三个图标之一访问这些选项卡。每个选项卡都包含显示群集相关信息的图表和筛选器。页面右侧的快速统计数据小工具会显示有关群集状态的警报和统计数据。
此页面上的信息每两分钟更新一次,但是您可以在监控选项卡的“MC 设置 (MC Settings)”页面中调整该值。您可以通过取消选择工具栏中的自动刷新来推迟更新。
图表查看选项
您可以为某些图表指定时间范围,这些图表会在其标题栏中显示日历图标。单击日历图标可指定相应模块的时间范围。
在“状态摘要 (Status Summary)”选项卡中,您可以选择同步图表 (Synchronize charts),以同时将指定的时间范围应用于该选项卡上的所有图表。
如果您已对数据库启用扩展监控,MC 可以在某些图表中显示更大范围的数据。请参阅扩展监控。如果图表正在使用扩展监控数据,则标题栏中会显示火箭飞船图标:
您可以展开一些图表,以在更大的窗口中查看它们。单击标题栏中的展开图标即可执行此操作:
更改图表的显示内容
“概览 (Overview)”页面上的图表可以显示数据库中节点的相关信息,或所有数据库子群集、单个子群集或未分配给子群集的节点上的活动的相关信息。使用标题栏中的下拉菜单选择要在图表中显示的信息类型。
注意
下面的 CPU/内存/磁盘 I/O 图表以及所有其他 MC 图表中的下拉列表仅针对 Eon 模式数据库显示,并且仅在定义了子群集时显示。
缩放以显示图表详细信息
您可以采取以下步骤以在图表中显示更多详细信息。
您可以单击标题栏中的展开图标,以在更大的窗口中查看图表:
您可以使用光标勾勒出要展开的小区域,如下图灰色矩形所示:
当您松开光标时,详细信息区域将展开为完整大小:
将鼠标悬停在图表的任意线或点上,以查看有关这些特定数据点的详细信息。此操作在您展开图表之前或之后均有效:
图表上的线和点的含义
CPU/内存/磁盘 I/O 图表下方的图例解释了图表上的线和点所表示的含义。
每条线表示您在下拉列表中选择的节点的平均值。如果您选择“数据库 (Database)”-“节点 (Nodes)”,则该线表示数据库中所有节点的平均值。如果您选择一个子群集,则该线表示该子群集中节点的平均值。
每个点表示您在下拉列表中选择的一个实体。如果您选择“数据库 (Database)”-“节点 (Nodes)”,则每个点表示数据库中的一个节点。如果您选择“数据库 (Database)”-“子群集 (Subclusters)”,则每个点表示数据库中的一个子群集。如果您选择单个子群集或未分配的子群集,则每个点表示该集合中的单个节点。
您可以将鼠标悬停在任意线或点上以查看有关其摘要。您可以单击一个点以显示该点的“节点详细信息 (Node Details)”页面。
快速统计数据
页面右侧的“快速统计数据 (Quick Stats)”边栏提供了有关群集状态的即时警报和信息。
-
数据库节点运行状况 (Database Nodes Health) 会显示哪些节点处于下线、临界、正在恢复或运行状态。数据库也将临界和正在恢复节点视为“运行”节点并加入到运行节点总数中。单击一个节点值可打开“管理 (Manage)”页面。
-
正在运行的和队列中的查询 (Running and Queued Queries) 会显示数据库中的当前查询。单击查询值可以打开“查询监控 (Query Monitoring)”图表。
-
投影 (Projections) 显示了拥有最多投影的数据库架构的投影总数、未分段投影数以及不安全投影数。单击值可以打开“表树形图 (Table Treemap)”图表。
-
磁盘空间利用率 (Disk Space Usage) 会提醒您注意磁盘空间比较低的节点数量。单击该值可转至“管理 (Manage)”页面。在“管理 (Manage)”页面上,将显示“已用存储 KPI (Storage Used KPI)”视图。
-
工作负载分析器 (Workload Analyzer) 会分析 SQL 系统表中保留的系统信息,并提供优化建议以及运行命令的开销(低、中、高)。有关详细信息,请参阅分析工作负载。
-
I/O 等待通知 (I/O Wait Notices) 会显示过去一个小时记录了超过等待阈值(磁盘为 1 秒,网络为 0 秒)的磁盘 I/O 等待时间和网络 I/O 等待时间的节点数量。
-
许可证使用 (License Consumption) 显示了您的数据库使用的许可证数量,以及使用的 Vertica Community Edition 或 Premium Edition 许可证的百分比。
-
未读消息 (Unread Messages) 显示了数据库未读消息和警报的数量。此数量不是所有数据库上的消息总数。单击值可打开“消息中心 (Message Center)”。
状态摘要
“状态摘要 (Status Summary)”选项卡显示了概要呈现群集状态的四个模块:
-
CPU/内存/磁盘 I/O 利用率 (CPU/Memory/Disk I/O Usage) 模块显示了群集资源使用情况。该图表会显示数据库群集中的节点数量,并绘制 CPU、内存和磁盘 I/O 的平均利用率和每节点利用率。
-
通用池活动 (General Pool Activity) 模块显示了 GENERAL 池活动。图表会显示平均查询队列时间、GENERAL 池平均可用内存以及资源拒绝。使用此图表可查看 GENERAL 池中有多少可用内存,或者是否存在高的队列时间。
-
阈值通知 (Thresholds Notifications) 模块会显示超过数据库中的阈值后生成的警报。通知分为系统运行状况和性能两类。
-
查询 (Queries) 模块显示了查询统计信息。第一个饼图显示了过去 24 小时内正在运行的和队列中的查询。第二个图表显示了在您指定的时间范围内完成的和失败的查询。单击图表上方的查询计数以打开“查询监控 (Query Monitoring)”图表。请参阅监控运行查询。
系统运行状况
“系统运行状况 (System Health)”选项卡提供了系统资源使用情况和节点信息的概况,您可以使用其中的筛选器查看指定范围内的资源使用情况。
注意
注意:调整“系统运行状况 (System Health)”选项卡中的筛选器不会影响任何数据库或 MC 设置。
-
内存利用率 (Memory Usage) 筛选器会显示内存利用率高和利用率低的节点数量。移动滑块可调整内存利用率范围筛选器。
例如,如果您将内存利用率范围指定为 25% - 75%,筛选器将显示使用的内存低于 25%(“低 (Low)”)的节点数以及使用的内存高于 75%(“高 (High)”)的节点数。将光标悬停在“低 (Low)”和“高 (High)”值上,分别查看低于或高于指定的内存利用率范围的节点列表。
单击一个节点值可转至“管理 (Manage)”页面,其中显示“内存利用率 KPI (Memory Utilization KPI)”视图。
-
Spread 重传比率 (Spread Retransmission Rate) 筛选器会显示 Spread 重传比率高的节点数量。如果节点的重传比率过高,则表明它与其他节点通信不正常。移动滑块可调整重传比率筛选器。
将光标悬停在节点值上,以查看超过指定的 Spread 重传比率的节点列表。单击节点值可查看“消息中心 (Message Center)”内的扩散重传比率警报。
-
CPU 利用率 (CPU Usage) 图表显示了 CPU 利用率高和利用率低的节点数量。移动滑块可调整 CPU 利用率范围筛选器。将光标悬停在“低 (Low)”和“高 (High)”值上,以查看低于或高于指定范围的节点列表。
单击一个节点值可转至“管理 (Manage)”页面,其中显示“CPU 利用率 KPI (CPU Utilization KPI)”视图。
-
重新启动率 (Reboot Rate) 筛选器会显示群集中的节点在指定时间范围内重新启动的次数。使用此筛选器可发现节点最近是否下线,或者重新启动次数是否异常。移动滑块可调整天数。将光标悬停在“时间 (Time)”值上,查看重新启动的节点列表以及这些节点的重新启动时间。
-
磁盘空间利用率 (Disk Space Usage) 筛选器会显示磁盘空间利用率高的节点数量。移动滑块可调整磁盘利用率筛选器。将光标悬停在节点值上,查看超过可接受范围的节点列表。
单击节点值可转至“管理 (Manage)”页面,其中显示“已用存储 KPI (Storage Used KPI)”视图。
-
群集时钟偏差率 (Cluster Clock Skew Rate) 模块显示了超过时钟偏差阈值的节点数量。如果群集中的节点时钟不同步,则可能会干扰与时间相关的数据库函数、数据库查询准确性以及管理控制台 (Management Console) 对群集活动的监控。
查询概要
“查询概要 (Query Synopsis)”页面提供了两个模块,用来报告系统查询活动和资源池利用率:
-
查询统计数据 (Query Statistics) 模块显示了四个条形图,概述过去 24 小时内正在运行的查询、队列中的查询、失败的查询以及已完成的查询。
-
用户查询类型分布 (User Query Type Distribution) 图表概述了用户和系统查询活动。该图表报告了运行的各项操作的类型。默认显示在数据库中所有节点上运行的操作类型。使用标题栏中的下拉菜单显示在特定子群集中的节点上或未分配给子群集的节点上运行的操作类型。
3 - 监控群集节点
要呈现所有群集节点的可视化概述,请在“数据库和群集 (Databases and Clusters)”页面单击正在运行的数据库,然后在页面底部单击管理 (Manage) 选项卡以打开群集状态页面。
群集状态页面会显示群集中的节点。
节点外观表示以下状态:
-
正常 (Healthy): 节点显示为绿色。
-
启用 (Up): 节点右侧的小箭头朝上。
-
临界 (Critical): 节点显示为黄色且右侧显示警告图标。
-
故障 (Down): 节点显示为红色。节点右侧的红色箭头朝下。
-
已拔除插头 (Unplugged): 右侧显示橙色插座和插头图标。当 MC 无法与节点上运行的
代理进行通信时显示此图标。
单击特定节点会打开节点详细信息页面,从中可获取有关该节点的信息。
筛选显示内容
在大型群集中,MC 界面上可能会显示几十个到数百个节点,查看起来很不方便,这时您可以筛选显示内容。缩放筛选器可调高或调低群集总体概览上的细节程度,而运行状况筛选器允许您查看特定节点的活动;例如,您可以将滑块朝右滑到底,只显示已下线节点。运行状况筛选器旁边的消息会说明当前群集视图中隐藏了多少节点。
在此页面,您可以对数据库群集执行以下操作:
注意
启动、停止、添加和删除节点以及在所有节点中重新平衡数据时,可用的功能与面临的限制都与通过
管理工具执行这些任务时相同。
如果没有看到所需内容
如果群集网格不能准确反映当前的数据库状态(例如,如果 MC 界面显示节点处于“初始化 (INITIALIZING)”状态,但在使用管理工具查看数据库群集状态时,您看到所有节点都处于“启用 (UP)”状态),则单击工具栏中的“刷新 (Refresh)”按钮。这样可强制 MC 立即与代理同步并使用新数据更新 MC。
请不要按 F5 键,其会使用 MC 中的数据重新显示页面并忽略来自代理的数据。可能需要几秒钟时间来让 MC 启用所有数据库操作按钮。
4 - 监控节点活动
如果 MC 管理的群集中的节点发生故障,或者您在监控概览页面时注意到一个节点比其他群集节点使用了更多的资源,请打开管理 (Manage) 页面并单击您想调查的节点。
“节点详细信息 (Node Details)”页面会打开,并提供该节点的摘要信息(状态、名称、总内存等等)以及所选节点在过去三个小时内使用的资源,例如平均 CPU、内存、磁盘 I/O 利用率、网络利用情况(以 KB 为单位)以及正在运行的查询已经使用的磁盘存储百分比。还可以从 AgentTools 和 Vertica 日志文件浏览和导出日志级别数据。MC 最多可保留 2000 条日志记录。
要查看节点活动的详细视图,请使用鼠标在某个图形的问题区域(例如上图网络流量中的大峰值)周围拖选,然后将光标悬停在值很高的数据点上查看摘要信息。
另请参阅
5 - 监控群集性能
关键性能指标 (KPI) 是一种性能衡量机制,让您能够通过 MC 的管理 (Manage) 页面快速查看数据库群集的运行状况。这些指标决定了节点的颜色,使您能够轻易地确定问题节点。
数据库指标是根据过去 30 秒内的活动计算而来的平均值,并会在群集网格上动态更新。
如何获取有关群集的指标
要查看特定状态的指标,请单击“管理 (Manage)”页面底部的 KPI 视图 (KPI View) 标签旁边的菜单,然后选择状态。
MC 会报告以下各项的 KPI 分值:
-
节点状态 (Node state) —(默认视图)按颜色显示了节点状态(运行、下线、k-safety 临界);您可以从左向右滑动运行状况筛选器来筛选哪些节点将出现在页面上
-
CPU 利用率 (CPU Utilization) — 平均 CPU 利用率
-
内存利用率 (Memory Utilization) — 平均 RAM 利用率
-
存储利用率 (Storage Utilization) —平均存储利用率
在您做出选择后,MC 要将信息传输回请求的客户端,在此期间会出现短暂延迟。您还可以在工具栏中单击同步 (Sync),强制在 MC 和客户端之间实现同步。
节点颜色及其含义
数据库群集中的节点有不同的颜色。绿色是最正常的状态,红色是最不正常的状态,此外还有介于两者之间的各种颜色值。
每个节点都有一个汇总了其分值的附加信息对话框。分值在 0(最正常的状态)到 100(最不正常的状态)范围内的位置决定了节点的颜色偏向性。颜色偏向性是指,根据运行状况分值,最终颜色可能会有一些偏向性;例如分值为 0 的节点比分值为 32 的节点更加偏向绿色。后者仍然在绿色范围内,但是会受到下一个基本颜色,也就是黄色的影响。同样地,分值为 80 的节点显示为暗红色系,因为它受到了橙色的影响。
MC 对每个节点的颜色偏向性的分值计算如下:
-
0-33:绿色和绿色系
-
34-66:黄色和黄色系
-
67-100:红色和红色系
如果状态不正常的节点要使用更多资源,其颜色将从暗橙红色变为亮红色。
将节点从视图中筛选掉
运行状况筛选器就是页面左下区域的滑块。您可以将它从左向右滑动以显示或隐藏节点;例如,您可能想要使用小于特定值的分值来隐藏节点,让 UI 只显示需要及时关注的不正常节点。无论将运行状况筛选器滑动到哪里,筛选器右侧都会出现一条信息消息,表明从视图中隐藏了多少节点。
如果您有很多节点,而且只想看需要关注的节点,那么筛选就很有用,因为它便于您快速解决相关问题。
6 - 监控群集 CPU/内存
在 MC“概览 (Overview)”页面,CPU/内存 (CPU/Memory) 子部分用基于图形的概览呈现了过去一小时的群集资源,有助于您迅速监控资源在各个节点之间的分布情况。
此图表绘制了 CPU 和内存的平均利用率和每节点利用率,并且每分钟更新一次,除非您清除了工具栏中的“自动刷新图表 (Auto Refresh Charts)”选项。您还可以在该子部分底部单击图例中的组件来显示/隐藏这些组件,以此筛选图表显示的内容。黄色数据点表示该时间点的各个群集节点。
调查相关区域
在查看群集资源时,您可能会想为什么节点中的资源会偏斜。要放大视图,请使用鼠标拖放包围着相关时间块的问题区域的四周。
松开鼠标后,图表会刷新,从而更加详细地显示所选区域。如果将光标悬停在似乎使用了最多资源的节点上,对话框则会显示该节点的利用率摘要信息。
有关详细信息,请在图形中单击数据点(节点),以打开 MC 的节点详细信息页面。要返回上一个视图,请单击重置缩放 (Reset zoom)。
另请参阅
7 - 监控数据库存储
基础架构页面中的存储视图 (Storage View) 提供了存储在数据库中的数据量的摘要,以及该数据的永久位置。使用此视图可监控您的数据库当前使用的存储容量。
对于在 Eon 模式下运行的数据库,MC 还在“存储视图 (Storage View)”中显示条形图,用于显示分片订阅状态。使用这些图表来确定您当前的订阅布局是否最适合用于查询 Eon 模式数据库。有关使用订阅状态图表的信息,请参阅监控 Eon 模式下的订阅状态。
监控存储使用情况
存储摘要表列出了 MC 当前监控的所有数据库及其存储信息:
-
数据库大小 (Database Size)。单击加载大小 (Load Size) 可计算数据库的总大小。
-
数据库模式 (Database Mode)。Vertica 数据库在 Enterprise 模式或 Eon 模式下运行。
-
存储类型 (Storage Type)。Enterprise 模式数据库列出了存储数据的本地节点的操作系统。Eon 模式数据库列出了存储数据的公共存储位置的类型。Eon 模式目前仅支持 S3 兼容的存储位置。
-
视图 (View)。此列中显示的选项取决于数据库模式和数据库上的数据类型。
-
Vertica 表存储 (Tables Storage):仅适用于 Enterprise 模式数据库。单击以查看列出存储 Vertica 表数据的节点和本地目录的对话框。
-
公共/存储库存储 (Communal/Depot Storage):仅适用于 Eon 模式数据库。单击以查看显示存储库和公共存储的位置路径的对话框。
-
公共存储订阅 (Communal Storage Subscription):仅适用于 Eon 模式数据库。单击以查看“存储视图 (Storage View)”页面底部的条形图,这些条形图显示了分片订阅状态。有关这些图表的详细信息,请参阅监控 Eon 模式下的订阅状态。
-
外部表 (External Tables):当您的数据库中存在外部表时可用。单击以查看显示所有外部表的详细信息的对话框。(另请参阅监控表利用率和投影。)
-
HCatalog 详细信息 (HCatalog Details):当 Vertica 数据库有权访问 Hive 表时可用。(请参阅使用 HCatalog 连接器。)单击以查看显示 HCatalog 架构的详细信息的对话框。对于任何 HCatalog 架构,单击“查看表 (View Tables)”可获取有关可通过该架构访问的所有表的详细信息。(另请参阅监控表利用率和投影。)
在列表中 Eon 模式数据库名称的前面,会显示一个加号图标。单击该图标可展开有关数据库的存储库容量和使用情况的更多详细信息。存储库是类似缓存的存储,Eon 模式数据库在其中保留公共存储数据的本地副本,便于提高查询访问速度。
另请参阅
8 - 监控 Eon 模式下的订阅状态
要查看您监控的任何 Eon 模式数据库的订阅图表,请单击 MC 主页上的查看基础架构 (View Your Infrastructure)。然后单击存储视图 (Storage View) 选项卡。
在存储摘要列表中,单击该数据库的详细信息 (Details) 操作(在下图中以红色突出显示)。
单击详细信息 (Details) 时,页面下半部分会显示两个图表:“分片订阅 (Sharding Subscription)”图表和“节点订阅 (Node Subscription)”图表。您可以使用图表标题右侧的下拉菜单在这两个图表之间切换。
为什么要监控分片和节点订阅?
分片是永久存储在 Eon 模式数据库的公共存储位置中的数据分段,例如云中的 Amazon S3,如果您的群集在本地,则为 PureStorage。数据库中的每个节点都订阅这些分片的一个子集。通过这种方式,可以在使用来自公共存储的新数据填充节点存储库时更新节点。(请参阅分片和订阅。)
对于 Eon 模式数据库中的 K-safety,分片应该具有多个节点订户,以确保即使一个节点出现故障或正在被另一个查询使用,该分片上的数据仍然在其他节点上可用。如果分片没有节点订户,则可能表明数据正在丢失。
订阅图表中以颜色表示订阅的状态转换:
-
**待定(黄色)。**节点已准备好订阅某个分片。该节点目前还不能提供查询服务,因为它还未主动订阅分片。
-
**被动(蓝色/青色)。**该节点可能会为其被动订阅的分片提供查询服务,但该分片的存储库内容可能不是更新的,这可能会对查询性能产生负面影响。被动订阅节点正在等待分片的活动节点订户向其发送最新数据。
-
**活动(绿色)。**节点主动订阅分片,可以从公共存储加载新数据,并可以为该分片中的数据提供查询服务。主动订阅节点将数据从该分片发送到其他订阅节点。
-
**正在移除(深红色/栗色)。**节点当前正在取消订阅分片。在该分片的数据被清除之前,该节点可能具有该分片的最新数据,但此状态是暂时的。
-
**非活动(红色)。**订阅节点已关闭。该节点不能再为该分片提供查询服务。
添加或移除节点或重新平衡分片等操作可能会更改节点订阅分片的情况。分片订阅更改可能会阻止从备份执行对象级别还原,但始终可以执行完全还原。如果分片订阅发生变化,请考虑使用新配置进行备份。
监控分片订阅
“分片订阅 (Sharding Subscription)”图表显示数据库中每个分片由多少个节点订阅,以及订阅类型。
您可以将鼠标悬停在图表中的任意条上,以查看分片订阅的节点。单击图例中的某个订阅类型可在图表显示中显示或隐藏它。
以下示例显示了正在运行的 Eon 模式数据库的分片订阅状态。数据库有 3 个启动的节点,以及一个已添加到群集但已关闭的节点(节点 4)。
您可以将鼠标悬停在图表中的任意条上,以查看分片订阅的节点。在此示例中,节点 1 和 3 主动订阅了第一个分片(绿色);节点 1 和 2 主动订阅了第二个分片;节点 2 和 3 主动订阅了第三个分片。
活动订阅均匀分布在分片中。这是一个 k-safe Eon 模式数据库。
节点 4 订阅了两个分片;但是,由于它已关闭,其订阅的分片现在处于非活动状态(红色)。
监控节点订阅
使用此图表可查看数据库中每个节点订阅的分片数量,以及这些订阅的状态。每个节点订阅的分片数量应该大致相同,以防止任何节点过度工作。
将鼠标悬停在任意条上可查看其订阅的分片。条的颜色指示每个订阅的状态。单击图例中的某个订阅类型可在图表显示中显示或隐藏它。
以下示例显示了上述分片订阅示例中的相同数据库。节点 1 到 3 都主动订阅了两个分片(绿色)。数据库中的每个分片至少由两个节点订阅(您可以使用“分片订阅 (Sharding Subscription)”图表仔细检查),确保即使其中一个节点关闭或正在被查询使用,另一个节点仍然能够主动订阅并且可以访问该分片的数据。
由于节点 4 已关闭,图表显示其两个分片订阅当前都处于非活动状态。
另请参阅
9 - 监控系统资源
MC 的活动 (Activity) 页面可通过为您提供查询和用户活动、硬件和内存影响、表和投影使用情况、系统瓶颈和资源池使用情况的图形视图,提供对数据库运行状况中潜在问题区域的即时可视化见解。
从工具栏菜单中选择下列图表中的一个:
信息多久更新一次?
系统级别活动图表每五分钟自动更新一次,除非您清除了工具栏上的“自动刷新 (Auto Refresh)”选项。当您第一次访问该页面或更改您想查看的资源时,图表可能要一会时间才能显示出来,具体取决于您的系统状况。
图表查看选项
您可以为某些图表指定时间范围,这些图表会在其标题栏中显示日历图标。单击日历图标可指定相应模块的时间范围。
如果您已对数据库启用扩展监控,MC 可以在某些图表中显示更大范围的数据。请参阅扩展监控。如果图表正在使用扩展监控数据,则标题栏中会显示火箭飞船图标:
您可以展开一些图表,以在更大的窗口中查看它们。单击标题栏中的展开图标即可执行此操作:
9.1 - 监控查询活动
“查询 (Queries)”图表会显示查询并发性以及 CPU/内存、网络活动和磁盘 I/O 这些资源的平均利用率(以最大额定带宽为基数)。
将光标悬停在数据点上,以获取有关每种资源类型的利用率的详细信息。
如果您单击数据点,MC 会立刻打开该数据点的详细信息页面,其中汇总了用户查询和系统查询数量。此页面可以帮您确定长期运行的查询以及查询类型。您可以对表列进行排序并将报告导出到文件中。
监控关键事件
在主“查询 (Queries)”页面上,如果发生工作负载分析器或重新平衡操作等关键事件,MC 会通过将 Workload Analyzer(工作负载分析器)和/或 RBL(重新平衡)标签发布到图表的资源部分来报告这一情况。
筛选图表结果
默认查询并发性为过去一小时内的数据。图表每五分钟会自动刷新一次,除非您清除工具栏上的“自动刷新 (Auto Refresh)”选项。您可以过滤 1 个小时、1 天或最多 1 周的结果,以及对应的平均资源利用率。您还可以在图例中单击不同的资源来显示或隐藏这些资源。
要返回到主“查询 (Queries)”页面,请使用滑动条或单击 1 小时按钮。
查看更多详细信息
要放大以显示详细信息,请在图表上某个部分四周单击并拖动鼠标,或者使用图表底部的滑动选择条。显示详细信息区域后,请将光标悬停在数据点上,查看固定在该时间点的资源。
有关用户或系统查询的详细信息,请在某个峰值处单击数据点。此时会打开详细信息 (Detail) 页面,以表格格式提供关于查询的信息,包括查询类型、会话 ID、节点名称、查询类型、日期、时间和运行的实际查询。
页面底部指出了当前页面显示的查询数量,并提供了“上一页 (Previous)”和“下一页 (Next)”按钮来浏览各个页面。您可以对列进行排序并将表的内容导出到文件中。
要返回到主“查询 (Queries)”页面,请在导航栏中单击 <数据库名称> 活动 (<database name> Activity)。
9.2 - 监控内部会话
“内部会话 (Internal Sessions)”图表提供了有关 Vertica 系统活动的信息(例如 Tuple Mover 和重新平衡群集操作),以及对应的系统资源(例如 CPU/内存、网络和磁盘 I/O 利用率)。
将光标悬停在条上,以获取更多详细信息。此时会出现一个对话框,并提供详细信息。
筛选图表结果
您可以通过为以下组件选择选项来过滤图表显示的内容。过滤时,请求的记录 (Records Requested) 数量会更改:
-
类别:对图形中出现哪些内部会话类型(合并、重新平衡群集)进行筛选。括号内的数字表明了该操作上有多少会话正在运行。
-
会话持续时间:为图形中出现的所有会话列出时间(以毫秒为单位)。可以过滤的最小/最大值(0 ms 至 n ms)表示当前显示在图形上的所有会话内的最小/最大经过时间。选择一个值后,图表会刷新,只显示大于或等于选定值的内部会话。
-
请求的记录:表示应用“类别 (Category)”和“会话持续时间 (Session Duration)”筛选后的合并会话总数。
9.3 - 监控用户会话
“用户会话 (User Sessions)”图表为所有与 MC 建立的用户连接提供了关于 Vertica 用户活动的信息。
从数据库“活动 (Activity)”页面顶部的菜单中选择用户会话 (User Sessions) 来查看这些图表。
查看打开的会话
“打开的会话 (Open Sessions)”选项卡显示每个用户当前打开的会话表。您可以在此选项卡中关闭会话或取消查询,方法是从操作 (Actions) 列中选中相应的选项。
单击任意行以打开会话详细信息 (Session Details) 对话框,其中显示有关该会话的更多详细信息。
要配置“打开的会话 (Open Sessions)”页面显示,请执行以下操作:
查看所有用户会话
“所有会话 (All Sessions)”选项卡在泳道图表中显示所有用户会话的历史记录。
图表中各种颜色的含义
用虚线勾勒的条表示当前正在运行的会话。
会话被分为两种颜色:黄色和蓝色。
-
黄色条代表用户(系统)会话。如果单击黄色条,MC 会打开“详细信息 (Detail)”页面,显示过去运行的或在该会话中仍在运行的所有查询。
-
蓝色条代表用户请求(会话内的事务)。如果在图形中单击蓝色条,MC 会打开“详细信息 (Detail)”页面,其中仅含该查询请求的信息。
将光标悬停在事务条上时,对话框会提供有关该请求的摘要信息,例如哪个用户运行了查询、事务花费了多长时间才结束或者事务是否仍在运行。
筛选图表结果
极度繁忙的系统会在界面上显示很多活动,让您一眼看上去不知所措。您可以通过多种方式筛选图表结果:
-
**缩小。**页面底部的上下文图表以蓝色高亮显示您当前查看的“所有会话 (All Sessions)”图表中的部分。单击并向左或向右拖动蓝色框可查看之前或之后的用户会话。单击并拖动蓝色框的边缘可放大或缩小。
-
**选择几个用户。**单击页面顶部的筛选器图标 ()。下方将显示所有可用用户的菜单。取消选择要从图表中排除的用户。
-
更改会话持续时间(会话运行的时间)。单击页面顶部的筛选器图标 ()。下方将显示按持续时间筛选会话和查询 (Filter sessions and queries by duration) 字段。输入要在图表上显示的最小会话长度(以秒为单位),然后单击更新 (Update)。
-
指定时间范围。单击页面顶部的“日历 (Calendar)”图标 (),以显示“开始日期 (From)”和“结束日期 (To)”字段。使用这些字段选择要在图表中显示的时间范围,然后单击更新 (Update)。
9.4 - 监控系统内存使用情况
“内存利用率 (Memory Usage)”图表会显示随着时间的推移,系统内存在单个节点上的使用情况。图表显示的信息将根据超级用户可以配置的
数据收集器保留策略进行存储。请参阅配置数据保留策略。
在您第一次访问“内存利用率 (Memory Usage)”图表时,MC 会显示群集中的第一个节点。MC 会记住您上次查看的节点,并当您再次访问“活动 (Activity)”页面时显示该节点。要选择不同的节点,请从图表底部的“节点 (Nodes)”下拉列表中选择一个节点。图表每五分钟会自动刷新一次,除非您禁用“自动刷新 (Auto Refresh)”选项。
提示
在繁忙的系统中,节点列表可能会遮盖住您想查看的部分图形。您可以将列表拖到页面的其他区域来将列表移出。
系统内存类型
“内存利用率 (Memory Usage)”图表会显示以下内存类型的堆栈区域:
将光标悬停在数据点上时,一个对话框会显示选定节点在该时间段内使用的内存百分比。
9.5 - 监控系统瓶颈
“系统瓶颈 (System Bottlenecks)”图表帮助您在特定节点上快速找到性能瓶颈。在您第一次访问“活动 (Activity)”页面时,MC 会显示群集中的第一个节点。要选择不同的节点,请从图表底部的“节点 (Nodes)”下拉列表中选择一个节点。
“系统瓶颈 (System Bottlenecks)”图表报告了 MC 在给定时间间隔内发现的问题最大的资源。您可以使用此图表作为调查的起点。
MC 如何收集系统瓶颈数据
每隔 15 分钟,MC 都会获取各种系统资源的最大利用率数据,并据此绘制一条线,而线上的一个数据点代表在该时间点使用最多资源的组件。当另一个组件使用最多资源时,MC 会显示新的数据点并更改线条颜色,以便让资源变化变得更加明显。在非常繁忙的数据库中,使用资源最多的组件可能会频繁变化,以致于您会看到非常密集的图表活动。
在以下示例中,在 08:24,由磁盘 I/O 使用最多资源变为 CPU 使用最多资源。“系统瓶颈 (System Bottlenecks)”图表通过线条颜色从棕色变为绿色来表示这一变化。
MC 报告的组件
MC 会报告以下系统组件的最高利用率值:
-
平均利用率 CPU 百分比
-
内存利用率平均百分比
-
磁盘 I/O 利用率最高百分比
-
通过网络发送的数据百分比 (TX)
-
通过网络接收的数据百分比 (RX)
MC 如何处理资源冲突
如果 MC 发现了具有相同最大百分比值的两个指标,它会随机选择一个进行显示。如果两个指标的值非常接近,MC 会显示两者中值较高的那个。
9.6 - 监控用户查询阶段
“用户查询阶段 (User Query Phases)”图表提供了有关查询在完成前经历的查询执行阶段的信息。查看此表可以帮您快速确定由于资源争用而可能造成延迟的查询。
灰框包围的每个条都代表一个查询。在查询内,不同的颜色代表了每个查询阶段。持续时间小于 4 秒时,图表不会显示查询各阶段。如下图所示,查询内的空白区域代表了等待时间。
将光标悬停在查询的一个阶段上,获取有关该阶段类型和持续时间的信息。
图表会显示过去 15 分钟运行的查询。图表每五分钟会自动刷新一次,除非您清除工具栏上的“自动刷新 (Auto Refresh)”选项。
筛选图表结果
您可以选择运行查询的用户、最低查询持续时间和最低阶段持续时间选项来过滤图表显示的内容。
查看更多详细信息
要放大以显示详细信息,请在图表上某个部分四周单击并拖动鼠标。单击图表右上角的“重置缩放 (Reset zoom)”,将图表恢复到原始视图。
有关详细信息,请单击查询条。此时会打开“详细信息 (Detail)”页面,以表格格式提供关于查询的信息,包括查询类型、会话 ID、节点名称、查询类型、日期、时间、运行的实际查询以及运行“说明计划 (Explain Plan)”或分析查询的选项。单击表列标题,按该类别对查询进行排序。
要将表内容导出到文件,请单击页面右上方的“导出 (Export)”。
要返回到主“查询 (Queries)”页面,请在导航栏中单击“活动 (Activity)”。
9.7 - 监控表利用率和投影
“表利用率 (Table Utilization)”活动页面有助于您监控数据库中各架构的表和投影。
表利用率 (Table Utilization) 图表列出了架构中的所有表,您可以对其进行筛选和排序;或按其在树形图可视化中的大小和使用情况查看这些表。通过这些图表,您可以确定所有表中的异常对象,例如较大或过度使用的异常对象。
投影摘要 (Projections Summary) 位于页面右侧,提供了架构中投影的概览。您可以使用此摘要来帮助确定投影是否在节点之间均匀分布。
可视化表
默认情况下,MC 会向您显示公共架构。要指定要查看的架构,请从活动页面顶部的架构 (Schemas) 菜单中选择一个架构。该架构中的表和投影的摘要将显示在页面上。
MC 将您可用的表按架构可视化为表图表或树形图图表。从显示为 (Show As) 菜单中,选择表 (Table)(表格图表)或图 (Map)(树形图图表)。默认情况下,MC 显示表图表。
根据架构中表的数量情况,图表可能会很拥挤。要缩小图表范围,请使用页面顶部的仅显示 (Show Only) 筛选器,以仅显示最大的 100 个表、最小的 100 个表或外部表。
查看表图表
表图表是架构表数据的表格视图。使用表格视图可对任何列进行筛选或排序,并查看行计数和利用率的显式值。
这些列显示每个表的以下信息:
-
表名称 (Table Name)。单击此名称可查看表详细信息 (Table Details) 页面。
-
表类型 (Table Type):内部、使用外部数据或 HCatalog。(行计数和使用情况等详细信息不适用于外部类型和 HCatalog 类型。)
-
行计数 (Row Count)。
-
查询中的使用情况 (Usage in Queries),按表查询次数的百分比。
-
行计数和使用率 (Row count and Usage),可视化为条。条的长度表示行计数;颜色越深表示使用率越高。
-
表定义 (Table Definition)。COPY 语句表定义,仅适用于外部表。
将鼠标悬停在图表中的任意行上可查看表的属性(在下面的屏幕截图中显示为 inventory_fact
)。单击表名称可查看更具体的表详细信息 (Table Details) 页面。
查看树形图图表
在树形图可视化中,表以框表示,且根据大小进行嵌套,并根据使用率进行颜色分类。颜色越深表示表使用率越高。
将鼠标悬停在某个表上以查看更多详细信息,或单击以查看其表详细信息 (Table Details) 页面。
查看表详细信息
“表详细信息 (Table Details)”页面显示内部 Vertica 表的详细概述。(这不适用于外部表和 HCatalog 表。)在“表利用率活动 (Table Utilization Activity)”页面上单击某个表名称,以在新窗口中打开其“表详细信息 (Table Details)”页面。
您可以查看以下详细信息:
-
表属性 (Table Properties)。表属性(例如行计数和所有者)。
-
投影 (Projections)。表的列和投影的属性。
-
各节点的存储 (Storage by Node)。各节点中表的存储利用率,以 MB 为单位。
-
# 各节点的已删除行 (# Deleted Rows by Node)。Vertica 为已删除行分配物理存储,直到其被 Tuple Mover 清除。
-
# 各节点的删除向量 (# Delete Vectors by Node)。当在表上运行 DELETE 或 UPDATE 语句时,Vertica 会创建称为删除向量的小型容器。大量删除向量会对性能产生不利影响。(请参阅删除标记合并。)
注意
注意: 如果您最近刚删除了表行,管理控制台 (Management Console) 可能不会显示最新的行计数。执行合并时,MC 才会更新行计数。请参阅
合并。
投影摘要
“投影摘要 (Projections Summary)”位于“表利用率 (Table Utilization)”页面右侧的侧栏中。它显示架构中所有投影的以下统计信息:
-
投影总数 (Total projections)。
-
已分段投影数 (Segmented projections),即跨多个节点分段的投影数量。
-
未分段投影数 (Unsegmented projections),即未跨多个节点分段的投影数量。
-
证明分布倾斜的投影数 (Projections Showing Distribution Skew),即未跨节点均匀分布的投影数量。少于 1000 行的表不计算在内。移动滑块来配置按分布倾斜百分比的筛选器。
-
各节点中具有 >= 容器的投影数。移动滑块来指定容器的最小数量。
-
不安全投影数 (Unsafe Projections),即 K-safety 小于数据库 K-safety 的投影的数量。
-
未使用投影数 (Unused Projections)。
-
非最新投影数 (Not Up to Date Projections)。
单击某个投影编号,以查看指定投影及其属性的列表。有关投影的详细信息,请参阅投影。
另请参阅
9.8 - 监控运行查询
查询监控 (Query Monitoring) 活动页面显示了最近和当前运行的查询的状态,以及用户和节点的资源信息。对于 Eon 模式数据库,您还可以按子群集显示查询的状态。您可以在此页面分析查询或取消正在运行的查询。
使用此页面检查查询状态,并迅速取消正在运行的或队列中的查询来释放系统资源。此页面可以帮您确定资源在什么地方使用,以及哪些查询、用户、节点或子群集使用了最多的资源。
查询监控 (Query Monitoring) 页面包含四个表,以选项卡形式显示:
-
正在运行的查询
-
队列中的查询
-
已完成的查询
-
失败的查询
在操作 (Actions) 列中,您可以:
-
取消 (Cancel)。取消正在运行或队列中的查询。
-
关闭会话 (Close session)。关闭正在运行或队列中的查询的会话。
-
解释 (Explain)。打开任意查询的查询计划 (Query Plan) 页面。
-
分析 (Profile)。分析查询计划 (Query Plan) 页面中的任何查询。
页面底部的四个条形图显示了各节点或各用户的查询使用情况汇总。将光标悬停在条上以查看它的值。在按值排序时,每个图表最左侧的条代表了具有最高值的节点或用户。
默认情况下,“查询监控 (Query Monitoring)”页面每 20 秒刷新一次。要更改刷新间隔,请单击页面右上角的页面设置 (Page Settings) 按钮。此时会出现对话框。在文本框中键入新的刷新间隔(以毫秒为单位)。
按会话 ID 或客户端标签搜索查询或对其进行排序
“查询监控活动 (Query Monitoring Activity) > 运行查询 (Running Queries)”页面包含显示每个查询的会话 ID 和** 客户端标签** 的列。您可以按会话 ID 或客户端标签对查询进行排序,或者使用任一列下方的搜索字段来搜索具有特定会话 ID 或客户端标签的查询。
筛选图表结果
使用每列标题下方的搜索字段来缩小图表结果的范围。(例如,如果您在搜索查询 (Search Queries) 字段中输入文本 SELECT product_description,并在启动程序节点 (Initiator Node) 列中选择一个特定节点,图表将仅返回既包含该文本又在您指定的节点上启动的查询。)
单击列标题以对该类别的查询进行排序。
“已完成的查询 (Completed Queries)”和“失败的查询 (Failed Queries)”可能会生成大量结果。使用这两个选项卡顶部的自定义 (Customize) 部分来进一步筛选图表结果。对于任一选项卡,均可以为结果选择自定义日期和时间范围。
在“已完成的查询 (Completed Queries)”选项卡中,单击数据 (Data) 输入其他查询信息,以根据以下任意字段进行筛选:
查看更多详细信息
单击某个查询以查看整个查询。
在失败的查询 (Failed Queries) 图表中,单击失败的查询旁边的加号 (+) 图标,以查看查询执行中涉及的每个节点的失败详细信息。
要导出某个查询监控 (Query Monitoring) 表中的数据,请单击该表的选项卡,然后单击页面右上角的导出 (Export) () 按钮。浏览器会将该表的数据下载为 .dat 文件。导出的数据包含在 MC 中可能看不到的列,包括内存、线程数和打开文件句柄数的最低值和最高值。
9.9 - 监控编录内存
“编录内存 (Catalog Memory)”活动页面显示每个节点的编录内存。使用此页面可检查编录内存的突然变化,或节点之间的内存分布差异。
“编录内存 (Catalog Memory)”页面显示以下内容:
在下图中,所有三个节点的编录内存起始值均为 0GB。在接下来的 20 分钟内,第二个节点(橙色)的编录内存首先增加到 0.04GB,接下来是第一个节点(青色),最后是第三个节点(深蓝色)。请注意,从 16:55 开始,当所有三个节点的编录内存都相同时,三个重叠的节点线显示为一条线。
筛选图表结果
如果您的数据库中有多个节点,但您只想在编录内存图表中显示部分节点。您可以通过以下两种方式从图表中移除节点:
-
在节点详细信息表中取消选中节点的复选框。
-
在图表下方颜色图例中取消选择节点。
查看更多详细信息
将鼠标悬停在图表中的任意一条线上,以查看时间、节点名称和编录大小。
图表底部是一个摘要栏,其中显示了编录内存随时间的变化的快速概览。移动图表任一侧的滑块可放大图表中的特定时间范围。放大后,您可以使用滚动条及时向前或向后移动。
10 - 监控资源池
管理控制台 (Management Console) 使数据库管理员能够通过活动 (Activity) 和配置 (Configuration) 页面监控和配置资源池。这些页面通过以可视化方式呈现资源利用率以及资源池配置选项来帮助您管理工作负载。
监控资源池图表
您可以使用资源池监控 (Resource Pools Monitoring) 图表监控资源池,该图表可通过管理控制台 (Management Console) 的活动 (Activity) 页面访问。
使用最左侧的边栏中的资源池 (Resource Pool) 菜单选择要查看的资源池。边栏的当前利用率活动 (Current Usage Activity) 会显示池的实时统计数据。
请使用以下图表监控所选资源池,其中显示了池的历史数据:
- 池的资源利用率 (Resource Usages for Pool): 显示以往获取的所有节点上每个池的平均内存利用率。该图形使用了两个 y 轴,一个表示内存大小,另一个表示正在运行的查询总数。数据每小时收集一次。将光标悬停在数据点,获取有关该特定数据点的内存利用率摘要。
<<<<<<<
- **节点中的内存利用率 (Memory Usage in Node):**显示以往获取的所有节点上所有池的内存利用率。数据每小时收集一次。将光标悬停在数据点,获取有关该特定数据点的内存利用率摘要。使用标题栏下拉菜单显示特定节点的内存利用率。对于 Eon 模式数据库,您还可以显示特定子群集、所有子群集或未分配给子群集的节点的内存利用率。Eon 模式数据库具有一个默认子群集,并且可能具有其他用户定义的子群集。
=======
- 节点中的内存利用率 (Memory Usage in Node): 显示以往获取的所有节点上所有池的内存利用率。数据每小时收集一次。将光标悬停在数据点,获取有关该特定数据点的内存利用率摘要。使用标题栏下拉菜单显示特定节点的内存利用率。对于 Eon 模式数据库,您还可以显示特定子群集、所有子群集或未分配给子群集的节点的内存利用率。Eon 模式数据库具有一个默认子群集,并且可能具有其他用户定义的子群集。
-
池中的平均查询执行时间和查询时间 (Average Query Execution and Query Time in Pool): 显示所有节点上每个池中的平均查询时间与查询执行时间对比。数据每分钟收集一次。将光标悬停在数据上,获取指定池中的平均查询执行时间和查询时间。单击某个数据点以显示各个查询的详细信息。
-
池中的资源拒绝情况 (Resource Rejections in Pool): 显示所有节点上每个池以往拒绝的资源请求总数。数据每小时收集一次。单击数据点,以便在弹出式窗口中显示拒绝详细信息和原因。
在 MC 中配置资源池
数据库管理员可以通过管理控制台 (Management Console) 的配置 (Configuration) 页面查看有关资源池参数的信息,并对现有参数做出更改。还可以创建和移除新资源池、分配资源池用户以及分配级联池。
请参阅 在管理控制台 (Management Console) 中配置资源池
权限
只有数据库管理员可以在管理控制台 (Management Console) 中监控和配置资源池。
另请参阅
10.1 - 在管理控制台 (Management Console) 中配置资源池
数据库管理员可以通过 MC 的“资源池配置 (Resource Pools Configuration)”页面查看有关资源池参数的信息,并对现有参数做出更改。还可以创建和删除新资源池、分配资源池用户以及分配级联池。
从“设置 (Settings)”页面选择“资源池 (Resource Pools)”选项卡,然后访问“资源池配置 (Resource Pools Configuration)”页面。
您还可以从管理控制台 (Management Console) 的“活动 (Activity)”页面访问“资源池监控 (Resource Pools Monitoring)”图表,然后从该图表中访问“配置 (Configuration)”页面。单击最左侧边栏顶部的工具图标。
监控和配置资源池的权限
只有数据库管理员可以在管理控制台 (Management Console) 中监控和配置资源池。
修改资源池参数
-
在“资源池配置 (Resource Pools Configuration)”页面,从“资源池 (Resource Pools)”字段选择资源池。将显示该资源池的参数字段。
-
使用参数字段来查看或修改资源池的参数。将光标悬停在参数字段会显示有关该参数的信息。
-
单击应用 (Apply) 保存您所做的更改。此时将显示一条成功消息
修改资源池用户
添加或移除资源池用户:
-
在“资源池配置 (Resource Pools Configuration)”页面,从“资源池 (Resource Pools)”字段选择资源池。
-
在“池用户 (Pool Users)”字段旁边,单击添加/移除池用户 (Add/Remove Pool Users)。此时将出现“修改资源池用户 (Modify Users for Resource Pool)”对话框。
-
此对话框将在“当前池用户 (Current Pool Users)”列表中显示已分配到该资源池的用户。“其他用户 (Other Users)”列表会显示所有其他资源池用户以及他们当前分配到的池。
-
将用户添加到资源池:从“其他用户 (Other Users)”列表中选择所需的用户,然后单击添加 (Add)。
-
将用户从资源池中移除:从“当前池用户 (Current Pool Users)”列表中选择要移除的用户,然后单击移除 (Remove)。
-
单击应用 (Apply) 保存您所做的更改。将显示一条成功消息。
创建及移除资源池
数据库管理员可以使用 MC 创建资源池并分配资源池用户,以及移除用户生成的资源池。
创建资源池:
-
在“资源池配置 (Resource Pools Configuration)”页面,单击创建池 (Create Pool)。此时会出现预填充了池参数默认值的字段。
-
在字段中输入新资源池的参数。
-
单击创建池 (Create Pool)。将显示一条成功消息。
移除资源池:
-
首先,从要删除的资源池中移除所有用户。此操作可以在“资源池配置 (Resource Pools Configuration)”页面完成。
-
将所有用户都从资源池中移除后,从“资源池配置 (Resource Pools Configuration)”页面的“资源池 (Resource Pools)”字段选择资源池。将显示该资源池的参数字段。
-
单击移除池 (Remove Pool)。此时会出现“确认 (Confirm)”对话框。
-
单击“确认 (Confirm)”对话框中的确定 (OK)。将显示一条成功消息。
另请参阅
11 - 在 MC 中监控数据库消息和警报
管理控制台会定期检查系统运行状况和性能。当发生重要事件或系统性能波动超出用户或系统定义的限制时,管理控制台会生成消息,向您发出有关系统状态的警报。在消息中心查看和管理警报。
消息警报通知
管理控制台可通过多种方法传达警报通知,以确保您立即发现任何可能需要注意的数据库更改。您会收到电子邮件通知消息,并可使用以下组件查看通知:
-
邮件信封图标:此图标位于任何数据库特定页面右上角的 MC 帮助 (MC Help) 图标旁边。选择此图标将显示消息中心 (Message Center) 快速视图,执行存档、阅读和删除消息操作。有关消息操作和警报的详细信息,请参阅消息中心 (Message Center)。
-
未读消息(本周)(Unread Messages (This Week)) 小组件:在数据库概述 (Overview) 选项卡上,此小组件位于“快速统计数据 (Quick Stats)”侧栏中。它显示未读的高优先级消息。选择小组件中的编号(包括 0),转至消息中心 (Message Center)。
预配置的警报
管理控制台提供预配置的警报以提供系统监控功能,无需手动设置。每个警报均具有预配置的阈值,用于定义可接受的性能限制,当数据库超过该阈值时,MC 将发送消息通知。
默认情况下,预配置的警报处于非活动状态,只需极少量初始设置。有关如何设置预配置的警报属性的详细信息,请参阅警报配置。
节点运行状况
Vertica 提供以下预配置的警报来监控节点运行状况:
-
节点 CPU
-
节点内存
-
节点磁盘使用情况
-
节点磁盘 I/O
-
节点 CPU I/O 等待
-
节点重新启动速率
-
节点状态更改
-
节点编录内存
网络运行状况
Vertica 提供网络 I/O 错误预配置警报,以监控网络运行状况。
查询
Vertica 提供以下预配置的警报来监控查询:
-
队列中的查询
-
失败的数量
-
查询的数量
-
已溢出查询的数量
-
已重试查询的数量
-
查询的运行时间
许可证状态
Vertica 提供了许可证使用情况预配置警报来监控 Vertica 许可证的状态。
资源池
当单个资源池达到指定状态或使用级别时,MC 可以发送警报。有关资源池配置参数的详细信息,请参阅内置资源池配置。
重要
资源池警报的默认设置仅适用于 GENERAL 池。
您可以将 MC 配置为发送以下资源池警报:
-
达到允许的最长执行时间的查询 (Queries Reaching the Max Allowed Execution Time):当指定数量的查询达到资源池的 RUNTIMECAP 执行阈值时触发警报。如果资源池未设置 RUNTIMECAP 阈值或资源池包含辅助资源池,则无法设置此警报。
-
存在资源拒绝的查询 (Queries With Resource Rejections):当在设置的时间段内指定数量的查询超出指定数量的 资源拒绝时触发警报。
-
最小起始资源值 (Minimum Starting Resource Value):当资源池达到为 MEMORYSIZE 值分配的最小资源量时触发警报。
注意
默认情况下,不能为 GENERAL 池设置 MEMORYSIZE。GENERAL 池必须至少包含 1GB 内存,且不能小于系统总内存的 25%。
-
允许的最大资源值 (Maximum Allowed Resource Value):当资源池达到 MAXMEMORYSIZE 值时触发警报。
-
因排队时间超过限制而终止的查询 (Ended Query With Queue Time Exceeding Limit):当指定数量的已完成查询在时间范围内排队达到指定时长时触发警报。
-
因运行时间超过限制而终止的查询 (Ended Query With Run Time Exceeding Limit):当指定数量的已完成查询在时间范围内运行达到指定时长时触发警报。
自定义警报
创建自定义警报以度量预配置警报未监控的系统性能指标。创建动态 SQL 查询,无论返回任何结果均触发警报。您可以配置生成警报的频率、警报优先级以及接收电子邮件警报的人员。例如,您可以创建自定义警报来监控以下数据:
有关创建和管理自定义警报的详细信息(包括关于如何创建监控登录失败次数的自定义警报的教程),请参阅自定义警报。
默认通知
管理控制台生成以下数据库相关消息,这些消息仅在消息中心 (Message Center) 显示:
磁盘空间检查和清理
当管理控制台检查警报时,将生成结果集并将其保存到磁盘中。如果使用主动警报配置,结果集可能会占用大量磁盘空间。默认情况下,Vertica 预留 500MB 磁盘空间用于保存结果集。
Vertica 每天检查 2 次可用磁盘空间并清除超过 7 天的警报。如果可用磁盘空间不足,则禁用自定义警报。因磁盘空间不足而禁用警报时会生成通知和电子邮件。
/opt/console/vconsole/config/console.properties
文件包含这些设置。编辑以下值来配置 MC 如何管理您的磁盘空间:
11.1 - 消息中心 (Message Center)
消息中心 (Message Center) 会组织系统性能警报,可帮助您有效地监控数据库的状态。预配置和自定义警报会在其测量的组件超过指定阈值时生成消息。
通过以下方式访问消息中心 (Message Center):
-
在 MC 主页的 MC 工具 (MC Tools) 部分中选择消息中心 (Message Center)。
-
在特定于数据库的任意页面中,选择右上角的消息信封图标,然后在速览视图中选择消息中心 (Message Center)。
-
在数据库概览 (Overview) 选项卡中,选择未读消息(本周)(Unread Messages (This Week)) 小组件中的数字(包括 0)。
消息中心 (Message Center) 可以检索多达 10,000 条最新的数据库消息。默认情况下,它最多会列出前 1 周生成的 600 条消息。有关如何检索前 1 周之前的消息的详细信息,请参阅日期筛选。
注意
要调整消息中心 (Message Center) 中列出的消息的最大数量,请从命令行编辑 /opt/vconsole/config/console.properties
文件中的 messageCenter.maxEntries
值。例如,以下值将消息中心 (Message Center) 中列出的警报数量增加到 5000:
messageCenter.maxEntries=5000
筛选消息网格
管理控制台 (Management Console) 提供了几个选项,用于按数据库、关键字、消息类型和日期筛选消息网格中的消息。使用其中一个或多个选项以仅查看您要管理的消息。
数据库筛选
选择显示 (Showing) 以列出与已登录用户帐户关联的数据库。选择特定数据库以仅查看该数据库的消息,或选择**(所有数据库)(All DBs)** 以查看和管理所有数据库中的消息。
关键字筛选
使用屏幕右上角的搜索栏列出包含输入文本的消息。例如,如果您输入 29,当您单击加号 (+) 图标展开消息行时,网格会列出所有消息标题或消息详细信息中包含这些字符的所有消息。
消息类型筛选
在显示 (Showing) 中选择一个值后,针对该值的消息数量将在屏幕右上角附近的搜索栏下方按类型汇总和分组。这些消息类型使用 syslog 标准来定义严重级别。MC 消息类型定义如下:
-
所有消息 (All Messages):未存档或未删除,且在前 1 周的 messageCenter.maxEntries
范围内的消息。
-
高优先级 (High Priority):您在警报 (Alerts) 选项卡中为其分配了高优先级警报优先级的消息。这些消息对应于 syslog 级别 0 和 1。
-
需要关注 (Need Attention):指示对应于 syslog 级别 2 和 3 的严重或错误消息。
-
信息性 (Informational):对应于 syslog 级别 4、5、6 和 7 的警告、通知、信息性或调试消息。
要仅使用单个消息类型填充网格,请选择数字或消息类型描述。
日期筛选
选择检索更早的消息 (Retrieve Older Messages),输入开始日期 (From) 和结束日期 (To),以列出前 1 周之前生成的消息。Vertica 会存储 10,000 条最新的数据库消息,以便您可以在必要时检索较旧的消息。
消息组
消息中心 (Message Center) 将消息和通知分为最近的消息 (Recent Messages)、阈值消息 (Threshold Messages) 和已存档消息 (Archived Messages)。所有消息组均使用以下优先级和颜色代码:
-
严重(红色)
-
警告(橙色)
-
通知(绿色)
-
信息(蓝色)
最近的消息和阈值消息
最近的消息包括前 1 周内生成的最新消息,在 messageCenter.maxEntries
值范围内。阈值消息包括当数据库超过预配置、自定义或默认警报阈值时生成的消息。
最近的消息和阈值消息按消息类型、数据库名称、消息描述以及生成消息的日期和时间列出。此外,还提供可折叠网格标头,按今天 (Today)、昨天 (Yesterday) 和本周 (This Week) 对警报进行分组。
已存档消息
已存档消息是您手动保存以备将来使用的消息。当选中单个消息的复选图标或选择全部存档 (Archive All) 时,MC 会将消息标记为已读并将其存档。已存档消息的日期或 messageCenter.maxEntries
限制与最近的消息 (Recent Messages) 或阈值消息 (Threshold Messages) 不同。
已存档消息 (Archived Messages) 选项卡包含以下用于优化搜索结果筛选的工具:
消息操作
对所有、多条或单条消息执行操作。要同时对所有消息执行操作,请使用屏幕右上角搜索栏旁边的全选 (Select All) 或全部不选 (Select None) 按钮。
每个消息行都有一个复选框,以便您可以同时对一条或多条消息执行操作。选择加号 (+) 图标可展开消息行并显示以下消息详细信息:
-
总结
-
主机 IP
-
出现时间
-
此消息出现的次数
-
描述
有关每条消息的更多信息,请查询 EVENT_CONFIGURATIONS。
当选择 X 图标,或选择多条消息并单击删除消息 (Delete Msgs) 或全部删除 (Delete all) 按钮时,消息将被永久删除。
11.2 - 警报配置
为每个数据库启用和自定义预配置警报或自定义警报的设置。例如,您可以将节点磁盘使用率 (Node Disk Usage) 的 阈值 (Threshold Value) 设为最低 20% 或最高 80%。如果任何节点超出这些任一阈值,MC 会生成消息,同时您会收到通知。对 消息中心 (Message Center) 中的警报采取操作。
要访问警报 (Alerts) 选项卡,请登录管理控制台,然后选择 转至数据库 (Go to database) > 设置 (Settings) > 警报 (Alerts)。
可配置设置
要配置任何警报,必须将行左侧的开关切换到打开位置。节点状态更改 (Node State Change) 是唯一默认打开的预配置警报。默认情况下,自定义警报处于关闭状态。
预配置警报和自定义警报采用以下设置:
-
查询变量 (Query variables):仅限自定义警报。查询变量是您在创建警报时添加的变量。必须为每个变量提供一个值。创建警报后不会验证查询变量。如果更新后的变量值会导致查询无效,将在下次执行期间静默禁用警报。
要查看原始 SQL 查询,请将鼠标悬停在警报名称上以在工具提示中显示警报。
-
阈值 (Threshold Value):仅限预配置的警报。您可以为组件添加可接受的操作值下限和上限。
-
检查间隔 (Check Interval):此值决定 Vertica 对警报执行基础 SQL 查询的频率。
-
警报优先级 (Alert Priority):您可以分配以下优先级标签之一,以确定警报分发方式:
-
警报电子邮件收件人 (Alert Email Recipients):配置触发警报时任意警报优先级的电子邮件通知。必须配置 SMPT。有关向警报添加电子邮件收件人的详细信息,请参阅自定义警报。
-
垂直省略号 (Vertical ellipses):对于自定义警报和新资源池警报,单击垂直省略号以删除警报。必须具备 MC ADMIN 角色权限才能删除警报。
配置资源池警报
资源池警报使用与其他警报相同的可配置设置,但可以为每个资源池设置警报。默认情况下,仅为 GENERAL 池设置预配置警报。
-
在标有资源池 (Resource Pool) 的顶部行中,选择行最右侧带有加号 (+) 的蓝色框。将鼠标悬停在按钮上时,按钮会展开并显示 添加资源池警报 + (Add Resource Pool Alert +)。
将打开新资源池警报 (New Resource Pool Alert) 窗口。
-
在警报名称 (Alert Name) 中,选择要添加到资源池的警报。
-
在资源池 (Resource Pool) 中,选择要添加此警报的资源池。
-
完成剩余设置的配置后,选择创建警报 (Create Alert)。
与编辑其他警报一样,编辑检查间隔 (Check Interval)、警报优先级 (Alert Priority) 和“警报电子邮件收件人 (Alert Email Recipients)”。有关指南,请参阅可配置设置或 自定义警报。
要删除警报,请选择行右侧的垂直省略号,然后选择删除 (Delete)。必须具备 MC ADMIN 角色权限才能删除警报。
11.3 - 为电子邮件警报设置 SMTP
当数据库超过高优先级警报阈值时,管理控制台 (Management Console) 可以生成电子邮件通知。要接收电子邮件警报,您必须在 MC 中配置 SMTP 设置。
只有管理员可以提供 SMTP 设置。设置 MC 以发送电子邮件:
-
在“MC 设置 (MC Settings)”页面,选择电子邮件网关 (Email Gateway) 选项卡。
-
提供有关 SMTP 服务器的以下信息:
-
电子邮件服务器(主机名)(Email Server (Hostname)):SMTP 服务器的主机名或 IP
-
端口 (Port):SMTP 服务器的端口
-
会话类型 (Session Type):要使用的连接类型(例如 SSL)
-
SMTP 用户名 (SMTP Username)(可选):用于连接服务器的用户名凭据
-
SMTP 密码 (SMTP Password)(可选):用于连接服务器的密码凭据
-
发件人地址 (Sender Address):服务器发送电子邮件警报时所用的发件人地址
-
信任 SSL 证书 (Trust SSL Certificate):是否自动信任 SMTP 服务器的证书
-
单击页面顶部的测试 (Test)。MC 会验证您的 SMTP 设置,并向您提供的电子邮件别名的收件箱发送一封测试电子邮件。
-
确认您已成功收到测试电子邮件。
-
单击页面右上方的应用 (Apply) 来保存设置。
为电子邮件设置 SMTP 后,您可以将 MC 配置为通过电子邮件发送高优先级阈值警报。有关详细信息,请参阅警报配置或自定义警报。
11.4 - 自定义警报
使用您自己的数据库架构和表创建基于事件的自定义警报,以跟踪节点运行状况、查询和资源池异常和性能波动。当数据库触发活动警报时,将根据警报优先级收到通知,并可在 消息中心 (Message Center) 中执行操作。
创建自定义警报
必须具备 MC ADMIN 角色权限才能创建自定义警报。
以下步骤可创建名为 X 时间段内的登录失败次数 (Failed logins within a X time period) 的自定义警报,以跟踪每个用户在前两个小时内登录失败的次数。此警报或许表示可能存在分布式拒绝服务 (DDoS) 攻击或应用程序运行不当。基础 SQL 查询使用变量创建动态阈值,您可以在创建警报后对阈值进行优化。
-
登录管理控制台,依次选择转至数据库 (Go to database) > 设置 (Settings) > 警报 (Alerts)。
-
在页面顶部的自定义警报 (Custom Alerts) 行中,单击该行最右侧带有加号 (+) 的蓝色框。将鼠标悬停在按钮上时,按钮会展开并显示创建自定义警报 + (Create Custom Alert +)。
将显示创建自定义警报 (Create Custom Alert) 窗口。
-
在警报名称 (Alert Name) 中,输入 X 时间段内的登录失败次数 (Failed logins within a X time period)。
-
在 SQL 查询 (SQL Query) 中,输入以下 SQL 查询:
SELECT
login_timestamp,
user_name,
node_name,
client_hostname,
reason
FROM
login_failures
WHERE
reason in ('INVALID USER', 'FAILED', 'INVALID DATABASE')
AND login_timestamp > sysdate - INTERVAL '{{Time_Interval}}'
前述查询的 AND 子句将名为 Time_Interval
的 String 类型变量括在花括号内,表示有效 SQL 语法元素。
变量是在运行时评估的动态值,您可以在保存警报后进行配置。每个自定义警报最多可以添加 6 个变量。变量名称最多可以包含 14 个字母数字字符,包括下划线。验证变量是否使用正确的数据类型和格式。String 类型变量需要在花括号两侧添加单引号。
如果 SQL 查询返回一行或多行,则会触发警报。根据需要使用 SQL 查询 (SQL Query) 框上方和右侧的格式化或全屏按钮。
-
SQL 查询 (SQL Query) 框下方会显示一个框,其中包含与每个变量名称相对应的占位符文本。要测试警报,请在此框中输入 2 Hours。
-
选择运行查询 (Run Query)。查询结果 (Query Results) 部分将显示查询中返回的所有行。或者,您可能会遇到以下问题之一:
重要
查询不会超时。长时间运行的查询会一直运行,直到成功为止。或者,返回查询错误,指出资源不足无法继续。
选择取消查询 (Cancel Query) 以停止长时间运行的查询。
-
如果对查询结果感到满意,选择创建警报 (Create Alert)。
将关闭创建自定义警报 (Create custom alert) 窗口,刚刚创建的警报将列入警报 (Alerts) 页面的自定义警报 (Custom Alerts) 部分。如果将鼠标指向查询名称,查询将显示在工具提示中。在查询名称下,显示与创建警报时添加的变量相对应的可编辑框。
-
在 Time_Interval 变量框中,输入 2 Hours。
-
为检查间隔 (Check Interval) 选择值。默认设置为 10 分钟 (10 minutes)。此值决定执行查询的频率。
-
为警报优先级 (Alert Priority) 选择值。默认情况下,会为警报分配临界 (Critical) 值优先级。
-
(可选)选择警报电子邮件收件人 (Alert Email Recipients) 下的管理电子邮件 (Manage Emails) 图标,以便在触发警报时向特定用户发送电子邮件警报。要注册用户以接收电子邮件警报,请完成 为电子邮件警报设置 SMTP 中的步骤。
-
在管理电子邮件收件人 (Manage Email Recipient) 窗口中完成以下步骤:
-
要将现有用户添加到警报,请单击现有 MC 用户旁边的复选框,或选择顶部的框以添加所有用户。对于不存在的 MC 用户,请在窗口底部输入用户的电子邮件地址。
-
在电子邮件间隔 (Email Interval) 中,选择发送电子邮件的频率:
例如,如果选择 1 小时 (One hour),则每小时发送一封电子邮件,即使这 1 小时内多次触发警报也是如此。
-
单击保存 (Save)。
创建警报后,使用警报行最左侧的开关进行打开或关闭。
编辑自定义警报
必须具备 MC ADMIN 角色权限才能编辑自定义警报。
-
登录管理控制台,依次选择转至数据库 (Go to database) > 设置 (Settings) > 警报 (Alerts)。
-
在页面顶部的自定义警报 (Custom Alerts) 行中,找到要编辑的自定义警报。
-
选择垂直省略号,然后选择编辑 (Edit)。
将打开编辑自定义警报 (Edit custom alert) 窗口,并显示之前保存的自定义警报值。
-
编辑警报。您可以编辑以下任何警报属性:
-
选择运行查询 (Run Query)。查询结果 (Query Results) 部分将显示查询中返回的所有行。或者,您可能会遇到以下问题之一:
重要
查询不会超时。长时间运行的查询会一直运行,直到成功为止。或者,返回查询错误,指出资源不足无法继续。
选择取消查询 (Cancel Query) 以停止长时间运行的查询。
-
如果对查询结果感到满意,选择更新警报 (Update Alert)。
删除警报
要删除自定义警报,请选择行右侧的垂直省略号,然后选择删除 (Delete)。必须具备 MC ADMIN 角色权限才能删除警报。
11.5 - 导出 MC 管理的数据库消息和日志
您可以将数据库消息、日志详细信息、查询详细信息和 MC 用户活动的这些内容导出到文件。
这些信息直接来自 MC 界面。这就意味着,如果界面中显示最后五分钟的 vertica.log
信息,您可以将这五分钟的数据(而不是整个日志)保存到文件。筛选消息或日志时,MC 仅导出筛选后的结果。
导出消息时,您可以立即查看输出,或者指定文件保存位置,具体取决于所设置的浏览器首选项。系统生成的文件名含有时间戳,以确保唯一性。
下表按记录类型显示了包含您可以导出的内容的 MC 页面、系统生成的文件名以及该文件的输出包含的内容:
12 - 使用审核日志监控 MC 用户活动
当 MC 用户在 MC 界面上做出更改时(无论是对 MC 管理的数据库还是对 MC 本身做出更改),他们的操作都会生成一个日志条目,用以记录时间戳、MC 用户名、数据库和客户端主机(如适用)以及用户执行的操作。您可以在诊断 (Diagnostics) > 审核日志 (Audit Log) 页面监控用户活动。
MC 会记录以下用户操作类型:
在后台清理审核记录
内部 MC 作业会每天启动,而且如有需要,可以清除超过指定时间范围和大小的审核记录。默认值是 90 天以及 2K 的日志大小。无论先达到哪个限制,MC 都会执行清除。
您可以在 /opt/vconsole/config/console.properties
文件中编辑下行来调整时间和大小限制:
vertica.audit.maxDays=90vertica.audit.maxRecords=2000
筛选和导出结果
您可以通过对列标题进行排序、滚动日志以及细化对特定日期/时间的搜索来处理审核日志的输出,而且您可以将审核内容导出到文件。
如果要导出日志,请参阅导出用户审核日志。
如果您执行恢复出厂设置
如果您在 MC 的“诊断 (Diagnostics)”页面执行恢复出厂设置(将其恢复到预配置状态),MC 会在恢复前提示您导出审核记录。
13 - 在管理控制台 (Management Console) 中监控外部数据源
默认情况下,管理控制台 (Management Console) 会使用数据库的数据收集器 (DC) 表的信息来监控数据库。MC 也可以在本地或远程监控您复制到 Vertica 表的 DC 表。
MC 管理员会提供与本地架构的映射,或者与包含相应 DC 数据的外部数据库的映射。然后,MC 可以从新的存储库而非本地 DC 表呈现其图表和图形。这样做的好处是在 MC 中可以更快地加载更大的数据集以及长期保留历史数据。
注意
注意: MC 还提供
外部监控,允许您通过 MC 界面设置 Vertica 存储数据库,然后使用 Kafka 将数据流式传输到存储数据库。如果您想设置自己的备用数据源,或者不计划使用 Kafka 流式传输,您可以使用以下数据源映射过程。
映射备用数据源
-
在“MC 设置 (MC Settings)”页面,导航到“数据源 (Data Source)”选项卡。
-
选择正在为其创建数据源映射的数据库。
-
选择要为其创建映射的数据库用户。
-
将“存储库位置 (Repository Location)”设置为“本地 (Local)”或“远程 (Remote)”。
-
如果选择了“远程 (Remote)”,请为远程数据库存储库提供 JDBC 连接参数。单击验证连接属性 (Validate Connection Properties) 来确认是否成功连接。
-
为 v_internal 和 v_catalog 输入架构映射。MC 不支持映射 v_monitor 架构。
-
通过以下方式之一输入表映射:
-
单击自动发现 (Auto Discover)。MC 会根据您提供的数据库和架构映射检索表映射。
-
单击手动输入 (Manual Entry)。手动输入表映射。
-
单击加载配置 (Load Configurations)。如果之前已将数据库的数据源配置保存到文件中,请导入文件,为当前选择的用户使用该配置。
-
或者,单击保存配置 (Save Configurations) 来导出此配置文件。之后,您可以使用此配置文件为其他数据库用户创建映射。
-
单击应用 (Apply) 保存并应用您的配置设置。
使用未映射的架构的报告
如果 MC 中的报告需要访问在本地存储的未映射架构或表,MC 将为该架构包含本地 DC 表的信息以完成报告。
对于远程配置,如果报告依赖未映射的架构或表,整个报告会针对本地 DC 表运行。在 MC 尝试针对远程数据库运行报告时,如果该远程数据库下线,MC 会针对本地数据库重新运行报告。
在 MC 运行报告时,它会按 INFO 严重性级别将缺失的映射记录到 MC 日志中。
14 - 在 MC 中监控存储库活动
存储库是每个节点上类似缓存的组件,用于下载和存储表数据的本地副本。相比从公共存储中获取数据,查询直接在存储库中访问所需数据的执行速度通常更快。如果数据库处于 Eon 模式,您可以使用“存储库活动 (Depot Activity)”页面查看存储库设置,并评估其处理查询和加载活动的效率。
要查看存储库设置和活动,请导航到数据库 (Database) > 活动 (Activity) > 存储库活动监控 (Depot Activity Monitoring)。“存储库活动 (Depot Activity)”页面包含以下选项卡:
14.1 - 为什么要监控存储库?
如果您在 AWS 等云平台上运行 Eon 模式数据库,则在 MC 中监控存储库可以帮助您优化性能并减少开支。MC 可以帮助您了解以下问题:
要访问存储库监控功能:从 MC 主页,导航到**数据库 (Database) > 活动 (Activity) > 存储库活动监控 (Depot Activity Monitoring)。**请参阅在 MC 中监控存储库活动。
查询访问存储库与 S3 存储桶的频率如何?
当查询访问基于节点的存储库数据,而不是从公共存储中获取数据时,其运行速度更快。有关详细信息,请参阅查询存储库成功数和失败数
存储库大小是否调整为最佳?
为了优化查询速度,您可能需要调整存储库大小以适合查询工作负载。这样可确保查询不需要花费额外的时间从 S3 上的公共存储库中获取数据。Eon 元函数 ALTER_LOCATION_SIZE 用于更改子群集中的一个节点、所有节点或数据库中的所有节点上的存储库大小。以下语句将数据库中所有存储库的大小调整为 80MB:
=> SELECT alter_location_size('depot', '','80%');
alter_location_size
---------------------
depotSize changed.
(1 row)
SP3 存储桶上有多少 API 调用与查询相关?
在“存储库活动监控 (Depot Activity Monitoring)”屏幕上的“公共存储访问调用 (Communal Storage Access Calls)”图表中,MC 将显示在给定时间范围内您的查询执行的每种 API 调用的数量。要查看正在运行的查询的详细信息,请单击图表上的任意点。
每个节点上当前的存储库使用情况如何?
“存储库活动监控 (Depot Activity Monitoring)”页面中的“存储库内容 (Depot Content)”选项卡提供了有关每个表如何使用群集节点上的存储库空间的详细信息。
是否对投影和分区进行了优化以获得最佳查询性能?
在“存储库内容 (Depot Content)”选项卡中,当您选择某行时,您将选中某个节点上的表存储库内容。MC 在页面底部加载该节点上该表的详细信息,其中显示所选表的存储库内容,这些内容按给定节点上的投影或分区细分。
14.2 - 查看存储库活动
“概览 (At A Glance)”屏幕提供了存储库活动的高级视图。屏幕分为以下几个部分:
当前存储库使用情况
显示存储库属性和使用情况统计信息的摘要:
总体结果
-
存储库容量 (Depot Capacity): 数据库中所有节点的存储库容量加在一起的总和。
-
使用中的存储库 (Depot in Use): 数据库中所有节点上当前使用的存储库空间加在一起的总和。
-
数据库大小 (Database Size): 选择计算 (Calculate) 以显示数据库的总大小,以 GB 为单位。
-
查看有关数据库存储的详细信息 (View More on Database Storage): 单击以查看“存储视图 (Storage View)”选项卡,其中包含有关此数据库存储的详细信息。
各节点的使用情况 (Usage by node)
存储库配置 (Depot configuration)
提供有关如何配置存储库的信息:
-
参与节点 (Participating Nodes): 这些统计信息包含的节点数。
-
最大存储库限制 (Max Depot Limit): 所有参与节点上的存储库空间总量。
-
存储库写入 (Depot for Writes): 指定是“启用 (Enabled)”还是“禁用 (Disabled)”存储库的写入操作。
-
存储库读取 (Depot for Reads): 指定是“启用 (Enabled)”还是“禁用 (Disabled)”存储库的读取操作。
-
查询的存储库操作 (Depot Operations for Query): 显示系统参数 DepotOperationsForQuery 的设置方式。此参数用于指定存储库不包含查询的文件数据时的行为,为以下几项之一:
-
ALL
(默认值):从公共存储中提取文件数据,如有必要,通过将现有文件从存储库中逐出来替换它们。
-
FETCHES
:仅当空间可用时才从公共存储中提取文件数据;否则,直接从公共存储中读取查询的数据。
-
NONE
:请勿将文件数据提取到存储库,而应直接从公共存储中读取查询的数据。
-
用于查询内部 DC 表的链接,以获取存储库活动(如存储库读取 (Depot Reads))的保留限制。
用户查询存储库成功数和失败数
为获得最佳性能,大多数查询都应访问以本地方式存储在存储库中的数据。为了最大限度地提高存储库访问权限,请确保您的存储库足够大,可以容纳频繁访问的数据。否则,Vertica 必须更频繁地访问公共存储来检索所需数据,这会严重影响查询性能。
“用户查询存储库成功数和失败数 (User Queries Depot Hits and Misses)”可帮助您评估查询与存储库随时间的交互情况。
存储库获取和逐出
当查询从公共存储中获取数据并导入存储库时,若存储库没有足够的空间来容纳新数据,Vertica 会尝试逐出旧数据。“用户查询存储库成功数和失败数”图表有助于您监控流失率,即从存储库中逐出的文件数量以及逐出频率:
如果您观察到由于访问公共存储而导致查询速度越来越慢,且注意到存储库在不断流失,那么您可能需要增加存储库大小。
存储库查询详细信息
-
将鼠标悬停在查询线的某个点上以查看运行的查询数量的详细信息。
-
将鼠标悬停在“获取 (Fetches)”或“逐出 (Evictions)”条形图上以查看有关获取或逐出的字节数的详细信息。
-
单击线或条以查看“查询详细信息 (Query Details)”页面,该页面提供在指定时间范围内运行的每个查询的相关信息。
以下示例显示了足以运行存储库中所有查询的存储库大小:
下一个示例将显示当存储库太小而无法持续进行查询活动,导致许多查询被迫从公共存储中获取数据时会发生的情况。
如果单击行上的任意点,MC 会打开一个“查询详细信息 (Query Details)”窗口,其中显示:
公共存储访问调用
显示您的数据库在指定时间范围内执行的每种类型的公共存储访问调用(例如,AWS S3 API 调用)的数量,为以下之一:
-
数据读取 (GET)
-
数据写入 (PUT)
-
元数据读取 (LIST)
-
元数据写入(POST、DELETE、COPY)
将鼠标悬停在“公共存储访问调用 (Communal Storage Access Call)”图表的任意点上,以查看有关该点的数据摘要。例如,如果您的群集位于 AWS 上,则摘要会列出在所选时间范围内执行的 AWS S3 API 调用类型的数量。
单击条形图上的任意点以查看以下详细信息:
例如:
14.3 - 查看存储库效率
“存储库效率 (Depot Efficiency)”选项卡提供了几个图形,可帮助用户快速确定存储库是否经过适当优化。
文件读取(按位置)(File Reads By Location)
显示在指定时间范围内从存储库和公共存储读取的百分比。一般来说,您希望大多数查询和其他读取操作从存储库而非公用存储中获取数据,如下图所示。如果显示从公共存储读取文件所占百分比很大,则可能需要增加存储库大小。
存储库中的前 10 个重新获取
Vertica 会根据需要从存储库中逐出数据,以便为新数据提供空间,以及提高请求处理速度。繁忙的数据库中预期会发生存储库获取和逐出操作。但是,您通常希望避免对相同的表数据重复执行逐出和获取操作。如果发生这种情况,请考虑增加存储库的大小,或者将表或经常访问的分区固定到存储库。
存储库固定
通常建议固定其数据被频繁访问的表或表分区。这样做可以降低其从存储库中逐出的风险。但是,您还应该注意,固定数据不应占用过多的存储库存储空间。如果固定对象占用了过多的存储库空间(如下所示),则存储库可能无法处理未固定对象的加载操作。
存储库中表的数量(按年限)
通常情况下,表应驻留在存储库中,前提是需要使用其数据。如果表驻留的平均时间较短,这可能表明执行了频繁的存储库逐出操作,这可能会对整体性能产生不利影响。如果发生这种情况,请考虑增加存储库大小,或固定经常访问的表数据。
存储库中表的数量(按访问计数)
一般来说,存储库应主要包含经常访问的表,包括已固定和未固定的表。
存储库中表的数量(按大小)
了解存储库中表大小的分布非常有用。
14.4 - 在 MC 中查看存储库内容
您可以详细查看 Eon 数据库中的节点如何使用存储库:
存储库活动监控 (Depot Activity Monitoring) > 存储库内容 (Depot Content) 选项卡将打开,其中显示数据库中前 25 个表的默认列表,这些表按每个表在存储库中的总字节数排序。该列表显示了这些表的所有节点。节点仅根据存储库中的大多数字节进行排序,因此对于某个表,其节点不一定同时出现。
筛选列表
您可以使用表上方的筛选字段来缩小列表的范围。您可以使用筛选字段选择:
在“架构 (Schema)”、“表 (Table)”和“节点 (Node)”筛选字段中,您可以输入文本字符串以选择名称中包含该文本字符串的所有项。
选择一个节点以查看投影和分区中的存储库数据的细分
在最前面的表中选择一行。然后 MC 将加载详细信息,其中显示该表的存储库内容在该表的投影和分区(位于该节点上)中的分布情况。“投影 (Projection)”和“分区 (Partition)”窗格显示所选节点的这些详细信息:
对于每个投影和每个分区,MC 还会显示投影或分区访问该节点上存储库的总次数,以及上次访问时间。
有关投影的详细信息,请参阅投影。
有关分区的详细信息,请参阅分区表。
监控存储库内容的步骤
-
从 MC 主页,打开一个数据库,从底部菜单中选择活动 (Activity) 选项卡,在顶部选择框中选中存储库活动监控 (Depot Activity Monitoring),然后选择部署内容 (Depot Content) 选项卡。MC 将显示前 N 个表(默认为 25 个),这些表按每个表在其所有节点的存储库中的数据字节数排序。
-
要缩小列表,请使用选项卡顶部的筛选器。您可以仅显示特定架构和/或数据库中的节点,或显示特定节点子组上的所有活动。更改筛选器,然后单击应用 (Apply)。
-
要选择名称中包含特定文本字符串的所有项,请在筛选字段中输入该文本字符串。此示例将选择表名称中包含字符串“fact”的节点。
-
要显示当前访问存储库的特定表的投影和分区的详细信息,请在存储库内容 (Depot Content) 选项卡的顶部窗格中选择一行。
另请参阅
在 MC 中监控存储库活动
14.5 - 管理存储库固定策略
Vertica 会根据需要从存储库中逐出数据,以便为新数据提供空间,以及提高请求处理速度。您可以固定数据库对象以降低存储库逐出的风险。可以固定两种对象类型:表和表分区。
通过“存储库固定 (Depot Pinning)”选项卡,您可以执行以下任务:
有关固定策略的详细信息,请参阅管理存储库缓存。
列出固定策略
要列出现有的存储库固定策略,请执行以下操作:
-
选择“显示现有固定策略 (Display Existing Pinning Policies)”。
-
单击“搜索 (Search)”。Vertica 在“现有固定策略 (Existing Pinning Policies)”下列出当前固定到存储库的所有表:
-
如果需要,请通过设置以下字段对策略列表进行筛选和排序:
移除现有策略
您还可以使用“现有固定策略 (Existing Pinning Policies)”下的结果集移除一个或多个策略。
要移除一个或多个表策略,请执行以下操作:
要移除表的分区策略,请执行以下操作:
-
在要移除的策略上,单击“修改策略 (Modify Policy)”。
-
在“修改固定策略 (Modify Pinning Policy)”对话框中,执行以下操作之一:
-
单击“关闭 (Close)”。
创建固定策略
您可以创建一个将表数据固定到子群集存储库或所有数据库存储库的策略。您可以指定以下策略类型:
查找固定对象
-
选择“创建或修改固定策略 (Create or Modify Pinning Policies)”。
-
(可选)通过指定架构和表的完整名称或(对于通配符搜索)部分名称来筛选搜索结果。
-
单击“搜索 (Search)”。
您可以使用筛选出的数据确定适合进行存储库固定的表或分区。例如,相对于其他表的总访问计数(总访问计数 (Total Access Count))较高的表或分区适合进行固定。这可以根据数据存储要求(存储库百分比)和缓存数据的年限进行评估。例如,如果固定对象占用过多存储空间,则可能需要一个存储库来:
所有这些情况均会对整个数据库性能产生不利影响。
提示
为了尽量减少争用存储库的现象,请考虑以下准则:
有关 Vertica 如何处理存储库存储和周转的详细信息,请参阅管理存储库缓存。
创建表或分区固定策略
要为单个表或表分区创建固定策略,请执行以下操作:
-
在“创建或修改固定策略 (Create or Modify Pinning Policies)”列表下,找到要固定的表。
-
单击“创建策略 (Create Policy)”。“创建固定策略 (Create a Pinning Policy)”对话框将打开。
-
选择所需的策略范围,为以下几项之一:
-
选择所需的策略类型:表策略或分区策略
表策略
单击“创建 (Create)”:
分区策略
(仅在表已分区时可用)
-
输入最小和最大分区键。
注意
MC 显示此分区的有效键的示例范围。
例如:
-
单击“创建 (Create)”。
Vertica 将显示新的固定策略:
*(可选)通过设置新的分区键在同一个表上添加多个分区级别策略。
-
完成后,单击“关闭 (Close)”。
注意
如果同一表上的分区固定策略指定的键范围重叠,则 Vertica 将对分区范围进行排序。例如,如果您创建了两个分区策略,其键范围分别为 1-3 和 2-4,则 Vertica 将创建一个键范围为 1-4 的固定策略。
在多个表上创建固定策略
要在多个表上创建固定策略,请执行以下操作:
-
在“创建或修改固定策略 (Create or Modify Pinning Policies)”中,选中要固定的表的复选框。
注意
所有选中的表均不能分配给“创建策略 (Create Policy)”链接所示的固定策略。
-
单击“批量创建表策略 (Bulk Create Table Policies)”。“批量创建表策略 (Bulk Create Table Policies)”对话框将打开。
-
选择所需的策略范围,为以下几项之一:
-
单击“创建 (Create)”,然后单击“关闭 (Close)”。
移除固定策略
要移除现有的固定策略,请执行以下操作:
-
在“创建或修改固定策略 (Create or Modify Pinning Policies)”中,找到包含要移除的策略的表。
-
单击“修改策略 (Modify Policy)”。
-
在“修改固定策略 (Modify Pinning Policy)”对话框中,执行以下操作之一:
-
单击“关闭 (Close)”。
从多个表中移除固定策略
要从一个或多个表中批量移除固定策略,请执行以下操作:
-
在“创建或修改固定策略 (Create or Modify Pinning Policies)”中,选中目标表复选框。
注意
所有检查的表必须符合以下要求:
* 必须将它们分配给其“修改策略 (Modify Policy)”链接所指示的固定策略。
-
单击“批量移除表策略 (Bulk Remove Table Policies)”。“批量移除表策略 (Bulk Remove Table Policies)”对话框将打开。
-
单击“移除 (Remove)”,然后单击“关闭 (Close)”。
查看频繁获取的表
您可以在存储库中查询最常从公共存储中获取的表。这可以帮助您快速确定存储库固定的潜在对象:
-
从存储库中选择前 n 个重新获取的表。
-
指定要返回的结果数的最大值(默认为 10),以及要查询的日期范围。
从列表中,您可以执行以下任务:
15 - 在 MC 中监控存储库存储
要显示 Eon 数据库的详细存储监控信息,请执行以下操作:
-
从 MC 主页,选择查看基础架构 (View Your Infrastructure)。
-
在“基础架构 (Infrastructure)”页面上,选择存储视图 (Storage View) 选项卡。MC 将显示存储视图 (Storage View) 屏幕,其中包含有关数据库存储的详细信息以及指向更多详细信息屏幕的链接:
-
要查看数据库的加载大小,请单击加载大小 (Load Size)。
-
要查看数据库的公共存储详细信息,例如其位置和大小以及节点的 IP 地址,请单击公共/存储库存储 (Communal/Depot Storage)。
-
要查看 Eon 节点的分片订阅,请单击公共存储订阅 (Communal Storage Subscription)。MC 将显示分片类型、每个分片订阅的节点数,以及每个分片订阅的状态(活动、非活动、被动、待定、正在移除)。
有以下两个视图:
将鼠标悬停在条上以显示详细信息。
-
要显示数据库中所有节点的存储库详细信息,请单击查看各节点的存储库详细信息 (View Depot Details by Nodes)。MC 将按节点名称列出节点,并显示每个节点在其存储库中的字节数、存储库的总容量、已用百分比以及节点存储库的路径。
另请参阅
在 MC 中监控存储库活动
16 - 扩展监控
启用扩展监控可通过 MC 监控更大范围的数据。这样可以深入了解数据库运行状况的长期趋势。MC 还可以在受监控的数据库关闭后继续显示其仪表板。
扩展监控使用 Kafka 将监控数据从受监控的数据库流式传输到单个 MC 存储数据库。MC 可以查询存储数据库(而非受监控的数据库)来呈现部分图表,从而降低对受监控数据库的性能所产生的影响。
扩展监控的工作原理
默认情况下,MC 通过直接查询关于系统活动、性能和资源利用率的监控数据来监控您的数据库。通常,数据收集器 将所有监控数据存储在数据收集器 (DC) 表中。但是,DC 表的保留期限有限。请参阅数据收集器实用程序。
扩展监控将数据库的监控数据存储在专用存储数据库中。Vertica 通过 Kafka 服务器将数据库的 DC 表中的数据流式传输到存储数据库。要使用扩展监控,必须有权访问正在运行的 Kafka 服务器。有关 Vertica 如何与 Kafka 集成的详细信息,请参阅 Apache Kafka 集成。
为受监控的数据库设置并启用扩展监控后,MC 通过查询 MC 存储数据库(而不是直接查询正在监控的数据库)来呈现数据库的多个图表和图形。
您可以对任何或所有受监控的数据库启用扩展监控。MC 存储数据库提供了单个存储库,用于监控来自使用启用扩展监控的每个数据库的数据。
在以下示例中,Kafka 将系统数据从两个受监控的数据库流式传输到存储数据库。MC 使用存储数据库为每个受监控的数据库呈现单独的仪表板。请注意,MC 始终会创建仪表板来监控 MC 存储数据库。
使用扩展监控
重要
重要说明: 要使用扩展监控,Micro Focus 建议在未安装任何其他 Vertica 数据库的主机上安装管理控制台。
当数据库启用扩展监控后,使用该功能的 MC 图表会在角落显示“火箭发射船 (Rocket Ship)”图标。您可以使用这些图表访问数据库运行状况或性能长期数据。
要查看这些图表中的历史信息,请单击“日历 (Calendar)”图标指定要显示的时间范围。例如,如果数据库已关闭数小时,则图表不会显示数据库中近期开展的活动。您可以使用“系统瓶颈 (System Bottlenecks)”图表中的时间范围筛选器,查看在数据库发生故障的一小时内出现的资源使用异常。
您可以查看将数据加载到存储数据库的 Kafka 流式传输作业的历史记录。MC 在存储数据库仪表板的“加载 (Load)”选项卡上显示这些作业。请参阅查看加载历史记录。
设置扩展监控
要设置扩展监控,请参阅管理存储数据库和管理对数据库的扩展监控。
另请参阅
16.1 - 管理存储数据库
扩展监控将 Vertica 数据库的监控数据存储在专用 MC 存储数据库中。
要使用扩展监控,必须首先设置存储数据库并将其配置为 Kafka 流式传输。然后,为任何或所有受监控的数据库开启扩展监控。
MC 自动为存储数据库配置架构(名为 dcschema),该架构与您监控的数据库上的 DC 表同步。
当心
切勿在 MC 配置 dcschema 后对其进行更改。更改 dcschema 可能会导致存储数据库丢失数据或向 MC 提供错误的监控信息。
MC 准备
首先,确认 MC 并未与 Vertica 数据库安装在同一主机上。启用扩展监控后,MC 与生产数据库共享主机会影响性能。
同时,还必须增加为 MC 应用程序服务器分配的内存,如下一节所述。根据以下条件优化内存分配选项:
-
数据库的需求。
-
计划在 MC 图表中同时查看的监控数据量。
例如,MC 需要更多内存才能在图表中显示一周数据。
修改内存分配
要修改内存分配,请执行以下操作:
-
在管理控制台中,选择“MC 设置 (MC Settings)”页面上的配置 (Configuration) 选项卡。
-
修改应用程序服务器 JVM 设置 (Application Server JVM Settings) 下的以下字段,以增加为 JVM 分配的内存:
-
单击页面右上角的应用 (Apply)。将提示重新启动 MC。
-
单击确定 (OK),重新启动 MC 并保存您的更改。
存储数据库要求
要为扩展监控设置存储,系统必须满足以下先决条件:
设置存储数据库
要为扩展监控配置存储数据库,请在“MC 设置 (MC Settings)”页面上,选择“MC 存储数据库设置 (MC Storage DB Setup)”选项卡。分别修改以下三个区域的设置:
1) Kafka 代理 (Kafka Broker) >
输入部署的一个或多个 Kafka 服务器的主机名或 IP 地址和端口。
2) MC 外部存储数据库 (MC external storage database)
指定存储数据库。您可以创建新的数据库,也可以使用现有数据库。
-
创建新的数据库 (Create a new database): 要使用 Vertica 的社区版许可证在可用主机上创建新的单节点群集,请选择此选项。这样可避免影响您正常使用 Vertica 许可证。
-
使用 MC 已知的现有数据库 (Use an existing database known to MC): 要指定已导入 MC 的数据库,请选择此选项。如果数据库中存在架构 "dcschema",则会出现对话框。根据系统需求,执行以下操作之一:
- 要保留现有架构的数据,请单击附加 (Append)。例如,如果已将此数据库用于扩展监控存储并重新导入,则可以使用此选项来保留其历史数据供继续使用。
- 要从数据库中清除现有架构并创建为扩展监控存储配置的全新版本 dcschema,请单击移除 (Remove)。
在出现 数据库名称 (Database name) 提示时:
-
从下拉列表中选择要使用的数据库。
-
要使用该数据库进行扩展监控,请单击准备 MC 存储数据库 (Prepare MC Storage database)。
高级流式传输选项 (Advanced Streaming Options):
要更改“调度程序时间范围 (Scheduler Frame Duration)”的值,请单击高级流式传输选项 (Advanced Streaming Options)。管理控制台显示流式传输选项 (Streaming Options) 窗口,您可以在其中修改管理控制台为扩展监控使用的“调度程序时间范围 (Scheduler Frame Duration)”默认值。
调度程序时间范围 (Scheduler Frame Duration) 是 Kafka 调度程序为每个单独的时间范围处理和运行 COPY 语句设置的时间量,时间结束后 KafkaSource 将终止 COPY 语句。Vertica 必须具有充足的时间,保证在期限内完成 COPY 任务。
如果时间范围过短,您将会发现数据丢失,因为调度程序没有充足的时间处理所有数据。对于无法处理数据的微批处理,您可能会在管理控制台的“加载 (Load)”页面上看到错误或消息。
相反,如果时间范围过长,调度程序需要投入大量时间处理传入数据,处理完数据后,可能需要等待时间范围到期。在这种情况下,您可能会在处理数据时发现一定的延迟。此外,管理控制台中的图表可能不会实时显示数据,而且可能会表现出一定的延迟。
您可以使用以下等式估算每个 COPY 的平均可用时间:
每个 COPY 的时间=(时间范围并行度)/微批处理数*
此等式仅提供粗略估计。很多因素会影响每个 COPY 语句需要运行的时间量。
Vertica 要求每个 COPY 至少运行 100 毫秒。
注意
高级调度程序选项 (Advanced Scheduler options) 按钮在流式传输关闭的情况下启用。如果启用 Kafka 流式传输,则禁用高级调度程序选项 (Advanced Scheduler options) 按钮。
3) 启用扩展监控 (enable extended monitoring)
单击选择数据库进行扩展监控 (Select database(s) for extended monitoring)。
重新启动存储数据库
如果在启用流式传输的情况下停止存储数据库,则自动停止向存储数据库进行流式传输。重新启动存储数据库后,必须在“MC 存储数据库设置 (MC Storage DB Setup)”选项卡上重新启用流式传输。
如果在对数据库进行扩展监控的情况下禁用向 MC 存储数据库进行流式传输,Kafka 保留策略将确定可以将流式传输禁用状态保持多长时间而不会丢失数据。请参阅管理流式传输服务进行扩展监控。
停止存储数据库
-
在“MC 设置 (MC Settings)”中选择“扩展监控 (Extended Monitoring)”选项卡。
-
将所有数据库的“扩展监控 (Extended Monitoring)”设置为关闭 (OFF)。
-
在“MC 设置 (MC Settings)”中选择“MC 存储数据库设置 (MC Storage DB Setup)”选项卡。
-
单击“MC 外部存储数据库 (MC External Storage Database)”部分的禁用流式传输 (Disable Streaming),以停用存储数据库。
-
单击“MC 外部存储数据库 (MC External Storage Database)”部分的移除 (Remove),以从 MC 中移除 MC 存储数据库。
-
选择保留还是移除存储数据库已收集的数据:
配置存储数据库内存使用
在存储数据库的“资源池 (Resource Pools)”选项卡上,可以选择增加 SYSQUERY 和 KAFKA_DEFAULT_POOL 的内存大小。有关在 MC 中设置资源池参数,请参阅在管理控制台 (Management Console) 中配置资源池。
管理磁盘空间
存储数据库使用名为 dcschema 的自定义架构。您可以使用存储数据库“活动 (Activity)”选项卡上的“表利用率 (Table Utilization)”图表监控 MC 上的这些表。“表利用率 (Table Utilization)”图表列出了 dcschema 中的所有表及其详细信息,例如行计数和列属性。您可以按行计数排序,以确定特定表是否在存储数据库中占用更多的磁盘空间。请参阅监控表利用率和投影。
如果 MC 存储数据库的磁盘空间有限,则应定期删除 dcschema 中的分区。MC 不会自动删除存储数据库中的分区。有关删除分区的详细信息,请参阅删除分区。
表 dc_execution_engine_profiles 按天分区。由于此表包含的行数通常最多,因此最佳做法是提高删除表分区的频率。以下示例显示如何指定分区键 2016-08-22,以从 dc_execution_engine_profiles 中删除分区。
=> SELECT DROP_PARTITIONS
('dcschema.dc_execution_engine_profiles', 2016-08-2, 2016-08-22);
除 dc_execution_engine_profiles 以外,dcschema 中的所有其他表均按周分区。接下来的这个示例显示如何从表 dc_cpu_aggregate_by_minute 中删除分区,指定 2016 年的第 34 周。
=> SELECT DROP_PARTITION
('dcschema.dc_cpu_aggregate_by_minute', 201634, 201634);
管理客户端会话
默认情况下,Vertica 允许每个节点包含 50 个客户端会话和 5 个附加管理员会话。如果达到存储数据库限制,MC 将切换回默认监控,并且不会使用存储数据库中的扩展监控数据。
您可以选择在 MC 存储数据库的“设置 (Settings)”页面上配置能够在单个数据库群集节点上运行的最大客户端会话数:
-
在存储数据库仪表板上,单击设置 (Settings) 页面。
-
选择常规 (General) 选项卡。
-
在最大客户端会话数 (Maximum client sessions) 字段中输入值。有效值为 0–1000。
有关在 MC 中管理客户端连接的更多详细信息,请参阅配置管理控制台。
另请参阅
16.2 - 管理对数据库的扩展监控
当在 Vertica 数据库上启用扩展监控时,来自数据库的监控数据会通过 Kafka 服务器流式传输到 MC 存储数据库。
您可以为 MC 监控的任何或所有数据库启用流式传输。
扩展监控先决条件
启用扩展监控之前,系统必须满足以下先决条件:
启用扩展监控
-
在“MC 设置 (MC Settings)”上选择“扩展监控 (Extended Monitoring)”选项卡。
“扩展监控 (Extended Monitoring)”页面显示 MC 监控的所有数据库。
-
在您选择的数据库的“内存限制 (Memory Limit)”字段中,设置数据库可用于流式传输监控数据的最大内存量。有关内存限制的详细信息,请参阅管理流式传输服务进行扩展监控。
-
在“扩展监控 (Extended Monitoring)”列中,选择 ON,为您选择的数据库启用流式传输。
数据库开始将其监控数据流式传输到 Kafka 服务器。
用户访问权限
当使用扩展监控更改数据库的用户权限时,不会自动更新存储数据库的用户访问策略。在“扩展监控 (Extended Monitoring)”页面中数据库对应的用户访问列中,单击“刷新 (Refresh)”以同步策略。
如果重命名 Vertica 用户,则必须在刷新用户访问策略之前在“MC 设置 (MC Settings)”中重新映射该用户。
另请参阅
16.3 - 管理流式传输服务进行扩展监控
启用扩展监控后,Vertica 会通过 Kafka 服务器将数据库中的数据流式传输到存储数据库。
有关使用 Vertica 优化 Kafka 性能的其他参数,请参阅 Kafka 和 Vertica 配置设置。
在 MC 中查看流式传输详细信息
单击数据库 MC 仪表板上的“加载 (Load)”选项卡,查看“数据加载活动 (Data Load Activity)”页面。在此页面上,“连续 (Continuous)”选项卡显示用于扩展监控的所有连续加载作业的详细信息。您可以使用此页面监控扩展监控数据是否成功流式传输到 MC 存储数据库。
有关“数据加载活动 (Data Load Activity)”页面的详细信息,请参阅查看加载历史记录。
提示
提示: 如果未发现用于扩展监控的加载作业,请验证是否选择“连续 (Continuous)”选项卡顶部的显示 MC 数据收集器监控流 (Show MC data collector monitoring streams)。
防止数据丢失
在内存限制缓冲区中,您可以重新启动 Kafka 服务器而不会丢失数据。Vertica 对流式传输数据进行排队,直到重新启动 Kafka 服务器。如果 Kafka 服务器长期处于关闭状态,当流式传输队列超出缓冲区限制时,将会发生数据丢失。如果已为数据库启用扩展监控,可以在“扩展监控 (Extended Monitoring)”选项卡上设置缓冲区大小。请参阅管理对数据库的扩展监控。
Kafka 保留策略确定在以下场景下何时会发生数据丢失:
Kafka 保留策略可重新启动这些扩展监控组件,而不会发生数据丢失。禁用列出的组件期间,Kafka 服务器会保留数据。当流式传输数据超出 Kafka 保留策略的日志大小或保留时间限制时,将发生数据丢失。有关如何配置保留策略的信息,请参阅 Apache Kafka 文档。
更改 Kafka 服务器
请注意,当在“MC 存储数据库设置 (MC Storage DB Setup)”页面更改用于扩展监控的 Kafka 服务器时,必须禁用所有扩展监控进程并重新配置 MC 存储数据库。有关存储数据库设置说明,请参阅管理存储数据库。
另请参阅