管理流式传输服务进行扩展监控
启用扩展监控后,Vertica 会通过 Kafka 服务器将数据库中的数据流式传输到存储数据库。
有关使用 Vertica 优化 Kafka 性能的其他参数,请参阅 Kafka 和 Vertica 配置设置。
在 MC 中查看流式传输详细信息
单击数据库 MC 仪表板上的“加载 (Load)”选项卡,查看“数据加载活动 (Data Load Activity)”页面。在此页面上,“连续 (Continuous)”选项卡显示用于扩展监控的所有连续加载作业的详细信息。您可以使用此页面监控扩展监控数据是否成功流式传输到 MC 存储数据库。
有关“数据加载活动 (Data Load Activity)”页面的详细信息,请参阅查看加载历史记录。
提示
提示: 如果未发现用于扩展监控的加载作业,请验证是否选择“连续 (Continuous)”选项卡顶部的显示 MC 数据收集器监控流 (Show MC data collector monitoring streams)。防止数据丢失
在内存限制缓冲区中,您可以重新启动 Kafka 服务器而不会丢失数据。Vertica 对流式传输数据进行排队,直到重新启动 Kafka 服务器。如果 Kafka 服务器长期处于关闭状态,当流式传输队列超出缓冲区限制时,将会发生数据丢失。如果已为数据库启用扩展监控,可以在“扩展监控 (Extended Monitoring)”选项卡上设置缓冲区大小。请参阅管理对数据库的扩展监控。
Kafka 保留策略确定在以下场景下何时会发生数据丢失:
-
重新启动 MC 存储数据库(请参阅管理存储数据库)
-
禁用 MC 存储数据库的流式传输(请参阅管理存储数据库)
-
重新启动微批处理(请参阅使用 MC 从 Amazon S3 加载数据)
Kafka 保留策略可重新启动这些扩展监控组件,而不会发生数据丢失。禁用列出的组件期间,Kafka 服务器会保留数据。当流式传输数据超出 Kafka 保留策略的日志大小或保留时间限制时,将发生数据丢失。有关如何配置保留策略的信息,请参阅 Apache Kafka 文档。
更改 Kafka 服务器
请注意,当在“MC 存储数据库设置 (MC Storage DB Setup)”页面更改用于扩展监控的 Kafka 服务器时,必须禁用所有扩展监控进程并重新配置 MC 存储数据库。有关存储数据库设置说明,请参阅管理存储数据库。